ν = fraction of red marbles

Size: px

Start display at page:

Download "ν = fraction of red marbles"

Elizabeth Montgomery
6 years ago
Views:

1 Ê Ú Û Ó Ä ØÙÖ ½ Ü ÑÔÐ È Ö ÔØÖÓÒ Ä ÖÒ Ò Ð ÓÖ Ø Ñ Ä ÖÒ Ò Ù Û Ò ¹ Ô ØØ ÖÒ Ü Ø + + ¹ Ï ÒÒÓØ Ô Ò Ø ÓÛÒ Ñ Ø Ñ Ø ÐÐÝ ¹ Ï Ú Ø ÓÒ Ø ÓÙ ÓÒ ÙÔ ÖÚ Ð ÖÒ Ò ¹ ÍÒ ÒÓÛÒ Ø Ö Ø ÙÒØ ÓÒ y = f(x) ¹ Ø Ø (x 1,y 1 ),, (x N,y N ) ¹ Ä ÖÒ Ò Ð ÓÖ Ø Ñ Ô g f ÖÓÑ ÝÔÓØ Ø H Ä ÖÒ Ò Ò ÙÒ ÒÓÛÒ ÙÒØ ÓÒ ¹ ÁÑÔÓ Ð º Ì ÙÒØ ÓÒ Ò ÙÑ ÒÝ Ú ÐÙ ÓÙØ Ø Ø Û Ú º ¹ ËÓ Û Ø ÒÓÛ

2 Ä ÖÒ Ò ÖÓÑ Ø Ö Ëº Ù¹ÅÓ Ø Ð ÓÖÒ ÁÒ Ø ØÙØ Ó Ì ÒÓÐÓ Ý Ä ØÙÖ ¾ Á Ä ÖÒ Ò Ð ËÔÓÒ ÓÖ Ý ÐØ ³ ÈÖÓÚÓ Ø Ç ² Ë Ú ÓÒ Ò ÁËÌ Ì ÙÖ Ý ÔÖ Ð ¾¼½¾

3 Ð ØÝ Ó Ð ÖÒ Ò ¹ ÇÙØÐ Ò ÈÖÓ Ð ØÝ ØÓ Ø Ö Ù ÓÒÒ Ø ÓÒ ØÓ Ð ÖÒ Ò ÓÒÒ Ø ÓÒ ØÓ Ö Ð Ð ÖÒ Ò Ð ÑÑ Ò ÓÐÙØ ÓÒ ¾»½

4 Ö Ð Ø ÜÔ Ö Ñ ÒØ top ¹ ÓÒ Ö Ò³ Û Ø Ö Ò Ö Ò Ñ Ö Ð º B I N P[ Ô Ò Ö Ñ Ö Ð ] = µ P[ Ô Ò Ö Ò Ñ Ö Ð ] = 1 µ ¹ Ì Ú ÐÙ Ó µ ÙÒ ÒÓÛÒ ØÓ Ù º S A M P L E ν = fraction of red marbles ¹ Ï Ô N Ñ Ö Ð Ò Ô Ò ÒØÐÝº ¹ Ì Ö Ø ÓÒ Ó Ö Ñ Ö Ð Ò ÑÔÐ = ν µ = probability of red marbles bottom»½

5 Ó ν Ý ÒÝØ Ò ÓÙØ µ ÆÓ Ë ÑÔÐ Ò ÑÓ ØÐÝ Ö Ò Û Ð Ò ÑÓ ØÐÝ Ö º top B I N S A M P L E Ë ÑÔÐ Ö ÕÙ ÒÝ ν Ð ÐÝ ÐÓ ØÓ Ò Ö ÕÙ ÒÝ µº ÔÓ Ð Ú Ö Ù ÔÖÓ Ð µ = probability of red marbles ν = fraction of red marbles bottom»½

6 Ï Ø Ó ν Ý ÓÙØ µ ÁÒ ÑÔÐ Ð Ö N µ ν ÔÖÓ ÐÝ ÐÓ ØÓ µ Û Ø Ò ǫµº ÓÖÑ ÐÐÝ È[ ν µ > ǫ] 2e 2ǫ2 N Ì ÐÐ ÀÓ Ò ³ ÁÒ ÕÙ Ð ØÝº ÁÒ ÓØ Ö ÛÓÖ Ø Ø Ø Ñ ÒØ µ = ν Èº º º»½

7 È[ ν µ > ǫ] 2e 2ǫ2 N top Î Ð ÓÖ ÐÐ N Ò ǫ B I N ÓÙÒ Ó ÒÓØ Ô Ò ÓÒ µ ÌÖ Ó N ǫ Ò Ø ÓÙÒ º S A M P L E ν = fraction of red marbles ν µ = µ ν µ = probability of red marbles bottom»½

8 ÓÒÒ Ø ÓÒ ØÓ Ð ÖÒ Ò Hi Ò Ì ÙÒ ÒÓÛÒ ÒÙÑ Ö µ Ä ÖÒ Ò Ì ÙÒ ÒÓÛÒ ÙÒØ ÓÒ f : X Y h( x)= f( x) h( x)= f( x) Ñ Ö Ð ÔÓ ÒØ x X ÀÝÔÓØ ÓØ Ø Ö Ø h(x)=f(x) ÀÝÔÓØ ÓØ Ø ÛÖÓÒ h(x) f(x) Hi»½

9 ØÓ Ø Ð ÖÒ Ò Ö Ñ Hi Ì Ò Ò ÐÓ Ý X UNKNOWN TARGET FUNCTION f: X Y TRAINING EXAMPLES ( x, y ),..., ( x, y ) N 1 1 N LEARNING ALGORITHM A x 1,..., x N PROBABILITY DISTRIBUTION P on FINAL HYPOTHESIS g ~ f ~ X Hi HYPOTHESIS SET H»½

10 Ö Û ÓÒ Hi ÆÓØ Ó Ø h Ü º ÓÖ Ø h ν Ò Ö Ð Þ ØÓ µº h( x)= f( x) h( x)= f( x) Ú Ö Ø ÓÒ³ Ó h ÒÓØ Ð ÖÒ Ò ÆÓ Ù Ö ÒØ ν Û ÐÐ Ñ ÐÐº Ï Ò ØÓ ÓÓ ÖÓÑ ÑÙÐØ ÔÐ h³ º Hi»½

11 ÅÙÐØ ÔÐ Ò Ò Ö Ð Þ Ò Ø Ò ÑÓ Ð ØÓ ÑÓÖ Ø Ò ÓÒ ÝÔÓØ top h h 1 2 M h µ 1 µ 2 µ M ν ν ν 1 2 M bottom ½¼»½

12 ÆÓØ Ø ÓÒ ÓÖ Ð ÖÒ Ò Hi ÓØ µ Ò ν Ô Ò ÓÒ Û ÝÔÓØ h E out (h) ν Ò ÑÔÐ ³ ÒÓØ Ý E Ò (h) µ ÓÙØ Ó ÑÔÐ ³ ÒÓØ Ý E ÓÙØ (h) Ì ÀÓ Ò Ò ÕÙ Ð ØÝ ÓÑ P [ E Ò (h) E ÓÙØ (h) > ǫ ] 2e 2ǫ2 N E in(h) Hi ½½»½

13 ÆÓØ Ø ÓÒ Û Ø ÑÙÐØ ÔÐ Ò top h 1 h 2 h M E out ( h ) E 1 out ( h 2 ) E out ( h M ) Ein h1 E h ( ) in( ) E 2 in h M ( ) bottom ½¾»½

14 Ö Û ÓÒ ÐÖ Ý ÆÓØ Ó Ø ÀÓ Ò Ó Ò³Ø ÔÔÐÝ ØÓ ÑÙÐØ ÔÐ Ò º Ï Ø top B I N UNKNOWN TARGET FUNCTION f: X Y PROBABILITY DISTRIBUTION P on X top h 1 h 2 h M S A M P L E TRAINING EXAMPLES ( x, y ),..., ( 1 1 x, N y ) N x 1,..., x N E out ( h ) E 1 out ( h 2 ) E out ( h M ) ν = fraction of red marbles LEARNING ALGORITHM A FINAL HYPOTHESIS g ~ f µ = probability of red marbles HYPOTHESIS SET H Ein h1 ( ) Ein( ) h E ( ) 2 in h M bottom bottom ½»½

15 Ó Ò Ò ÐÓ Ý ÉÙ Ø ÓÒ Á ÝÓÙ ØÓ Ö Ó Ò ½¼ Ø Ñ Û Ø Ø ÔÖÓ Ð ØÝ Ø Ø ÝÓÙ Û ÐÐ Ø ½¼ Ò Û Ö 0.1% ÉÙ Ø ÓÒ Á ÝÓÙ ØÓ ½¼¼¼ Ö Ó Ò ½¼ Ø Ñ Û Ø Ø ÔÖÓ Ð ØÝ Ø Ø ÓÑ Ó Ò Û ÐÐ Ø ½¼ Ò Û Ö 63% ½»½

16 ÖÓÑ Ó Ò ØÓ Ð ÖÒ Ò hi B I N G O? Hi ½»½

17 ÑÔÐ ÓÐÙØ ÓÒ P[ E Ò (g) E ÓÙØ (g) > ǫ ] P[ E Ò (h 1 ) E ÓÙØ (h 1 ) > ǫ or E Ò (h 2 ) E ÓÙØ (h 2 ) > ǫ or E Ò (h M ) E ÓÙØ (h M ) > ǫ ] M P [ E Ò (h m ) E ÓÙØ (h m ) > ǫ] m=1 ½»½

18 Ì Ò Ð Ú Ö Ø P[ E Ò (g) E ÓÙØ (g) > ǫ ] M m=1 M m=1 P [ E Ò (h m ) E ÓÙØ (h m ) > ǫ] 2e 2ǫ2 N P[ E Ò (g) E ÓÙØ (g) > ǫ] 2Me 2ǫ2 N ½»½

Ä ÖÒ Ò ÖÓÑ Ø Ö Ëº Ù¹ÅÓ Ø Ð ÓÖÒ ÁÒ Ø ØÙØ Ó Ì ÒÓÐÓ Ý Ä ØÙÖ ½ Ì Ä ÖÒ Ò ÈÖÓ Ð Ñ ËÔÓÒ ÓÖ Ý ÐØ ³ ÈÖÓÚÓ Ø Ç ² Ë Ú ÓÒ Ò ÁËÌ ÌÙ Ý ÔÖ Ð ¾¼½¾

Ä ÖÒ Ò ÖÓÑ Ø Ö Ëº Ù¹ÅÓ Ø Ð ÓÖÒ ÁÒ Ø ØÙØ Ó Ì ÒÓÐÓ Ý Ä ØÙÖ ½ Ì Ä ÖÒ Ò ÈÖÓ Ð Ñ ËÔÓÒ ÓÖ Ý ÐØ ³ ÈÖÓÚÓ Ø Ç ² Ë Ú ÓÒ Ò ÁËÌ ÌÙ Ý ÔÖ Ð ¾¼½¾ ÇÙØÐ Ò Ó Ø ÓÙÖ ½½º ÇÚ Ö ØØ Ò Å Ý µ ½¾º Ê ÙÐ Ö Þ Ø ÓÒ Å Ý ½¼ µ ½º Ì Ä ÖÒ Ò ÈÖÓ Ð Ñ ÔÖ Ð µ ½ º Î Ð Ø ÓÒ Å Ý ½ µ ¾º Á Ä ÖÒ Ò Ð ÔÖ Ð µ º Ì Ä Ò Ö ÅÓ Ð Á ÔÖ Ð ½¼ µ º ÖÖÓÖ Ò ÆÓ ÔÖ Ð ½¾ µ º ÌÖ Ò Ò Ú Ö Ù Ì Ø Ò