ν = fraction of red marbles

Ê Ú Û Ó Ä ØÙÖ ½ Ü ÑÔÐ È Ö ÔØÖÓÒ Ä ÖÒ Ò Ð ÓÖ Ø Ñ Ä ÖÒ Ò Ù Û Ò ¹ Ô ØØ ÖÒ Ü Ø + + ¹ Ï ÒÒÓØ Ô Ò Ø ÓÛÒ Ñ Ø Ñ Ø ÐÐÝ ¹ Ï Ú Ø ÓÒ Ø ÓÙ ÓÒ ÙÔ ÖÚ Ð ÖÒ Ò + + + ¹ ÍÒ ÒÓÛÒ Ø Ö Ø ÙÒØ ÓÒ y = f(x) ¹ Ø Ø (x 1,y 1 ),, (x N,y N ) ¹ Ä ÖÒ Ò Ð ÓÖ Ø Ñ Ô g f ÖÓÑ ÝÔÓØ Ø H Ä ÖÒ Ò Ò ÙÒ ÒÓÛÒ ÙÒØ ÓÒ ¹ ÁÑÔÓ Ð º Ì ÙÒØ ÓÒ Ò ÙÑ ÒÝ Ú ÐÙ ÓÙØ Ø Ø Û Ú º ¹ ËÓ Û Ø ÒÓÛ

Ä ÖÒ Ò ÖÓÑ Ø Ö Ëº Ù¹ÅÓ Ø Ð ÓÖÒ ÁÒ Ø ØÙØ Ó Ì ÒÓÐÓ Ý Ä ØÙÖ ¾ Á Ä ÖÒ Ò Ð ËÔÓÒ ÓÖ Ý ÐØ ³ ÈÖÓÚÓ Ø Ç ² Ë Ú ÓÒ Ò ÁËÌ Ì ÙÖ Ý ÔÖ Ð ¾¼½¾

Ð ØÝ Ó Ð ÖÒ Ò ¹ ÇÙØÐ Ò ÈÖÓ Ð ØÝ ØÓ Ø Ö Ù ÓÒÒ Ø ÓÒ ØÓ Ð ÖÒ Ò ÓÒÒ Ø ÓÒ ØÓ Ö Ð Ð ÖÒ Ò Ð ÑÑ Ò ÓÐÙØ ÓÒ ¾»½

Ö Ð Ø ÜÔ Ö Ñ ÒØ top ¹ ÓÒ Ö Ò³ Û Ø Ö Ò Ö Ò Ñ Ö Ð º B I N P[ Ô Ò Ö Ñ Ö Ð ] = µ P[ Ô Ò Ö Ò Ñ Ö Ð ] = 1 µ ¹ Ì Ú ÐÙ Ó µ ÙÒ ÒÓÛÒ ØÓ Ù º S A M P L E ν = fraction of red marbles ¹ Ï Ô N Ñ Ö Ð Ò Ô Ò ÒØÐݺ ¹ Ì Ö Ø ÓÒ Ó Ö Ñ Ö Ð Ò ÑÔÐ = ν µ = probability of red marbles bottom»½

Ó ν Ý ÒÝØ Ò ÓÙØ µ ÆÓ Ë ÑÔÐ Ò ÑÓ ØÐÝ Ö Ò Û Ð Ò ÑÓ ØÐÝ Ö º top B I N S A M P L E Ë ÑÔÐ Ö ÕÙ ÒÝ ν Ð ÐÝ ÐÓ ØÓ Ò Ö ÕÙ ÒÝ µº ÔÓ Ð Ú Ö Ù ÔÖÓ Ð µ = probability of red marbles ν = fraction of red marbles bottom»½

Ï Ø Ó ν Ý ÓÙØ µ ÁÒ ÑÔÐ Ð Ö N µ ν ÔÖÓ ÐÝ ÐÓ ØÓ µ Û Ø Ò ǫµº ÓÖÑ ÐÐÝ È[ ν µ > ǫ] 2e 2ǫ2 N Ì ÐÐ ÀÓ Ò ³ ÁÒ ÕÙ Ð Øݺ ÁÒ ÓØ Ö ÛÓÖ Ø Ø Ø Ñ ÒØ µ = ν Ⱥ º º»½

È[ ν µ > ǫ] 2e 2ǫ2 N top Î Ð ÓÖ ÐÐ N Ò ǫ B I N ÓÙÒ Ó ÒÓØ Ô Ò ÓÒ µ ÌÖ Ó N ǫ Ò Ø ÓÙÒ º S A M P L E ν = fraction of red marbles ν µ = µ ν µ = probability of red marbles bottom»½

ÓÒÒ Ø ÓÒ ØÓ Ð ÖÒ Ò Hi Ò Ì ÙÒ ÒÓÛÒ ÒÙÑ Ö µ Ä ÖÒ Ò Ì ÙÒ ÒÓÛÒ ÙÒØ ÓÒ f : X Y h( x)= f( x) h( x)= f( x) Ñ Ö Ð ÔÓ ÒØ x X ÀÝÔÓØ ÓØ Ø Ö Ø h(x)=f(x) ÀÝÔÓØ ÓØ Ø ÛÖÓÒ h(x) f(x) Hi»½

ØÓ Ø Ð ÖÒ Ò Ö Ñ Hi Ì Ò Ò ÐÓ Ý X UNKNOWN TARGET FUNCTION f: X Y TRAINING EXAMPLES ( x, y ),..., ( x, y ) N 1 1 N LEARNING ALGORITHM A x 1,..., x N PROBABILITY DISTRIBUTION P on FINAL HYPOTHESIS g ~ f ~ X Hi HYPOTHESIS SET H»½

Ö Û ÓÒ Hi ÆÓØ Ó Ø h Ü º ÓÖ Ø h ν Ò Ö Ð Þ ØÓ µº h( x)= f( x) h( x)= f( x) Ú Ö Ø ÓÒ³ Ó h ÒÓØ Ð ÖÒ Ò ÆÓ Ù Ö ÒØ ν Û ÐÐ Ñ Ðк Ï Ò ØÓ ÓÓ ÖÓÑ ÑÙÐØ ÔÐ h³ º Hi»½

ÅÙÐØ ÔÐ Ò Ò Ö Ð Þ Ò Ø Ò ÑÓ Ð ØÓ ÑÓÖ Ø Ò ÓÒ ÝÔÓØ top h h 1 2 M h µ 1 µ 2 µ M........ ν ν ν 1 2 M bottom ½¼»½

ÆÓØ Ø ÓÒ ÓÖ Ð ÖÒ Ò Hi ÓØ µ Ò ν Ô Ò ÓÒ Û ÝÔÓØ h E out (h) ν Ò ÑÔÐ ³ ÒÓØ Ý E Ò (h) µ ÓÙØ Ó ÑÔÐ ³ ÒÓØ Ý E ÓÙØ (h) Ì ÀÓ Ò Ò ÕÙ Ð ØÝ ÓÑ P [ E Ò (h) E ÓÙØ (h) > ǫ ] 2e 2ǫ2 N E in(h) Hi ½½»½

ÆÓØ Ø ÓÒ Û Ø ÑÙÐØ ÔÐ Ò top h 1 h 2 h M E out ( h ) E 1 out ( h 2 ) E out ( h M )........ Ein h1 E h ( ) in( ) E 2 in h M ( ) bottom ½¾»½

Ö Û ÓÒ ÐÖ Ý ÆÓØ Ó Ø ÀÓ Ò Ó Ò³Ø ÔÔÐÝ ØÓ ÑÙÐØ ÔÐ Ò º Ï Ø top B I N UNKNOWN TARGET FUNCTION f: X Y PROBABILITY DISTRIBUTION P on X top h 1 h 2 h M S A M P L E TRAINING EXAMPLES ( x, y ),..., ( 1 1 x, N y ) N x 1,..., x N E out ( h ) E 1 out ( h 2 ) E out ( h M ) ν = fraction of red marbles LEARNING ALGORITHM A FINAL HYPOTHESIS g ~ f........ µ = probability of red marbles HYPOTHESIS SET H Ein h1 ( ) Ein( ) h E ( ) 2 in h M bottom bottom ½»½

Ó Ò Ò ÐÓ Ý ÉÙ Ø ÓÒ Á ÝÓÙ ØÓ Ö Ó Ò ½¼ Ø Ñ Û Ø Ø ÔÖÓ Ð ØÝ Ø Ø ÝÓÙ Û ÐÐ Ø ½¼ Ò Û Ö 0.1% ÉÙ Ø ÓÒ Á ÝÓÙ ØÓ ½¼¼¼ Ö Ó Ò ½¼ Ø Ñ Û Ø Ø ÔÖÓ Ð ØÝ Ø Ø ÓÑ Ó Ò Û ÐÐ Ø ½¼ Ò Û Ö 63% ½»½

ÖÓÑ Ó Ò ØÓ Ð ÖÒ Ò hi B I N G O? Hi ½»½

ÑÔÐ ÓÐÙØ ÓÒ P[ E Ò (g) E ÓÙØ (g) > ǫ ] P[ E Ò (h 1 ) E ÓÙØ (h 1 ) > ǫ or E Ò (h 2 ) E ÓÙØ (h 2 ) > ǫ or E Ò (h M ) E ÓÙØ (h M ) > ǫ ] M P [ E Ò (h m ) E ÓÙØ (h m ) > ǫ] m=1 ½»½

Ì Ò Ð Ú Ö Ø P[ E Ò (g) E ÓÙØ (g) > ǫ ] M m=1 M m=1 P [ E Ò (h m ) E ÓÙØ (h m ) > ǫ] 2e 2ǫ2 N P[ E Ò (g) E ÓÙØ (g) > ǫ] 2Me 2ǫ2 N ½»½