h = L(s) (x 1,y 1 ) (x 2,y 2 ) s = (x m,y m ) L(s) = h H w 1 w 2 w W

ÒÓÛ ÔÐ ÙÔ ÖÚ Ð ÖÒ Ò ÒØÓ ÔÖÓ Ð Ø ØØ Ò Ý Ü¹ Ñ Ò Ò ÔÔÐ Ø ÓÒ Ó Ý ³ Ø ÓÖ Ñ ØÓ Ø ÙÔ ÖÚ Ð ÖÒ Ò ÔÖÓ Ð Ñº ÈÖ ÓÖ Ø Ð Ð ÓÓ Ò Ø ÔÓ Ø Ö ÓÖ ÔÖÓ Ð ØÝ Ó ÝÔÓØ ¹ º Ñ Ü ÑÙÑ Ð Ð ÓÓ Ò Ñ Ü ÑÙÑ ÔÓ Ø Ö ÓÖ ÝÔÓØ ¹ Ò ÓÑ Ü ÑÔÐ º ÔÔÐ Ø ÓÒ Ó Ø ÔÔÖÓ ØÓ Ò ÙÖ Ð Ò ØÛÓÖ Ù Ò ÔÔÖÓÜ ¹ Ø Ò ÕÙ º Ñ Ø ÓÒ Û Ñ Ò Ý Ð Ð Ô Ò ÓÒ Û Ø Ö Û ³Ö Ó Ò Ð ¹ Ø ÓÖ Ö Ö ÓÒº Ø ÓÒ ÓÑ Ö Ð Ú ÒØ Ñ Ø Ö Ð ØÓ ÓÙÒ Ò ÊÙ ÐÐ Ò ÆÓÖÚ Ö ½ ØÓ ¾¼ Ô ÖØ ÙÐ ÖÐÝ Ò ÔØ Ö ¾¼ ÐØ ÓÙ Ø ÒØ Ö Ø ÓÒ ÔØ Ö Å Ò Ä ÖÒ Ò Ý ÌÓÑ Å Ø ÐÐ Å Ö Û À ÐÐ ½ ÔØ Ö º Æ ÙÖ Ð Æ ØÛÓÖ ÓÖ È ØØ ÖÒ Ê Ó Ò Ø ÓÒ Ý Ö ØÓÔ Ö Åº ÇÜ ÓÖ ÍÒ Ú Ö ØÝ ÈÖ ½ ÔØ Ö ½ Ø ÓÒ ½º ½º ÓÔ ½º½¼ Ò ÔØ Ö ½¼ ÒØÖÓ ÙØ ÓÒ Ò Ø ÓÒ ½¼º½ ½¼º¾ Ò Ò ½¼º º ½¼º Ê Ò ËÙÔ ÖÚ Ð ÖÒ Ò ÁÁ Ø Ý Ò ÔÔÖÓ ØÛ Ò Ø Ø Ñ Ø Ö Ð Ò Û Ø Á Û ÐÐ ÓÚ Ö Ñ Ðк ÐÑÓ Ø ÐÐ Ó Û Ø Á ÓÚ Ö Ò ÓÙÒ Ò Ý Ò ÓÒ Ø ÓÖÝ Ñ Ò Ñ Ò Ø ÖÖÓÖ Ö Ø º ÓÔÝÖ Ø Ë Ò ÀÓÐ Ò ¾¼¼½¹½¼º Û ÒØ ØÓ Ò Ð Ö ÒÓØ h(x Ð Ø ÓÒ Û ³Ö Ò Ò x ØÓ ÓÒ Ó Ø {ω ÁÒ,...,ω c Ó } c Ð º Ú ØÓÖ ØØÖ ÙØ x Ð Ö h(x Ä Ð Ü ÑÔÐ x ÓÒØ Ò Ñ ÙÖ Ñ ÒØ Ø Ò ÖÓÑ Ô Ø ÒØ Ø Ò ÓÖ Ñ Ø Ø Ö Ð Ø Ö ÓÙÐ Ò ØØÖ ÙØ Ú ØÓÖ ÁØ Ø x ( x x 2 x n ω Ô Ø ÒØ ω 2 Ô Ø ÒØ Ó Ò³Ø Ú ω 3 ÓÒ³Ø Ñ Ù Ý Á³Ñ Ù Ø ÓÑÔÙØ Ö ³ÐÐ Ó Ø Ò Ô Ð ØÓ Ø Ó ØÛÓ Ð ÒÓØ C Ò C 2 º Ò Ð Ð Øº

Ø ØÛÓ¹Ð Ð Ø ÓÒ ÔÖÓ Ð Ñ Û Û ÐÐ Ð Ó Ö Ö ØÓ ØÙ Ø ÓÒ ÓÖ ØÛ Ò Ø ØÛÓ Û Ö ÓÑ Û Ø Û Ñ Ø Ø Ø ÝÔÓØ h L(s Û ÐÐ Ù Ù ÐÐÝ Ê Ö Ð Ø ÔÖ Ø Ò Ø Ð Ð Ó Ò ÒÔÙØ Ø Ò³Ø Ò ÓÖ º Ù ÙÐ Û Ù Ð ÖÒ Ö L ØÓ Ò Ö Ø ÓÒ Ø Ó ÕÙ Ò s Ó Ü ÑÔÐ º ØÖ Ò Ò ÁÒ Ö Ö ÓÒ Û ³Ö Ò Ò x ØÓ Ö Ð ÒÙÑ Ö h(x Rº ÓÒ³Ø Û ÒØ ØÓ Ò h ÜÔÐ ØÐݺ Ü ÑÔÐ x ÓÒØ Ò Ñ ÙÖ Ñ ÒØ Ø Ò Ö Ö Ò ØÓ Ý³ ÓÖ Ø Ò Û Ñ Ø Ú Û Ø Ö h(x Ø Ñ Ø Ó ÑÓÙÒØ Ó Ö Ò ÐÐ ÜÔ Ø ØÓÑÓÖÖÓÛ Ú ØÓÖ ØØÖ ÙØ x Ð Ö h(x Ä Ð h L(s h(x ÈÖ(x Ò C Ä ÖÒ Ö L ÕÙ Ò ÌÖ Ò Ò s ØÖ Ò Ò s ÕÙ Ò Ó m Ð ÐÐ Ü ÑÔÐ º ÕÙ Ò (x,y (x 2,y 2 s º (x m,y m Ò Ö ÐÐÝ Ø H Ó ÝÔÓØ ÖÓÑ Û L ÐÐÓÛ ØÓ Ö h Ð Ø L(s h H H ÐÐ Ø ÝÔÓØ Ô º Ü ÑÔÐ Ó ØØÖ ÙØ Ú ØÓÖ x Û Ø Ø Ö ÓÖÖ Ø Ð Ð Ø¹ Ø Ø º Ð ÖÒ Ö ÓÒÐÝ Ø ØÓ Ø Ð Ð ÓÖ ÑÓ Ø ÔÖÓ ÐÝ Ñ ÐÐ Ó Ø ÔÓ Ð ÒÔÙØ xº Ù Ø Ð ÖÒ Ö ÓÙØÔÙØ ÝÔÓØ ÜÔÐ ØÐÝ ÓÖ Ò Ø Ó Ò Ô Ö ÔØÖÓÒ Ø Ò ÓÙØÔÙØ Ú ØÓÖ ÑÙÐØ Ð Ý Ö w ( w w 2 w W h(x f(w;x Ó Û Ø Û Ò ØÙÖÒ Ô Ý h Û Ö w L(sº Ð ØÝ ÐÐ Ò Ö Ð Þ Ø ÓÒº

Á Á ÝÓÙ Û Ø ÔÖÓÔ Ø ÓÒ Ð ÓÖ Ø Ñ ÓÖ ØÖ Ò Ò ÑÙÐØ ¹ ÁÒ Ô Ö ÔØÖÓÒ Ò Ø Ó Ö Ö ÓÒº Ð Ý Ö ÛÓÖ Ý Ñ Ò Ñ Þ Ò ÙÒØ ÓÒ Ó Ø Û Ø Ö ÔÖ ÒØ Ò Ø ÙÖÖ ÒØÐÝ Ò Ñ ÖÖÓÖ ÙÑÑ Ø ÓÒ Ö ÓÚ Ö Ø ØÖ Ò Ò Ü ÑÔÐ º ÜÔÖ ÓÒ Ò ÙÑÑ Ø ÓÒ ÖÓÛ f ÔÖ Ø ÓÒ ÓÖ x Ø i ÖÓÑ Ø ÒÓÛÒ Ú Ö Ü ÑÔÐ H Ø Ø Ó ÐÐ ÔÓÐÝÒÓÑ Ð Ó Ö Ø Ò Ò ØÙÖ ÓÖ Ô Ñ Ø Ö ÓÑ Û Ðй ÒÓÛÒ ÆÙÐØ Ó Ø Û Ø Ò ÙÖ Ð Ò ØÛÓÖ Ö Ó Ø Ò º ØÖ Ò Ò Æ ØÙÖ Ø Ò ÓÛ Ù ØÖ Ò Ò ÕÙ Ò s Û Ö x i Ð ¹ h (x ÐÐ i + ǫ i ǫ Û Ö i ÒÓ Ó ÓÑ Ò º Ò ÒÓÛ Ù h ØÓ Ó Ø Ò ØÖ Ò Ò ÕÙ Ò s Ò Ø Ñ ÒÒ Ö Ù Ø ºº Ò Ó Ø ÔÖÓ ÓÐÐÓÛ E(w 2 (f(w;x i y i 2 Æ ØÙÖ Ô Ò h H ÙØ Ó Ò³Ø Ö Ú Ð Ø ØÓ Ù º ÇÙÖ Ó ØÓ ØÖÝ ØÓ Ò Ö Û Ø h ÓÒ Ø Ó s ÓÒÐݺ Ð Ð y i º Ö ÒØ ÒØ w t+ w t α E(w w wt Ý ØÓ Ú Ù Ð Ò ÓÒ Ñ Ò ÓÒ Ø³ Ù Ø ØØ Ò ÙÖÚ ØÓ ÔÓ ÒØ º ÓÑ ÔÖÓÔ Ø ÓÒ ØÖ ØÓ Ò w Ø Ø Ñ Ò Ñ E(w Ý Ô Ö ÓÖÑ Ò h (x 3 x3 3 2 x2 + 2x 2 0.5 0.5 0.3 0.3 0. 0. 0.5.5 2 2.5 3 0.5.5 2 2.5 3 s ((x,y, (x 2, y 2,...,(x m, y m À Ö Û Ú Ð Ò ØÓ ÑÔ Ø Ø Ø Ø Û ÓÒ³Ø Ø ØÓ Øº Û Ö x i Ò y i ÒÙÑ Öº

Ù Ø Ð ÖÒ Ò Ð ÓÖ Ø Ñ L Ø Ø ÓÔ Ö Ø Ò Ü ØÐÝ Ø Ñ Ä Ø ÔÖÓÔ Ø ÓÒ Ø Ô Ò h H Ñ Ò Ñ Ò Ø ÓÐÐÓÛ Ò Û Ý Ö ÙÐØ Ò Ø Ñ Ð Ö ØÓ Ø ÔÖ Ú ÓÙ ÓÒ h Ò ÕÙ Ø ØÓ h ÙØ ÒÓØ ÕÙ Ø ÒØ Ðº ÐÓ Ó Ò h ÐÓ ØÓ Ø Ø Ö Ø h Ú Ò Ø ÓÙ Ø Û Ó Ò Ù Ò Ñ ÐÐ ÒÙÑ Ö Ó ÒÓ Ý Ü ÑÔÐ º ÁØ ÒÓØ ÕÙ Ø ÒØ Ð ØÓ Ø ÓÒÐÝ ÓÒ ÔØ ÓÛ Ú Ö Û Û Ö Ú Ò Ò Û ÔÓ ÒØ x Ò Ø Ö Ø Ù Ø Ú ÐÙ h (x Ø Ò Ù Ò h(x Ñ Ø ÜÔ Ø ØÓ ØÓ «Ø Û Ú Ñ ÓÙÖ H ØÓÓ Ñ Ðгº ÁØ Ó ÒÓØ Ò Ø ÓÒØ Ò ÁÒ ÝÔÓØ Ñ Ð Ö ØÓ h º ÒÝ Á Û Ô h Ù Ò Ø Ñ Ø Ó Ø Ò Û Ø ÕÙ ÒØ ØÝ E (h(x i y i 2 0.6 ÁÒ ÓØ Ö ÛÓÖ h L(s Ö Ñ Ò (h(x i y i 2-0.5.5 2 2.5 3 Ó ÕÙ Ø Û Ðк ÓÒ³Ø ÒÓÛ Û Ø H Ò ØÙÖ Ù Ò º Ø Ø ÓÒ Û ÓÓ Ñ Ø Ò Ñ ÓÙÖ H Ö³ Ý Ò Ò Ø Ó Ò³Ø H {h : h ÔÓÐÝÒÓÑ Ð Ó Ö Ø ÑÓ Ø 5} Û Ø³ Ø ÔÖÓ Ð Ñ Ê Ô Ø Ò Ø ÔÖÓ Û Ø H {h : ÔÓÐÝÒÓÑ Ð Ó Ö Ø ÑÓ Ø h } Ú Ø ÓÐÐÓÛ Ò Á Û Ù Ø Ñ Ð ÖÒ Ò Ð ÓÖ Ø Ñ Ø Ò Û Ø 0.6 0.5 0.3 0. - 0.5.5 2 2.5 3 0.5.5 2 2.5 3

Ø Ú ÐÙ q(d Ö ÓÙÒ Ù Ò ÒÔÙØ Ø Ø Ö ÒÓØ Ò Ö ÐÝ Ò Ø ØÖ Ò Ò ÕÙ Ò Ø Ý Ñ ÙÖ Ò Ö Ð Þ Ø ÓÒº ÒÐÙ ÌÓ ÑÓÓØ ÓÙØ Ø «Ø Ó Ø Ö Ò ÓÑ Ð Ø ÓÒ Ó Ü ÑÔÐ Û Ø ÔÖÓ 00 Ø Ñ Ò Ú Ö Ø Ú ÐÙ q(dº Ö Ô Ø Ø ÙÒ ÒÓÛÒ ÙÒ ÖÐÝ Ò ÙÒØ ÓÒ Û Ò ÐÓÓ Ø ÓÛ Ø Ö Ø ÔÓÐÝÒÓÑ Ð Ø ØÖ Ò Ò Ð ÓÖ Ø Ñ Ò ÓÙØÔÙØ «Ø Ø Ò¹ Ó Û Ò ØÓ ÓÓ H Ò ÐÝ Û Û ÒØ ØÓ Ó Ø Ò ÓÓ Ð ÖÐÝ Ô Ö ÓÖÑ Ò º Ò Ö Ð Ø ÓÒ Û Ú ØÓ Ñ H Ù Ö Ø ÏÊÇÆ Ø H {h : ÔÓÐÝÒÓÑ Ð Ó Ö Ø ÑÓ Ø h 25} ÜÔ Ö Ñ ÒØ ØÓ Ò ÓÑ ÙÖØ Ö Ò Ø Ù Ò Ò h (x 0 x0 2 x8 + 5 x6 + 3 x3 3 2 x2 + 2x 2. Û Ø 0.8 Ö Ð Þ Ø ÓÒ Ð ØÝ Ó Ø Ö ÙÐØ Ò hº 0.6 - - 0.5.5 2 2.5 3 Ù Ø Ñ ØÖ Ò Ò Ð ÓÖ Ø Ñ Ò Û ØÖ Ò Ù Ò H {h : ÔÓÐÝÒÓÑ Ð Ó Ö Ø ÑÓ Ø h d} ÓÖ Ú ÐÙ Ó d Ö Ò Ò ÖÓÑ ØÓ 30 Ê ÒÓÛÒ ÓÚ Ö ØØ Ò º Û Ó Ø Ò Ò h Ó Ú Ò Ö ÐÐ Ø h Ø Ñ d Û Ù Ò ÙÖØ Ö 00 ÒÔÙØ x i Ò Ö Ø Ø Ö Ò ÓÑ Ò ÕÙ Ð ØÝ Ø À Ö Ø Ö ÙÐØ ÐÙÐ Ø Ò q(d 00 (h (x 00 i h d (x i 2 Log of average q 30 25 20 5 0 5 5 0 5 20 25 30 d

ÑÓ Ð Ù ÓÚ Ù Ø ØÛÓ ÓÙÖ Ó ÙÒ ÖØ ÒØÝ Ø Ø Û ØÖ Ø Û Ø ÔÖÓ Ð Ø º Ñ Ø ÓÒ³Ø ÒÓÛ ÓÛ Ò ØÙÖ ÓÓ h ÖÓÑ Hº Ø Ö ÓÖ ÑÓ Ð ÙÒ ÖØ ÒØÝ Ý ÒØÖÓ Ù Ò Ø ÔÖ ÓÖ ØÖ ÙØ ÓÒ ÈÖ(h ÓÒ Hº ÓÙÖ ÛÓÖØ ÑÔ Þ Ò Ø Ø ÔÓ ÒØ Ø Ø Ò ÑÓ ÐÐ Ò ÒÓ ÓÒ Ø Áس Ü ÑÔÐ Û ³ÐÐ ÓÒÐÝ ÓÒ Ö ÒÓ ÓÒ Ø Ð Ð º ØÖ Ò Ò Ø ÔÖÓ Ð ØÝ Ó Ò Ú Ò Ð Ð Y Û Ò Ø ÒÔÙØ ÌÖ Ò Ð Ø ÓÒ x Ò Ø ÙÒ ÖÐÝ Ò ÝÔÓØ hº Ú ØÓÖ ØÖ ØÐÝ Ô Ò x ÓÙÐ ÒÓØ ÔÔ Ö Ò Ø ÔÖÓ Ð Ø ÆÓØ Ø³ ÒÓØ Ö Ò ÓÑ Ú Ö Ð º ÁØ ÒÐÙ ÓÖ Ð Ö Øݺµ Ù Û ³Ö Ú Ò ØÖ Ò Ò ÕÙ Ò Û Ø Ø ÔÖÓ Ð ØÝ Ø Ø Û Ò Ö Ø Ù Ò ÓÑ h Ø Û ÙÑ Ø Ø Ø Ü ÑÔÐ Ö Ò Ô Ò ÒØ Ø Ò Ø ÔÖÓ Ð ØÝ Á Ò Ø Ð Ð Ò ØÖ Ò Ò ÕÙ Ò s ØÖ Ø ÓÖÛ Ö º Ó Ð Ð ÓÓ ÙÖ Ó ÙÒ ÖØ ÒØÝ Û Ú ØÓ Ö Ùк ÙØ Ð Ø³ ÔÖ ÓÒ Û Ø Ø ÔÔÖÓ ÓÖ Û Ð ÐÓÒ Öººº Ð ØØÐ ÑÓ Ð ÓÙÖ ÙÒ ÖØ ÒØÝ Ò Ø ØÖ Ò Ò Ü ÑÔÐ Ý Ô Ý Ò Ð Ð ÓÓ ÈÖ(Y h, x Ä Ø³ ÙÑ Û ³Ú Ð Ø Ò H ØÓ Ù Ò Ø³ Ø Ñ ÓÒ Ù Ò º Ò ØÙÖ ØÛÓ¹Ð Ð Ø ÓÒº ÓÑÑÓÒ Ð Ð ÓÓ Ü ÑÔÐ ÈÖ(Y C h,x σ(h(x Ö ÒÓ ÓÒ Ø ØÖ Ò Ò Ü ÑÔÐ º Û Ö σ(z + ÜÔ( z ÒÔÙØ Ú ØÓÖ x Ö ÒÓØ ÑÓ ÐÐ Ù Ò ÔÖÓ Ð ØÝ ØÖ ÙØ ÓÒº Ð Ð ÓÓ Ð Ð ÓÓ The logistic function σ(z +exp( z Logistic σ(z applied to the output of a linear function 0.9 0.8 Ò Ü ÑÔÐ (x, y y Ò C ÓÖ C ÓÖ 2 Áس ÐÔ ÙÐ Ö ØÓ Ö Ò Ñ º Ð Ù Ø Ò 0 Ö Ô Ø Ú ÐÝ Ù Ø Ð ØÓ Ò Ø 0.7 0.8 σ(z 0.6 0.5 Pr(x is in C 0.6 ÜÔÖ ÓÒº ÑÔÐ ÆÓÛ { σ(h(x Y ÈÖ(Y h,x σ(h(x Y 0 0.3 0. 0 0 5 0 5 0 z 0 0 5 0 Input x2 5 0 0 5 0 Input x 5 0 Û Ò Ý ÒÓÛÒ Ú ÐÙ Û Ò ÛÖ Ø ÓÒ ÕÙ ÒØÐÝ ÈÖ(y h,x [σ(h(x] y [ σ(h(x] ( y

ÒÓÑ Ò ØÓÖ Z p(y ÐÐ Ø Ú Ò Ò Ð ÓÒ ØÓ Ù Ó Ø ÓÛÒº ÍÒ ÓÖØÙÒ Ø ÐÝ Û ÛÓÒ³Ø Ú Ø Ñ ØÓ Ò Ø Ò Ð Ð ÓÓ Ð Ð ÓÓ ÓÑÑÓÒ Ð Ð ÓÓ ÛÓÖ Ò Ø Ø Ò ÓÙØÔÙØ Ò s ØÓ Ø Ö ÒØÓ Ô Ö Ø Ñ ØÖ ÓÐÐ Ø Ò ÒÔÙØ Ó y ( y y 2 y m Ò X ( x x 2 x m Ú Ð Ð ÓÓ Ó Ø ØÖ Ò Ò ÕÙ Ò Û Ø m ÈÖ(y h,x ÈÖ(y i h,x i m [σ(h(x i ] y i [ σ(h(x i ] ( y i Ý ÙÑ Ò Ø Ø Ü ÑÔÐ Ö ÓÖÖÙÔØ Ý Ù Ò Ö Ö ÓÒ Û Ø Ñ Ò 0 Ò ÓÑ Ô Ú Ö Ò σ 2 ÒÓ y h(x + ǫ Û Ö ǫ N(0, σ 2 ( 2πσ 2 ÜÔ Ù Ù Ð Ø Ò ØÝ ÓÖ N(µ, σ 2 p(z (z µ2 2σ 2 Ò ØÓ Û Ø Ñ Ò Ý h(x ǫ Ù Ø Ø Ó ( (y h(x2 p(y h,x 2πσ 2 2σ 2 ÜÔ ÒÓØ Ö Ü ÑÔÐ Ö Ö ÓÒº Ð Ð ÓÓ Ý ³ Ø ÓÖ Ñ ÔÔ Ö ÓÒ ÑÓÖ ººº Ø Ü ÑÔÐ Ö Ò Ô Ò ÒØ Ø Ò Ø Ð Ð ÓÓ Ó ÓÒ ÕÙ ÒØÐÝ ØÖ Ò Ò ÕÙ Ò s Û ³Ú Ø Ö Ó Ø ÙÒ ÖØ ÒØÝ Ý ÒØÖÓ Ù Ò Ø ÔÖ ÓÖ Ê Ø Ò Ø Ð Ð ÓÓ Ó Ø ØÖ Ò Ò ÕÙ Ò p(y h,xº p(h p(y h,x m p(y i h,x i m ( (y i h(x i 2 2πσ 2 2σ 2 ( ÜÔ (y (2πσ 2 ÜÔ m/2 2σ 2 i h(x i 2 Ø ÔÓ ÒØ ÝÓÙ ÓÔ ÙÐÐÝ Û ÒØ ØÓ ÔÔÐÝ Ý ³ Ø ÓÖ Ñ Ò ÛÖ Ø Ý p(h y p(y hp(h p(y Û Ö p(y p(h,y p(y hp(h ØÓ ÑÔÐ Ý Ø ÜÔÖ ÓÒ Û Ú ÒÓÛ ÖÓÔÔ Ø Ñ ÒØ ÓÒ Ó Ò Ø ÒÔÙØ Ö Ü º X ÐÐ Ø ÔÓ Ø Ö ÓÖ ØÖ ÙØ ÓÒº p(h y Û ³Ú Ù Ø Ø Ø Ø Û Ö ÜÔ(a ÜÔ(b ÜÔ(a + b ÜÔÐÓÖ Ø Ñº

h ÅÄ ÓÖÖ ÔÓÒ ØÓ Ø Û Ö Ø ÔÖ ÓÖ p(h ÙÒ ¹ Ç Ú ÓÙ ÐÝ ÓÖѺ Á Ø ØÖ ÙØ ÓÒ Ó Ø ÒÓ ÒÓØ Ù Ò «Ö ÒØ Ö ÙÐØ Ó Ø Ò º Ù Ó ÐÓ ÓÚ ØÓ ÑÔÐ Ý Ñ Ü Ñ Þ Ø ÓÒ ÔÖÓ Ð Ñ ØÖ º Ø Ò Ö Ù Ò ÙÑÔØ ÓÒ ÓÑ Ø Ñ ÙØ ÒÓØ ÐÛ Ý ÓÓ Û Ö Ø ÒØÖ Ð Ä Ñ Ø ÓÖ Ñ µº Ó º Ü ÑÔÐ Ñ Ü ÑÙÑ Ð Ð ÓÓ Ð ÖÒ Ò Ý ³ Ø ÓÖ Ñ ÔÔ Ö ÓÒ ÑÓÖ ººº ÓÜ ÕÙ Ø ÓÒ ÓÒ Ø Ð Ø Ð Ú ÖÝ ÑÔÐ ÒØ ÖÔÖ Ø Ø ÓÒ Ø ÔÖÓ Ð ØÝ Ø Ø Ø Ô h Û Ù ØÓ Ò Ö Ø Ø Û Ø³ ØÖ Ò Ò ÕÙ Ò Á³Ú Ò Ú Ò ÌÛÓ Ò ØÙÖ Ð Ð ÖÒ Ò Ð ÓÖ Ø Ñ ÒÓÛ ÔÖ ÒØ Ø Ñ ÐÚ ÓÚ ( p(y h (2πσ 2 ÜÔ m/2 2σ 2 (y i h(x i 2 Ö Ú Ò Ü Ø ÜÔÖ ÓÒ ÓÖ Ø Ð Ð ÓÓ Ò Ø Ö Ö ÓÒ h ÅÄ Ö Ñ Ü p(y h ÙÒ Ö Ø ÙÑÔØ ÓÒ Ù ÒÝ Ð ÖÒ Ò Ð ÓÖ Ø Ñ ÈÖÓÔÓ Ø ÓÒ ÛÓÖ Ý Ñ Ò Ñ Ò Ø ÙÑ Ó ÕÙ Ö ÖÖÓÖ ÓÒ s Ò h ÅÄ º Ø Ø ½º Ñ Ü ÑÙÑ Ð Ð ÓÓ ÝÔÓØ h Å È Ö Ñ Ü p(h y Ö Ñ Ü p(y hp(h Ð ÖÐÝ Ó ÒØ Ö Ø Ø ÒÓØ Ð Ü ÑÔÐ Ø ÔÖÓÔ Ø ÓÒ Ð ÓÖ Ø Ñº ÒÓÛ ÔÖÓÚ Ø ÔÖÓÔÓ Ø ÓÒººº ¾º Ñ Ü ÑÙÑ ÔÓ Ø Ö ÓÖ ÝÔÓØ Ü ÑÔÐ Ñ Ü ÑÙÑ Ð Ð ÓÓ Ð ÖÒ Ò Ü ÑÔÐ Ñ Ü ÑÙÑ Ð Ð ÓÓ Ð ÖÒ Ò h ÅÄ Ö Ñ Ü p(y h Ö Ñ Ü ÐÓ p(y h [ Ö Ñ Ü ÐÓ [ ÐÓ Ö Ñ Ü Ö Ñ Ü Ö Ñ Ò ( ] (y (2πσ 2 ÜÔ m/2 2σ 2 i h(x i 2 ] (y (2πσ 2 m/2 2σ 2 i h(x i 2 (y 2σ 2 i h(x i 2 (y i h(x i 2 ÔÖÓÔÓ Ø ÓÒ ÓÐ Ù ÆÓØ

Ú Ó Ö ÓÒ ÒØÖ Ø Ø ÖÓÙ ÓÙØ ÓÙÖ ÓÚ Ö Ó Ñ Ò ÓÒ ÓÓ Ò Ò Ð ÝÔÓØ º Ð ÖÒ Ò Ñ Ò Ò ÔÖ ÒØ Û Ø Ò Û x Ò Ò Ø ÕÙ Ø ÓÒ Ø Ø ÑÓ Ø ÔÖÓ Ð Ð Ø ÓÒ Ó x Û Ø Ø Ö ÓÒ Ð ØÓ ÜÔ Ø Ò Ð ÝÔÓØ ØÓ ÔÖÓÚ Ø ÓÔØ Ñ Ð Á Ò Û Ö Ò ØÓ ÐÓÓ Ø Û Ø Ø ÓÔØ Ñ Ð ÓÐÙØ ÓÒ ØÓ Ø Ò Ó Ñ Ø ººº ÔÖÓ Ð Ñ Ó Ò ØÙÖ ÓÓ Ò Ð Ø Ö Ò ÓÑ ÐØ ÓÙ ÒÓØ Ö Ú Ð Ò Ò Ò ÓÛ Ò Ù Ú ØÓÖ Ð Ø Ø Ö Ò ÓÑ Ù Ò p(x ωº Ø Ñµ ÒÓØ Ö Û Ý ÓÛ ÓÙÐ Û Ñ ÓÒ Ò Ù Û Ý Ø Ø ÈÙØ ÓÙØÓÑ Ó Ø Ò ÓÒ Ú Ö Ø Ø ÔÓ Ð Ë Ý Û Ú Ø Ø ÓÒ Ò Ø ÓÙ Ø Ó Ý Ò Ò Ø Ú ØÓÖ ØÓ Ð Ò Ó ÓÒº ½ Ð Ó ÐÓ λ(α Ö i, ω j Ó Ø Û Ø Ø Ò Ø ÓÒ α i Û Ò Ð ω Ø j º Û ÐÛ Ý Ø Ø ÓÒ α Á i Û x Ø Ò Ø Ú Ö ÐÓ ÓÒ Û Ò x Ò Ý Ò ÓÒ Ø ÓÖÝ Ò ÜØ Ø Ôººº Ø Ø ÓÔØ Ñ Ð ÔÔÖÓ ØÓ Ø ÔÖÓ Ð Ñ Ö Û Ò Ø Ö Ø ÕÙ Ø ÓÒ Ø ÓÙ ØØÖ ÙØ Ú ØÓÖ x R d º ÍÐØ Ñ Ø ÐÝ Û Û ÒØ ØÓ Ò Ö Ð º Ø Ó Ð {ω,...,ω c }º Ë Ú Ö Ð ÔÓ Ð Ø ÓÒ {α,...,α a }º ÐÓ Û ÐÐ ÓÑ Ø Ñ Ö Ú Ø ØÓ λ(α i, ω j λ ij º Ý Ò ÓÒ Ø ÓÖÝ Ý Ò ÓÒ Ø ÓÖÝ Ë Ý Ò ØÙÖ ÓÛ Ù x Ò Û Ø Ø ÓÒ α i º Ë Ý Û Ò Ð Ó ÑÓ Ð Ø ÛÓÖÐ ÓÐÐÓÛ Ð Ú ÔÖÓ Ð Ø ÈÖ(ω Ó ÓÙÖÖ Ò º ÔÖÓ Ð ØÝ Ó Ò x Û Ò Ø Ð ω Ò ØÝ p(x ωº R(α i x E ω p(ω x [λ ij x] c λ(α i,ω j ÈÖ(ω j x. j ÕÙ ÒØ ØÝ R(α i x ÐÐ Ø ÓÒ Ø ÓÒ Ð Ö º Ù Ù Ð Ý ÖÙÐ Ø ÐÐ Ù Ø Ø ÈÖ(ω x p(x ωèö(ω p(x ÆÓØ Ø Ø Ø Ô ÖØ ÙÐ Ö x Ü º ÒÓÛ Ø ÒÓÑ Ò ØÓÖ Ò p(x c p(x ω i ÈÖ(ω i.

Ý Û Ú ÓÒ ÖÙÐ α : R d {α ÆÓÛ,...,α a Ø ÐÐ Ò Ù } Ø ÓÒ ØÓ Ø ÓÒ Ò ÒÝ x R d º Û Ø ÙÔ ÖÚ Ð ÖÒ Ò ÓÙÖ Ñ Ó Ø Ò ØÓ ÛÓÖ Ò Ù Û Ý Ø Ø ÁÒ Ñ Ò Ñ Ø ÔÖÓ Ð ØÝ Ó ÖÖÓÖº Û Ý Ò ÓÒ Ø ÓÖÝ Ý Ò ÓÒ Ø ÓÖÝ Ð ÖÐÝ Ø Ö Ñ Ò Ñ ÓÖ Ø ÓÒ ÖÙÐ Ò ÓÐÐÓÛ α ÓÙØÔÙØ Ø Ø ÓÒ α i Ø Ø Ñ Ò Ñ R(α i x ÓÖ ÐÐ x R d º Ú Ö ÓÖ Ö ÐÓ R E (x,ω p(x,ω [λ(α(x, ω] [ E x p(x Eω ÈÖ(ω x [λ(α(x, ω x] ] E x p(x ½µ [R(α(x x] R(α(x xp(xdx ÔÖÓÚ Ù Û Ø Ø Ñ Ò ÑÙÑ ÔÓ Ð Ö ÓÖ Ý Ö R º ÖÙÐ Ô ÐÐ Ø Ý ÓÒ ÖÙÐ º Û Ú Ù Ø Ø Ò Ö Ö ÙÐØ ÖÓÑ ÔÖÓ Ð ØÝ Ø ÓÖÝ Ø Ø Û Ö E [E [X Y]] E [X]. Ë Ø ÙÔÔÐ Ñ ÒØ ÖÝ ÒÓØ ÓÖ ÔÖÓÓ ºµ Ü ÑÔÐ Ñ Ò ÑÙÑ ÖÖÓÖ Ö Ø Ð Ø ÓÒ Ü ÑÔÐ Ñ Ò ÑÙÑ ÖÖÓÖ Ö Ø Ð Ø ÓÒ Û Ö Ö Ò ÙÔ ÖÚ Ð ÖÒ Ò ÔÖÓ Ð Ñ Û Ø c Ð {ω,...,ω c Ò Û ÒØ ÖÔÖ Ø Ø ÓÒ } α i Ñ Ò Ò Ø ÒÔÙØ Ò ÐÓ ÓÙÐ Û ÓÒ Ö Ò Ø ÖÙÑ Ø Ò ÖÓÑ Ø Ø ÓÖÝ ÔÖÓ Ð ØÝ ÈÖ(A E [I(A] Û Ö { A ÔÔ Ò I(A 0 ÓØ ÖÛ ÙÔÔÐ Ñ ÒØ ÖÝ ÒÓØ ÓÖ ÔÖÓÓ ºµ Ø Ë { i j λ ij ÓØ ÖÛ 0 Ø Ø Ø Ö R Ñ Ò R E [λ] Ò ÈÖ(α(x ÖÖÓÖ Ð ω i ³ Ø Ò ÐÓ Ò Ø Ý ÓÒ ÖÙÐ Ñ Ò Ñ Ø ÔÖÓ Ð ØÝ Ó ÖÖÓÖº

ÁÅÈÇÊÌ ÆÌ ËÍÅÅ Ê Ú Ò Ò Û x ØÓ Ð Ý ÓÓ ¹ ÌÀ Ø Ð Ø Ø Ñ Ü Ñ ÈÖ(ω Ò i Ø Ø ØÖ Ø Ý ÝÓÙÖ Ñ x Ü ÑÔÐ Ñ Ò ÑÙÑ ÖÖÓÖ Ö Ø Ð Ø ÓÒ Û Ø Ø Ý ÓÒ ÖÙÐ ÆÓÛ c R(α i x λ(α i,ω j ÈÖ(ω j x j ÈÖ(ω j x i j ½ ÈÖ(ω i x Ó α(x ÓÙÐ Ø Ð Ø Ø Ñ Ü Ñ ÈÖ(ω i xº ØÓ Ó Ø Ò Ø Ñ Ò ÑÙÑ ÖÖÓÖ Ö Ø