λ = λ = 1.0 w Ø w = C (w) + λ N wì w

Size: px

Start display at page:

Download "λ = λ = 1.0 w Ø w = C (w) + λ N wì w"

Wilfrid Nelson
6 years ago
Views:

1 Ê Ú Û Ó Ä ØÙÖ ½¾ Ê ÙÐ Ö Þ Ø ÓÒ ÓÒ ØÖ Ò ÙÒÓÒ ØÖ Ò E Ò = ÓÒ Øº ÓÓ Ò Ö ÙÐ Ö Þ Ö E Ù (h) = E Ò (h) + λ N Ω(h) Ω(h) ÙÖ Ø ÑÓÓØ ÑÔÐ h ÑÓ Ø Ù Û Ø Ý w Ð Ò w ÒÓÖÑ Ð λ ÔÖ Ò ÔÐ Ú Ð Ø ÓÒ λ = λ = 1.0 E Ò w Ø w = C y y Å Ò Ñ Þ E Ù (w) = E Ò (w) + λ N wì w x x

2 Ä ÖÒ Ò ÖÓÑ Ø Ö Ëº Ù¹ÅÓ Ø Ð ÓÖÒ ÁÒ Ø ØÙØ Ó Ì ÒÓÐÓ Ý Ä ØÙÖ ½ Î Ð Ø ÓÒ ËÔÓÒ ÓÖ Ý ÐØ ³ ÈÖÓÚÓ Ø Ç ² Ë Ú ÓÒ Ò ÁËÌ ÌÙ Ý Å Ý ½ ¾¼½¾

3 ÇÙØÐ Ò Ì Ú Ð Ø ÓÒ Ø ÅÓ Ð Ð Ø ÓÒ ÖÓ Ú Ð Ø ÓÒ ¾»¾¾

4 Î Ð Ø ÓÒ Ú Ö Ù Ö ÙÐ Ö Þ Ø ÓÒ ÁÒ ÓÒ ÓÖÑ ÓÖ ÒÓØ Ö E ÓÙØ (h) = E Ò (h) + ÓÚ Ö Ø Ô Ò ÐØÝ Ê ÙÐ Ö Þ Ø ÓÒ Î Ð Ø ÓÒ E ÓÙØ (h) = E Ò (h) + ÓÚ Ö Ø Ô Ò ÐØÝ }{{} Ö ÙÐ Ö Þ Ø ÓÒ Ø Ñ Ø Ø ÕÙ ÒØ ØÝ E } ÓÙØ {{ (h) } = E Ò (h) + ÓÚ Ö Ø Ô Ò ÐØÝ Ú Ð Ø ÓÒ Ø Ñ Ø Ø ÕÙ ÒØ ØÝ»¾¾

5 Ò ÐÝÞ Ò Ø Ø Ñ Ø ÇÒ ÓÙØ¹Ó ¹ ÑÔÐ ÔÓ ÒØ (x, y) Ø ÖÖÓÖ (h(x), y) ËÕÙ Ö ÖÖÓÖ Ò ÖÝ ÖÖÓÖ ( h(x) y ) 2 h(x) y E [ (h(x), y) ] = E ÓÙØ (h) Ú Ö [ (h(x), y) ] = σ 2»¾¾

6 ÖÓÑ ÔÓ ÒØ ØÓ Ø ÇÒ Ú Ð Ø ÓÒ Ø (x 1,y 1 ),,(x K,y K ) Ø ÖÖÓÖ E Ú Ð (h) = 1 K K k=1 (h(x k ), y k ) E [ E Ú Ð (h) ] = 1 K K [ E (h(x k ),y k ) ] = E ÓÙØ (h) k=1 Ú Ö [ E Ú Ð (h) ] = 1 K K 2 Ú Ö [ (h(x k ),y k ) ] = σ2 K k=1 E Ú Ð (h) = E ÓÙØ (h) ± O ( 1 K )»¾¾

7 ÜÔ Ø ÖÖÓÖ K Ø Ò ÓÙØ Ó N Ú Ò Ø Ø Ø D = (x 1,y 1 ),,(x N,y N ) } K ÔÓ ÒØ {{} Ú Ð Ø ÓÒ N } K {{ ÔÓ ÒØ } D Ú Ð O D ØÖ Ò ( 1 K ) ËÑ ÐÐ K = Ø Ñ Ø Ä Ö K = ØÖ Ò Ò E ÓÙØ E Ò ÆÙÑ Ö Ó Ø ÈÓ ÒØ N K K»¾¾

8 K ÔÙØ ÒØÓ N D D ØÖ Ò D Ú Ð N N K K D = g D ØÖ Ò = g D (N) D ØÖ Ò (N K) E Ú Ð = E Ú Ð (g ) Ä Ö K = Ø Ñ Ø ÊÙÐ Ó Ì ÙÑ g D Ú Ð (K) K = N 5 g E Ú Ð (g )»¾¾

9 Ï Ý Ú Ð Ø ÓÒ³ top D Ú Ð Ù ØÓ Ñ Ð ÖÒ Ò Ó Á Ò Ø Ñ Ø Ó E ÓÙØ Ø Ð ÖÒ Ò Ø Ø ÒÓ ÐÓÒ Ö Ø Ø Ø Error 1.5 ÁØ ÓÑ Ú Ð Ø ÓÒ Ø 1 Early stopping E out Epochs E in bottom»¾¾

10 Ï Ø³ Ø Ö Ò Ì Ø Ø ÙÒ Ú Ð Ø ÓÒ Ø ÓÔØ Ñ Ø ÌÛÓ ÝÔÓØ h 1 Ò h 2 Û Ø E ÓÙØ (h 1 ) = E ÓÙØ (h 2 ) = 0.5 ÖÖÓÖ Ø Ñ Ø 1 Ò 2 ÙÒ ÓÖÑ ÓÒ [0,1] È h {h 1,h 2 } Û Ø = min( 1, 2 ) E( ) < 0.5 ÓÔØ Ñ Ø»¾¾

11 ÇÙØÐ Ò Ì Ú Ð Ø ÓÒ Ø ÅÓ Ð Ð Ø ÓÒ ÖÓ Ú Ð Ø ÓÒ ½¼»¾¾

12 Í Ò D Ú Ð ÑÓÖ Ø Ò ÓÒ M ÑÓ Ð H 1,...,H M H 1 H 2 H M D ØÖ Ò Í D ØÖ Ò ØÓ Ð ÖÒ g m ÓÖ ÑÓ Ð g 1 g 2 g M Ú ÐÙ Ø g m Ù Ò D Ú Ð D Ú Ð E m = E Ú Ð (g m); m = 1,...,M E 1 E E 2 {z } M Ô Ø Ø È ÑÓ Ð m = m Û Ø Ñ ÐÐ Ø E m H m, E m ) D g m ½½»¾¾

13 ÜÔ Ø ÖÖÓÖ Ì Ï Ð Ø Ø ÑÓ Ð H m Ù Ò D Ú Ð E Ú Ð (g m ) Ø Ñ Ø Ó E ÓÙØ (g m ) ¼º ÁÐÐÙ ØÖ Ø ÓÒ Ð Ø Ò ØÛ Ò ¾ ÑÓ Ð ¼º ¼º ¼º ( ) E ÓÙØ g m ( ) E Ú Ð g m ½ ¾ Î Ð Ø ÓÒ Ë Ø Ë Þ K ½¾»¾¾

14 ÀÓÛ ÑÙ ÓÖ M ÑÓ Ð H 1,...,H M D Ú Ð Ù ÓÖ ØÖ Ò Ò ÓÒ Ø Ò Ð Ø ÑÓ Ð H Ú Ð = {g 1,g 2,...,g Ñ } ØÓ ÀÓ Ò Ò Î E ÓÙØ (g m ) E Ú Ð (g m ) + O ( ) lnm K Ö ÙÐ Ö Þ Ø ÓÒ λ ÖÐÝ¹ ØÓÔÔ Ò T ½»¾¾

15 Ø ÓÒØ Ñ Ò Ø ÓÒ ÖÖÓÖ Ø Ñ Ø E Ò, E Ø Ø, E Ú Ð ÓÒØ Ñ Ò Ø ÓÒ ÇÔØ Ñ Ø ÔØ Ú µ Ò Ø Ñ Ø Ò E ÓÙØ ÌÖ Ò Ò Ø ØÓØ ÐÐÝ ÓÒØ Ñ Ò Ø Î Ð Ø ÓÒ Ø Ð ØÐÝ ÓÒØ Ñ Ò Ø Ì Ø Ø ØÓØ ÐÐÝ Ð Ò³ ½»¾¾

16 ÇÙØÐ Ò Ì Ú Ð Ø ÓÒ Ø ÅÓ Ð Ð Ø ÓÒ ÖÓ Ú Ð Ø ÓÒ ½»¾¾

17 Ì Ð ÑÑ ÓÙØ K Ì ÓÐÐÓÛ Ò Ò Ó Ö ÓÒ Ò E ÓÙØ (g) E ÓÙØ (g ) E Ú Ð (g ) Ñ ÐÐ Kµ Ð Ö Kµ Ð Ø Ø Ð ÑÑ Ò Ð Ø Ò K Ò Û Ú K ÓØ Ñ ÐÐ Ò Ð Ö ½»¾¾

18 Ä Ú ÓÒ ÓÙØ N 1 ÔÓ ÒØ ÓÖ ØÖ Ò Ò Ò 1 ÔÓ ÒØ ÓÖ Ú Ð Ø ÓÒ D n = (x 1,y 1 ),...,(x n 1,y n 1 ), (x n,y n ),(x n+1,y n+1 ),...,(x N,y N ) Ò Ð ÝÔÓØ Ð ÖÒ ÖÓÑ D n g n n = E Ú Ð (g n ) = (g n (x n ), y n ) N ÖÓ Ú Ð Ø ÓÒ ÖÖÓÖ E Ú = 1 N n=1 n ½»¾¾

19 ÁÐÐÙ ØÖ Ø ÓÒ Ó ÖÓ Ú Ð Ø ÓÒ 2 3 y y y 1 x x x E Ú = 1 3 ( ) ½»¾¾

20 ÅÓ Ð Ð Ø ÓÒ Ù Ò Î 2 3 Ä Ò Ö y y y 1 x x x ÓÒ Ø ÒØ y 1 y 2 y 3 x x x ½»¾¾

21 ËÝÑÑ ØÖÝ ÈË Ö Ö ÔÐ Ñ ÒØ ÖÓ Ú Ð Ø ÓÒ Ò Ø ÓÒ ÆÓØ Ø Ð Ø ÓÒ Ø Ö ÒØ ÖÖÓÖ ¼º½ ¼º¾ ¼º¼ ¼º E ÓÙØ ¼º ¹ ¹ ¹ ¹ ¹ ¹ ¹¾ ¹½ ¼ 1 ÆÓØ 1 Ú Ö ÁÒØ Ò ØÝ ¼º¼¾ ¼º¼½ ØÙÖ Í E Ú E Ò ½¼ ½ ¾¼ (1, x 1, x 2 ) (1,x 1,x 2,x 2 1,x 1 x 2, x 2 2, x 3 1,x 2 1x 2,...,x 5 1, x 4 1x 2, x 3 1x 2 2, x 2 1x 3 2,x 1 x 4 2,x 5 2) ¾¼»¾¾

22 ËÝÑÑ ØÖÝ ËÝÑÑ ØÖÝ ÈË Ö Ö ÔÐ Ñ ÒØ ¼º¼ ¼º½ ¼º½ ¼º¾ ¼º¾ ¼º ¼º ¹ ¹ ¹ ¹¾ ¹½ ¼ Û Ø ÓÙØ Ú Ð Ø ÓÒ Ú Ö ÁÒØ Ò ØÝ ¼º ¼º ¹ ¹ º ¹ ¹ º ¹ ¹¾º ¹¾ ¹½º ¹½ ¹¼º ¼ Ì Ö ÙÐØ Û Ø Ú Ð Ø ÓÒ Ú Ö ÁÒØ Ò ØÝ E Ò = 0% E ÓÙØ = 2.5% E Ò = 0.8% E ÓÙØ = 1.5% ¾½»¾¾

23 Ä Ú ÑÓÖ Ø Ò ÓÒ ÓÙØ Ä Ú ÓÒ ÓÙØ N ØÖ Ò Ò ÓÒ ÓÒ N 1 ÔÓ ÒØ ÅÓÖ ÔÓ ÒØ ÓÖ Ú Ð Ø ÓÒ D z } { D 1 D 2 D 3 D 4 D 5 D 6 D 7 D 8 D 9 D 10 ØÖ Ò Ú Ð Ø ØÖ Ò N K ØÖ Ò Ò ÓÒ ÓÒ N K ÔÓ ÒØ ½¼¹ ÓÐ ÖÓ Ú Ð Ø ÓÒ K = N 10 ¾¾»¾¾

ν = fraction of red marbles

$ν = fraction of red marbles$ Ê Ú Û Ó Ä ØÙÖ ½ Ü ÑÔÐ È Ö ÔØÖÓÒ Ä ÖÒ Ò Ð ÓÖ Ø Ñ Ä ÖÒ Ò Ù Û Ò ¹ Ô ØØ ÖÒ Ü Ø + + ¹ Ï ÒÒÓØ Ô Ò Ø ÓÛÒ Ñ Ø Ñ Ø ÐÐÝ ¹ Ï Ú Ø ÓÒ Ø ÓÙ ÓÒ ÙÔ ÖÚ Ð ÖÒ Ò + + + ¹ ÍÒ ÒÓÛÒ Ø Ö Ø ÙÒØ ÓÒ y = f(x) ¹ Ø Ø (x 1,y 1 ),, (x