Regression. Linear least squares. Support vector regression. increasing the dimensionality fitting polynomials to data over fitting regularization

Size: px

Start display at page:

Download "Regression. Linear least squares. Support vector regression. increasing the dimensionality fitting polynomials to data over fitting regularization"

Winfred Morton
5 years ago
Views:

1 Regression Linear least squares increasing the dimensionality fitting polynomials to data over fitting regularization Support vector regression

2 Fitting a degree 1 polynomial

3 Fitting a degree 2 polynomial

4 Fitting a degree 3 polynomial

5 Fitting a degree 6 polynomial

6 Fitting a degree 9 polynomial

7 Fitting a degree 12 polynomial

8 Fitting a degree 15 polynomial

9 Fitting a degree 18 polynomial

10 Fitting a degree 19 polynomial

11 Fitting a degree 19 polynomial

12 Fitting a degree 19 polynomial

13 Over Fitting What we have just seen: Over fitting leads to overly comple models and poor generalization. Over fitting fits the noise not the underlying trend. What we will see net: Over fitted functions can be very sensitive to slight changes in the training data. Regularization can eliminate over fitting.

14 Fitting a degree 12 polynomial: data sample 1

15 Fitting a degree 12 polynomial: data sample 2

16 Fitting a degree 12 polynomial: data sample 3

17 Fitting a degree 3 polynomial: data sample 1

18 Fitting a degree 3 polynomial: data sample 2

19 Fitting a degree 3 polynomial: data sample 3

20 Regularization: degree=18, lambda=0

21 Regularization: degree=18, lambda=

22 Regularization: degree=18, lambda=

23 Regularization: degree=18, lambda=0.0001

24 Regularization: degree=18, lambda=0.01

25 Cost Functions Minimizing squared error means that points far from the regression line have the most influence. The solution is therefore very sensitive to outliers and anomalies. Other cost functions can reduce this sensitivity. Sometimes it is convenient to formulate cost functions in terms of slack variables.

26 Support Vector Regression Regularization Primal problem Dual problem KKT conditions Support vectors v SV regression

27 ½ Û ¾ Ñ ¾ Ñ ËÎ Ê Ö ÓÒ ¹ÁÒ Ò Ø Ú ÄÓ Ò Ö Ð Þ ËÎ Ô ØØ ÖÒ Ö Ó Ò Ø ÓÒ ØÓ Ö Ö ÓÒ ÔÖ ÖÚ Ò Ó Ð ÓÐÐÓÛ Ò ÔÖÓÔ ÖØ Ø ÓÖÑÙÐ Ø Ø Ð ÓÖ Ø Ñ ÓÖ Ø Ð Ò Ö Ò Ø Ò Ù ÖÒ Ð ØÖ Ô Ö Ö ÔÖ ÒØ Ø ÓÒ Ó Ø ÓÐÙØ ÓÒ Ò Ø ÖÑ Ó ËÎ ¹ÁÒ Ò Ø Ú ÄÓ Ý Üµ Ñ Ü ¼ Ý Üµ Ø Ñ Ø Ð Ò Ö Ö Ö ÓÒ Üµ Û Ü Ý Ñ Ò Ñ Þ Ò Ý Ü µ ½ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾

28 ¹ËÎ Ê Ö ÓÒ Ø Ñ Ø ÓÒ ξ +ε ε 0 ε +ε ξ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾

29 Ñ ½ µ ÓÖÑÙÐ Ø ÓÒ Ò ÇÔØ Ñ Þ Ø ÓÒ ÈÖÓ Ð Ñ Ø Ñ Ø Ð Ò Ö Ö Ö ÓÒ Üµ Û Ü Û Ø ÔÖ ÓÒ Ý Ñ Ò Ñ Þ Ò Ñ Ò Ñ Þ Û µ ½ ¾ Û ¾ Ù Ø ØÓ Ü µ Ý Û Û Ü µ Ý ¼ ÓÖ ÐÐ ½ Ñº º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾

30 Ñ Ñ ½ ««µ Ñ ½ ««µý ½ ««µ ««µ Ü Ü µ Ù Ø ØÓ ¼ ««½ Ñ Ò Ñ ½ ««µ Ü Üµ ½ ««µ ¼ Ù Ð ÈÖÓ Ð Ñ ÁÒ Ì ÖÑ Ó Ã ÖÒ Ð ÓÖ ¼ ¼ Ó Ò ÔÖ ÓÖ Ñ Ü Ñ Þ Ï ««µ ½ ¾ Ö Ö ÓÒ Ø Ñ Ø Ø Ø ÓÖÑ Ì Ñ Üµ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾

31 ¹ËÎ Ê Ö ÓÒ Ù ØÓ Ð Ñ Ò Ø ÒÓØ Ö Ô Ö Ñ Ø Ö Ò ÖÓÑ Ø Ø ºØº Ø ¹ÔÖÓÔ ÖØÝ ÓÐ º Ø Ñ Ø ÈÖ Ñ Ð ÔÖÓ Ð Ñ ÓÖ ¼ ½ Ñ Ò Ñ Þ ¼ ½ Ñ Ñ ½ Ü µ Ý Û µ ½ ¾ Û ¾ ½ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾

32 Ö Ô Ð ÈÖÓÓ Ó Ø ¹ÈÖÓÔ ÖØÝ ξ +ε 0 ε ξ ½ ½ È Ñ Ñ ½ µ Û ¾ ¾ Ó Ø ÙÒØ ÓÒ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾

33 ÒØ ÐÐÝ È Ü Ýµ È ÜµÈ Ý Üµ Û Ø È Ý Üµ ÓÒØ ÒÙÓÙ ÓÑ Ø Ð ÓÑ ØØ µº Ì ¹ÈÖÓÔ ÖØÝ ÙÑ ¼º Ì ÓÐÐÓÛ Ò Ø Ø Ñ ÒØ ÓÐ ÈÖÓÔÓ Ø ÓÒ Ò ÙÔÔ Ö ÓÙÒ ÓÒ Ø Ö Ø ÓÒ Ó ÖÖÓÖ º µ ÐÓÛ Ö ÓÙÒ ÓÒ Ø Ö Ø ÓÒ Ó ËÎ º µ ËÙÔÔÓ Ø Ø Û Ö Ò Ö Ø ÖÓÑ ³Û ÐÐ¹ Ú ³ µ È Ü Ýµº Ï Ø ÔÖÓ Ð ØÝ ½ ÝÑÔØÓØ ÐÐÝ ØÖ ÙØ ÓÒ ÓØ Ø Ö Ø ÓÒ Ó ËÎ Ò Ø Ö Ø ÓÒ Ó ÖÖÓÖ º ÕÙ Ð º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾

34 ¹ËÎ¹Ê Ö ÓÒ ÙØÓÑ Ø ÌÙ ÌÙÒ Ò Ñ Ò Ô Ö Ñ Ø Ö ¼ ¾µ ÙØ «Ö ÒØ ÑÓÙÒØ Ó Á ÒØ Ð Ò Ø Ø º ÒÓ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾

35 ¹ËÎ¹Ê Ö ÓÒ ÊÙÒ ÓÒ Ø Ë Ñ Ø Ñ Ò Ô Ö Ñ Ø Ö ¼ ¾µ ÙØ «Ö ÒØ ÑÓÙÒØ Ó Á ÒØ Ð Ò Ø Ø º ÒÓ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾

36 ÌÓÝ Ü ÑÔÐ Ø Ñ Ø Ò ÆÓ Ý Ë Ò ÙÒØ ÓÒ ¼ ¾ ½¼ ¼ ½¼¼ ¾¼¼ ¼¼ ½¼¼¼ ½ ¼¼ ¾¼¼¼ Ñ ¼º¾ ¼º¾¾ ¼º¾ ¼º¾ ¼º¾ ¼º¾ ¼º¾ ¼º¾ Ó ÖÖÓÖ ¼º¼¼ ¼º½¼ ¼º½ ¼º½ ¼º½ ¼º¾¼ ¼º¾¼ ¼º¾¼ Ö Ø ÓÒ Ó ËÎ ¼º ¼ ¼º¾ ¼º¾ ¼º¾ ¼º¾½ ¼º¾½ ¼º¾¼ ¼º¾¼ Ö Ø ÓÒ ÙØÓÑ Ø ÐÐÝ ÓÑÔÙØ Ð Ö ÐÝ Ò Ô Ò ÒØ Ó Ñ ÝÑÔØÓØ ÓÒ Ø ÒØ Û Ø Ø ÓÖ Ñ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾

37 v SV regression with v=0.2

38 v SV regression with v=0.8

39 Ì ÔÖ Ñ Ð ÓÐÙØ ÓÒ Û Ø ØÖ Ò ÓÖÑ ÓÖ Ò ØÓ Ø ÑÓÚ Ñ ÒØ Ð Ó ¾º Ð º Ì ÃÃÌ ÓÒ Ø ÓÒ Ö Ø ÐÐ Ø Ø ÐÐ «µ º Ì Ù º º «µ º ÊÓ Ù ØÒ Ó ËÎ Ê Ö ÓÒ Í Ò ËÎÊ Û Ø ÐÓ Ð ÑÓÚ Ñ ÒØ Ó Ø Ö Ø ÈÖÓÔÓ Ø ÓÒº Ó ÔÓ ÒØ ÓÙØ Ø ØÙ Ó ÒÓØ Ò Ø Ø Ñ Ø Ú ÐÙ Ö Ö ÓÒº ÈÖÓÓ º Ë Ø Ý ÐÓ ÐÐÝ Ü Ý µ Ø ÐÐ ÓÙØ Ø ØÙ ÓÖ Ò Ð Ù Ð ÓÐÙØ ÓÒ «µ ½º Ð «µ Ø ÐÐ Ò ÐÐ ÔÓ ÒØ ÓÙØ Ø ØÙ Ö Ø Ø ÙÔÔ Ö ÓÙÒ µº Ø ÐÐ Ø ÓÔØ Ñ Ð ÓÐÙØ ÓÒº º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾

½º»¾¼ º»¾¼ ¾º»¾¼ º»¾¼ º»¾¼ º»¾¼ º»¾¼ º»¾¼» ¼» ¼ ÌÓØ Ð»½ ¼

½º»¾¼ º»¾¼ ¾º»¾¼ º»¾¼ º»¾¼ º»¾¼ º»¾¼ º»¾¼» ¼» ¼ ÌÓØ Ð»½ ¼ Ò Ð Ü Ñ Ò Ø ÓÒ ËÌ ½½ ÈÖÓ Ð ØÝ ² Å ÙÖ Ì ÓÖÝ ÌÙ Ý ¾¼½ ½¼ ¼¼ Ñ ß ½¾ ¼¼Ò Ì ÐÓ ¹ ÓÓ Ü Ñ Ò Ø ÓÒº ÓÙ Ñ Ý Ù Ø Ó ÔÖ Ô Ö ÒÓØ ÝÓÙ Û ÙØ ÝÓÙ Ñ Ý ÒÓØ Ö Ñ Ø Ö Ð º Á ÕÙ Ø ÓÒ Ñ Ñ ÙÓÙ ÓÖ ÓÒ Ù Ò ÔÐ Ñ ØÓ Ð Ö Ý Øº ÍÒÐ ÔÖÓ