Regression Linear least squares increasing the dimensionality fitting polynomials to data over fitting regularization Support vector regression
Fitting a degree 1 polynomial
Fitting a degree 2 polynomial
Fitting a degree 3 polynomial
Fitting a degree 6 polynomial
Fitting a degree 9 polynomial
Fitting a degree 12 polynomial
Fitting a degree 15 polynomial
Fitting a degree 18 polynomial
Fitting a degree 19 polynomial
Fitting a degree 19 polynomial
Fitting a degree 19 polynomial
Over Fitting What we have just seen: Over fitting leads to overly comple models and poor generalization. Over fitting fits the noise not the underlying trend. What we will see net: Over fitted functions can be very sensitive to slight changes in the training data. Regularization can eliminate over fitting.
Fitting a degree 12 polynomial: data sample 1
Fitting a degree 12 polynomial: data sample 2
Fitting a degree 12 polynomial: data sample 3
Fitting a degree 3 polynomial: data sample 1
Fitting a degree 3 polynomial: data sample 2
Fitting a degree 3 polynomial: data sample 3
Regularization: degree=18, lambda=0
Regularization: degree=18, lambda=0.000000001
Regularization: degree=18, lambda=0.000001
Regularization: degree=18, lambda=0.0001
Regularization: degree=18, lambda=0.01
Cost Functions Minimizing squared error means that points far from the regression line have the most influence. The solution is therefore very sensitive to outliers and anomalies. Other cost functions can reduce this sensitivity. Sometimes it is convenient to formulate cost functions in terms of slack variables.
Support Vector Regression Regularization Primal problem Dual problem KKT conditions Support vectors v SV regression
½ Û ¾ Ñ ¾ Ñ ËÎ Ê Ö ÓÒ ¹ÁÒ Ò Ø Ú ÄÓ Ò Ö Ð Þ ËÎ Ô ØØ ÖÒ Ö Ó Ò Ø ÓÒ ØÓ Ö Ö ÓÒ ÔÖ ÖÚ Ò Ó Ð ÓÐÐÓÛ Ò ÔÖÓÔ ÖØ Ø ÓÖÑÙÐ Ø Ø Ð ÓÖ Ø Ñ ÓÖ Ø Ð Ò Ö Ò Ø Ò Ù ÖÒ Ð ØÖ Ô Ö Ö ÔÖ ÒØ Ø ÓÒ Ó Ø ÓÐÙØ ÓÒ Ò Ø ÖÑ Ó ËÎ ¹ÁÒ Ò Ø Ú ÄÓ Ý Üµ Ñ Ü ¼ Ý Üµ Ø Ñ Ø Ð Ò Ö Ö Ö ÓÒ Üµ Û Ü Ý Ñ Ò Ñ Þ Ò Ý Ü µ ½ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾
¹ËÎ Ê Ö ÓÒ Ø Ñ Ø ÓÒ ξ +ε ε 0 ε +ε ξ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾
Ñ ½ µ ÓÖÑÙÐ Ø ÓÒ Ò ÇÔØ Ñ Þ Ø ÓÒ ÈÖÓ Ð Ñ Ø Ñ Ø Ð Ò Ö Ö Ö ÓÒ Üµ Û Ü Û Ø ÔÖ ÓÒ Ý Ñ Ò Ñ Þ Ò Ñ Ò Ñ Þ Û µ ½ ¾ Û ¾ Ù Ø ØÓ Ü µ Ý Û Û Ü µ Ý ¼ ÓÖ ÐÐ ½ Ѻ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾
Ñ Ñ ½ ««µ Ñ ½ ««µý ½ ««µ ««µ Ü Ü µ Ù Ø ØÓ ¼ ««½ Ñ Ò Ñ ½ ««µ Ü Üµ ½ ««µ ¼ Ù Ð ÈÖÓ Ð Ñ ÁÒ Ì ÖÑ Ó Ã ÖÒ Ð ÓÖ ¼ ¼ Ó Ò ÔÖ ÓÖ Ñ Ü Ñ Þ Ï ««µ ½ ¾ Ö Ö ÓÒ Ø Ñ Ø Ø Ø ÓÖÑ Ì Ñ Üµ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾
¹ËÎ Ê Ö ÓÒ Ù ØÓ Ð Ñ Ò Ø ÒÓØ Ö Ô Ö Ñ Ø Ö Ò ÖÓÑ Ø Ø ºØº Ø ¹ÔÖÓÔ ÖØÝ ÓÐ º Ø Ñ Ø ÈÖ Ñ Ð ÔÖÓ Ð Ñ ÓÖ ¼ ½ Ñ Ò Ñ Þ ¼ ½ Ñ Ñ ½ Ü µ Ý Û µ ½ ¾ Û ¾ ½ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾
Ö Ô Ð ÈÖÓÓ Ó Ø ¹ÈÖÓÔ ÖØÝ ξ +ε 0 ε ξ ½ ½ È Ñ Ñ ½ µ Û ¾ ¾ Ó Ø ÙÒØ ÓÒ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾
ÒØ ÐÐÝ È Ü Ýµ È ÜµÈ Ý Üµ Û Ø È Ý Üµ ÓÒØ ÒÙÓÙ ÓÑ Ø Ð ÓÑ ØØ µº Ì ¹ÈÖÓÔ ÖØÝ ÙÑ ¼º Ì ÓÐÐÓÛ Ò Ø Ø Ñ ÒØ ÓÐ ÈÖÓÔÓ Ø ÓÒ Ò ÙÔÔ Ö ÓÙÒ ÓÒ Ø Ö Ø ÓÒ Ó ÖÖÓÖ º µ ÐÓÛ Ö ÓÙÒ ÓÒ Ø Ö Ø ÓÒ Ó ËÎ º µ ËÙÔÔÓ Ø Ø Û Ö Ò Ö Ø ÖÓÑ ³Û Ðй Ú ³ µ È Ü Ýµº Ï Ø ÔÖÓ Ð ØÝ ½ ÝÑÔØÓØ ÐÐÝ ØÖ ÙØ ÓÒ ÓØ Ø Ö Ø ÓÒ Ó ËÎ Ò Ø Ö Ø ÓÒ Ó ÖÖÓÖ º ÕÙ Ð º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾
2.5 2.5 ¹ËÎ¹Ê Ö ÓÒ ÙØÓÑ Ø ÌÙ ÌÙÒ Ò 2 2 1.5 1.5 1 1 0.5 0.5 0 0 0.5 0.5 1 1 1.5 1.5 2 2 2.5 3 2 1 0 1 2 3 2.5 3 2 1 0 1 2 3 Ñ Ò Ô Ö Ñ Ø Ö ¼ ¾µ ÙØ «Ö ÒØ ÑÓÙÒØ Ó Á ÒØ Ð Ò Ø Ø º ÒÓ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾
2.5 2.5 ¹ËÎ¹Ê Ö ÓÒ ÊÙÒ ÓÒ Ø Ë Ñ Ø 2 2 1.5 1.5 1 1 0.5 0.5 0 0 0.5 0.5 1 1 1.5 1.5 2 2 2.5 3 2 1 0 1 2 3 2.5 3 2 1 0 1 2 3 Ñ Ò Ô Ö Ñ Ø Ö ¼ ¾µ ÙØ «Ö ÒØ ÑÓÙÒØ Ó Á ÒØ Ð Ò Ø Ø º ÒÓ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾
ÌÓÝ Ü ÑÔÐ Ø Ñ Ø Ò ÆÓ Ý Ë Ò ÙÒØ ÓÒ ¼ ¾ ½¼ ¼ ½¼¼ ¾¼¼ ¼¼ ½¼¼¼ ½ ¼¼ ¾¼¼¼ Ñ ¼º¾ ¼º¾¾ ¼º¾ ¼º¾ ¼º¾ ¼º¾ ¼º¾ ¼º¾ Ó ÖÖÓÖ ¼º¼¼ ¼º½¼ ¼º½ ¼º½ ¼º½ ¼º¾¼ ¼º¾¼ ¼º¾¼ Ö Ø ÓÒ Ó ËÎ ¼º ¼ ¼º¾ ¼º¾ ¼º¾ ¼º¾½ ¼º¾½ ¼º¾¼ ¼º¾¼ Ö Ø ÓÒ ÙØÓÑ Ø ÐÐÝ ÓÑÔÙØ Ð Ö ÐÝ Ò Ô Ò ÒØ Ó Ñ ÝÑÔØÓØ ÓÒ Ø ÒØ Û Ø Ø ÓÖ Ñ º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾
v SV regression with v=0.2
v SV regression with v=0.8
Ì ÔÖ Ñ Ð ÓÐÙØ ÓÒ Û Ø ØÖ Ò ÓÖÑ ÓÖ Ò ØÓ Ø ÑÓÚ Ñ ÒØ Ð Ó ¾º Ð º Ì ÃÃÌ ÓÒ Ø ÓÒ Ö Ø ÐÐ Ø Ø ÐÐ «µ º Ì Ù º º «µ º ÊÓ Ù ØÒ Ó ËÎ Ê Ö ÓÒ Í Ò ËÎÊ Û Ø ÐÓ Ð ÑÓÚ Ñ ÒØ Ó Ø Ö Ø ÈÖÓÔÓ Ø ÓÒº Ó ÔÓ ÒØ ÓÙØ Ø ØÙ Ó ÒÓØ Ò Ø Ø Ñ Ø Ú ÐÙ Ö Ö ÓÒº ÈÖÓÓ º Ë Ø Ý ÐÓ ÐÐÝ Ü Ý µ Ø ÐÐ ÓÙØ Ø ØÙ ÓÖ Ò Ð Ù Ð ÓÐÙØ ÓÒ «µ ½º Ð «µ Ø ÐÐ Ò ÐÐ ÔÓ ÒØ ÓÙØ Ø ØÙ Ö Ø Ø ÙÔÔ Ö ÓÙÒ µº Ø ÐÐ Ø ÓÔØ Ñ Ð ÓÐÙØ ÓÒº º Ë ĐÓÐ ÓÔ Ò ÖÖ ÖÙ ÖÝ ¾¼¼¾