on v ex p olyhedra surrounding training examples xq 5-nearest neigh b or vs. 1-nearest neigh b or

ÑÒ ËØÑØÙÔ Å ÄÖÒÒµ ÁÒ ØÒ¹ ËØÓÖÒ ØÖÒÒ ÜÑÔÐ ÆÓ ÜÔÐØ ÑÓÐ ØÖØ ÙÒØÓÒµ ÓÒ ØÖÙØÓÒ ÈÖÓ Ò ÐÝ ÙÒØÐ ÒÛ Ò ØÒ ØÓ Ð ÄÞÝ ÐÖÒÒ» ÅÑÓÖݹ ÐÖÒÒ Í ÙÐÐÝ Ò ØÒ Ö ÔÓÒØ Ò Ò ÙÐÒ Ô ÄÓÐ ÔÔÖÓÜÑØÓÒ Ó ÖйÚÐÙ ÓÖ ÖعÚÐÙ ØÖØ ÙÒØÓÒ Æ ÓÖ ÒÜÒ Ó Ò ØÒ ¹ØÖ µ ¹ÒÖ Ø ÒÓÖ ÐÖÒÒ» ÐÓÐÐÝ ÛØ ÖÖ ÓÒ

ÓÓ ÅÒ ÜÑÔÐ ËÙÖ ÐÓÙÖ ÌÑÔÖØÙÖ ÅÒÙØ ÓÙÄ ¾¼ ½¾¼ Ý ¾¼ ½¼ Ý ¾¼¼ ½¾¼ ÒÓ ¾ ¼¼ ½¾¼ Ý ¼¼ ¼ ÒÓ ¾¼¼ ¼ ÒÓ ¼ ½¼ Ý ¾¼ ½¼ Ý Ó ÝÓÙ Ð ÓÓ Ñ Ó ÙÖ Ò ÓÙÖ Ø ¾¼ Ó ÓÖ ½¾¼ ÑÒÙØ

ÁÒ ØÒ Ö Ý ØÙÖ ÚØÓÖ ½ ܵ ¾ ܵ Ò Üµ ÛÖ Ö Üµ ÒÓØ ÖØ ØØÖÙØ Ó Ò ØÒ Ü Ø ØÒ ØÛÒ ØÛÓ Ò ØÒ Ü Ò Ü Ò ¹ÒÖ Ø ÆÓÖ ÄÖÒÒ Ü Ü µ Ù ÚÙ Ò Ø Ö Ü µ Ö Ü µµ ¾ Ö½ ÔÔÖÓÜÑØÓÒ Ó ÖعÚÐÙ ØÖØ ÙÒØÓÒ Î ÛÖ Î Ú ½ Ú ¾ Ú Ò

ß ÚÒ ÕÙÖÝ Ò ØÒ Ü Õ ØÓ Ð ß ÄØ Ü ½ Ü ¾ Ü Ø Ò ØÒ ÖÓÑ ØÖÒÒ ÜÑÔÐ ØØ Ö ÒÖ Ø ØÓ Ü Õ ß ÊØÙÖÒ Õ µ ÖÑÜ Ü Ú¾Î ß ÊÔÐ ÕÙØÓÒ ½µ Ò Ø Ð ØÓÒ ÐÓÖØÑ Ý È ½ Ü µ Ü µ Õ Ð ØÓÒ ÐÓÖØÑ ½µ Æ Ú Ü µµ ½ ÛÖ Æ µ ½ Ò ÛÖ Æ µ ¼ ÓØÖÛ ÔÔÖÓÜÑØÓÒ Ó ÖйÚÐÙ ØÖØ ÙÒØÓÒ Ò µ ¾µ

ÓÒÚÜ ÔÓÐÝÖ ÙÖÖÓÙÒÒ ØÖÒÒ ÜÑÔÐ x q ¹ÒÖ Ø ÒÓÖ Ú º ½¹ÒÖ Ø ÒÓÖ

ß ÓÖ ÖعÚÐÙ ØÖØ ÙÒØÓÒ ÖÔÐ ÕÙØÓÒ ½µ Ý Õ µ ÖÑÜ Ü Ú¾Î ß ÓÖ ÖйÚÐÙ ØÖØ ÙÒØÓÒ ÖÔÐ ÕÙØÓÒ ¾µ Ý ß ÁÖÖÐÚÒØ ØØÖÙØ ß ËØÖØÒ Ø Ü ß ÄÚ¹ÓÒ¹ÓÙص ÖÓ ¹ÚÐØÓÒ È ½ Û Ü µ È Ü Õ µ Û ½ ½ Õ Ü µ ¾ Ü ØÒ¹ÛØ ÒÖ Ø ÒÓÖ ÐÓÖØÑ Û Æ Ú Ü µµ ½ ÛÖ Û ÙÖ Ó ÑÒ ÓÒÐØÝ

ܵ Û ¼ Û ½ ½ ܵ Û Ò Ò Üµ ÓÑÔÙØ Û Ò ÛÝ ØØ Ø ÖÖÓÖ ÓÖ Ø ÕÙÖÝ Ò ØÒ Ü Õ ÑÒÑÞ ÛÖ Ã µ Ø ÖÒÐ ÙÒØÓÒ Ù ÙÐÐÝ ÕÙÐ ØÓ ½ ¾ ÄÓÐÐÝ ÏØ ÊÖ ÓÒ ÜÔÐØ ÐÓÐ ÔÔÖÓÜÑØÓÒ Ó Ø ØÖØ ÙÒØÓÒ Ù ÙÐÐÝ Ý ÐÒÖ ÙÒØÓÒ Ü Õ µ ½ ¾ ÒÖ Ø ÒÖ Ó Ü Õ Üµ ܾ ܵµ ¾ Ã Ü Õ Üµµ ÓÑÔÙØØÓÒ Ó Û ÑÝ ÓÒ Ý ÖÒØ ÒØ ÚÒ Û Ã Ü Õ Üµµ ܵ Õ Ü Ó ÒÖ ÒÖ Ø Ü¾ ܵµ ܵ

ØÖÒÒ ÜÑÔÐ Ö Ý ÓÒÙÒØÓÒ Ó ØØÖÙØ ÚÐÙ ½ ¾ Ò Ø ÒÓÛÒ ØÖØ ÚÐÙ Ð ØÓÒµ Ó Ø ÜÑÔÐ ÖÓÑ ÓÑ ÒØ Ø Î Ò Ú ½ ¾ Ò µ È ½ ¾ Ò Ú µ È Ú µ È ½ ¾ Ò µ È Ø Ý Å ÄÖÒÒµ Ý Ò ÆÚ Ý Ð Ö Æ ØÓ ÔÖØ Ø ØÖØ ÚÐÙ Ó ÒÛ Ò ØÒ ÚÒ Ø ØØÖÙØ ÚÐÙ ÈÖØÓÒ ÓÒ Ø Ý ØÓÖÑ

ÌÑÔÖØÙÖ ÀÙÑØÝ ÏÒ ÈÐÝÌÒÒ ÇÙØÐÓÓ ÓØ Û ÒÓ ÙÒÒÝ ÓØ ØÖÓÒ ÒÓ ÙÒÒÝ ÓØ Û Ý ÓÚÖ Ø ÑÐ Û Ý ÖÒ ÓÓÐ ÒÓÖÑÐ Û Ý ÖÒ ÓÓÐ ÒÓÖÑÐ ØÖÓÒ ÒÓ ÖÒ ÓÓÐ ÒÓÖÑÐ ØÖÓÒ Ý ÓÚÖ Ø ÑÐ Û ÒÓ ÙÒÒÝ ÓÓÐ ÒÓÖÑÐ Û Ý ÙÒÒÝ ÑÐ ÒÓÖÑÐ Û Ý ÖÒ ÑÐ ÒÓÖÑÐ ØÖÓÒ Ý ÙÒÒÝ ÑÐ ØÖÓÒ Ý ÓÚÖ Ø ÓØ ÒÓÖÑÐ Û Ý ÓÚÖ Ø ÈÐÝÒ ÌÒÒ ÜÑÔÐ ÖÒ ÑÐ ØÖÓÒ ÒÓ

Ì ÑÜÑÙÑ ÔÓ ØÖÓÖ ÝÔÓØ Ú ÅÈ ÑÝ ÓÑÔÙØ Ú Ø ÖÕÙÒ Ú µ Ó ØÖØ ÚÐÙ Ò Ø ÖÕÙÒ Ó ÓÑÒØÓÒ Ó ØØÖÙØ ÚÐÙ ÓÖ È È ½ ¾ Ò Ú µ ½ ¾ Ò Ú µ È Ú µ È ½ ¾ Ò µ È È Ú µ Ô ØÖØ ÚÐÙ È ½ ¾ Ò Ú µ Ò Ø ØÖÒÒ Ø È Ú ½ ¾ Ò µ ÅÈ ÖÑÜ Ú ¾Î Ú ÖÑÜ ¾Î Ú È ½ ¾ Ò Ú µ È Ú µ ÖÑÜ ¾Î Ú Ì ÒÚ Ý Ð Ö ÒØÖÓÙ Ø ÒÔÒÒ ÙÑÔØÓÒ È Ú µ ÓÖ Ø ÖÙØÓÒ Ó Ø ÖÕÙÖ ÔÖÓÐØ Ó È Ú µ ÅÈ Ú Æ µ ÖÑÜ Ú ¾Î Ú

ÝÓÙ ÔÐÝ ØÒÒ ÛÒ ÏÐÐ ÌÑÔÖØÙÖÓÓÐ ÀÙÑØÝ Ò ÏÒ ØÖÓÒ ÇÙØÐÓÓ ÙÒÒÝ È Ý µ È ÙÒÒÝÝ µ È ÓÓÐÝ µ È Ý µ È ØÖÓÒÝ µ ½ ÒÓµ È ÙÒÒÝÒÓµ È ÓÓÐÒÓµ È ÒÓµ È ØÖÓÒÒÓµ È ½ ¾ ½ ¼¼¼ ¼¼¾¼ ØÓ Ø ÜÑÔÐ È Ú µ È Ú µ Ú Æ ÖÑÜ ¾Ý ÒÓ Ú È Ú µ È ÇÙØÐÓÓ ÙÒÒÝÚ µ È Ì ÑÔÖØÙÖ ÓÓÐÚ µ ÖÑÜ ¾Ý ÒÓ Ú È ÀÙÑØÝ Ú µ È Ï Ò ØÖÓÒÚ µ ÌÙ Ú Æ ÒÓ

ÑÔ Ò Ñ Ò Ò Ø ÒÙÑÖ Ó ÜÑÔÐ ÛØ Ô ØÖØ ÚÐÙ Ò Ø ÒÙÑÖ Ó Ø ÛÖ ÛØ Ô ØØÖÙØ ÚÐÙ Ñ Ø ÕÙÚÐÒØ ÑÔÐ Þ Ò Ô Ø ÜÑÔÐ ØÑØ Ó Ø ÔÖÓÐØÝ Û Û ØÓ ØÖÑÒ Ù ÙÐÐÝ ÕÙÐ ØÓ ½ ÛÖ ÔÖÓÖ ÒÙÑÖ Ó ÔÓ Ð ÚÐÙ Ó Ø ØØÖÙØ ÙÒÖ ÓÒ ÖØÓÒµ Ø ß ØØÖÙØ Ö ÛÓÖ ÔÓ ØÓÒ Ò ÚÐÙ Ö ÛÓÖ Û ÖÓÑ ÚÓÙÐÖÝ ß ÙÑÔØÓÒ ÎÐÙ Ö ÒÔÒÒØ ÖÓÑ Ø ÔÓ ØÓÒ È Û Ú µ È Û Ú µ Í Ò ¾» Ó ¾¼¼¼¼ Í ÒØ ÖØÐ ÖÓÑ ¾¼ ÒÛ ÖÓÙÔ ØÖÒÒ Ø ß Ó Ø Ö Ø ½» Ú ± ÙÖÝ ÛÐ ÖÒÓÑ Ð ØÓÒ ÓÙÐ Ð ØÓÒ ÁÒØÖÓÙØÓÒ Ó Ñ¹ ØÑØ Ó ÔÖÓÐØÝ ØÓ ÓÔ ÛØ ÔÖÓÐØ ÕÙÐ ØÓ ¼ ÔÔÐØÓÒ ØÓ ØÜØ Ð ØÓÒ ØÖØ ÚÐÙ Ú µ ß ÜÔÐÓØÒ Ñ¹ ØÑØ Ó ÔÖÓÐØÝ È Û Ú µ ½ Ò ÓÙÐÖÝ Ò Î Ú ±