ÈÖÓ Ð Ø Î Ö Ð Ò Ð Ø ÓÒ Ò Ö ÐÙ Ø Ö Ò ÐÝ ÙÒØ Ö Ê ØØ Ö ÙÐØÝ Ó ÁÒ ÓÖÑ Ø Ò Å Ø Ñ Ø ÍÒ Ú Ö ØÝ Ó È Ù» ÖÑ ÒÝ Ö ØØ Ö ÑºÙÒ ¹Ô Ùº ¹ Æà ÏÁ Ë ¾¼½ ¾» ½

½º ÁÒØÖÓ ÙØ ÓÒ ¹ Æà ÏÁ Ë ¾¼½» ½

Ä Ø Ö ØÙÖ Ê ÒØ ÔÔÖÓ ØÓ Ú Ö Ð Ð Ø ÓÒ µ Ê Ø ÖÝ Ò Ò ¾¼¼ µ µ ÌÝÐ Ö Ø Ðº ¾¼¼ µ µ ÀÙ Ò Ä Ò Ý ¾¼½¼µ ¹ Æà ÏÁ Ë ¾¼½» ½

ÜÔ Ö Ñ ÒØ Å ÐÐ Ò ½ ¼ ÓÛÐ Ò Ò Ò Ò Ã ØØ ÒÖ Ò ½ 8 6 4 2 0-2 -4-6 -8-10 -5 0 5 10 Ø Ö Ø Ö ÓÒ Ø Ö Ø ÓÒ Ð ÒÓ Ý Ú Ö Ð ¾ ÖÖÓÖ º ¹ ÆÃ ÏÁ Ë ¾¼½» ½

ÜÔ Ö Ñ ÒØ 60 40 20 0-20 -40-60 -80-60 -40-20 0 20 40 60 80 Ø Ö Ø Ö ÓÒ ½ ÖÖÓÖ ¹ ÆÃ ÏÁ Ë ¾¼½» ½

¾º ÁÖÖ Ð Ú Ò Ò ÐÙ Ø Ö Ò ¹ Æà ÏÁ Ë ¾¼½» ½

ÁÖÖ Ð Ú Ò Ò ÐÙ Ø Ö Ò ÅÓ Ð ÓÖ ÖÖ Ð Ú Ò Ö ÙÒ ÒÝ Ò ÒÓ µ ÂÓ Ò Ø Ðº ½ ÃÓÐÐ Ö Ò Ë Ñ ½ Ä Ø F, E 1..D Ó ÒØ Ù Ø Ó Ú Ö Ð L(i) = l i Ð Ð Ó Ó Ø i 1..nº µ Ì Ù Ø E ÖÖ Ð Ú ÒØ ÛºÖºØº F L ÓÒ Ø ÓÒ ÐÐÝ Ò Ô Ò ÒØ Ó X E Ú Ò X F Ø Ø P ¹ º ÓÖ ÐÐ j P[L = j X F, X E ] = P[L = j X F ]. µ Ì Ù Ø E ÖÖ Ð Ú ÒØ Ø ÖÖ Ð Ú ÒØ ÛºÖºØº Ø ÓÑÔÐ Ñ Òغ ¹ Æà ÏÁ Ë ¾¼½» ½

Ü ÑÔÐ Ý ÙÒ Ò ÓÖÑ Ø Ú ÖÖ Ð Ú ÒØ Ü ¹ ÆÃ ÏÁ Ë ¾¼½» ½

Ü ÑÔÐ Ý ÙÒ Ò ÓÖÑ Ø Ú ÖÖ Ð Ú ÒØ Ü Ý ÙÒ Ò ÓÖÑ Ø Ú Ö Ð Ú ÒØ Ü ¹ ÆÃ ÏÁ Ë ¾¼½» ½

Ü ÑÔÐ Ý ÙÒ Ò ÓÖÑ Ø Ú ÖÖ Ð Ú ÒØ Ü Ý ÙÒ Ò ÓÖÑ Ø Ú Ö Ð Ú ÒØ Ü V = ( ) vx v y,x v y,x v y m (2) y m (1) y m (2) x m (1) x = v y,x v x Ý Ò ÓÖÑ Ø Ú ÖÖ Ð Ú ÒØ Ü ¹ ÆÃ ÏÁ Ë ¾¼½» ½

Ê Ð Ú Ò ÓÑÔÓ Ø ÓÒ Ì Ù Ø F 1..D Ó Ú Ö Ð ÐÐ ØÖÙØÙÖ Ð ÒÓ Ù Ø C F ÖÖ Ð Ú ÒØ ÛºÖºØº F \ Cº Ì ÓÖ Ñº ÐÐ Ó ² ʺ ¾¼½ µ Ä Ø Ø Ö Ð Ö Ò ÓÑ Ú Ö Ð X i i 1..D Ú ØÖ ØÐÝ ÔÓ Ø Ú Ò ÓÒØ ÒÙÓÙ Ó ÒØ Ä Ù Ò ØÝ f (X1,...,X D )º Ì Ö Ü Ø Ü ØÐÝ ÓÒ ØÖÙØÙÖ Ð Ù Ø F 1..D Û Ø ÖÖ Ð Ú ÒØ ÓÑÔÐ Ñ Òغ ¹ Æà ÏÁ Ë ¾¼½ ½¼» ½

ÆÓÖÑ Ð ÙÑ F 1..D, E = F, x = (x F, x E ) f(x) = f(x E x F ) f(x F ) X (j) = (X (j) F, X(j) E ) N m j,v j ÒÓÖÑ Ð f(x E x F ) X (j) E x F = m j,e F + G j,e F x F + U (j) E F, U(j) E F N 0,V j,e F ¹ ÆÃ ÏÁ Ë ¾¼½ ½½» ½

ÆÓÖÑ Ð ÙÑ F 1..D, E = F, x = (x F, x E ) f(x) = f(x E x F ) f(x F ) X (j) = (X (j) F, X(j) E ) N m j,v j ÒÓÖÑ Ð f(x E x F ) X (j) E Ì ÓÖ Ñº x F = m j,e F + G j,e F x F + U (j) E F, U(j) E F N 0,V j,e F µ Á X ÒÓÖÑ Ð Ñ ÜØÙÖ ÓÚ Ö Ò Ñ ØÖ Ü VX F ÒÚ ÖØ Ð Ø Ò Ø ÓÐÐÓÛ Ò Ø Ø Ñ ÒØ Ö ÕÙ Ú Ð Òغ µ Ì Ù Ø E ÖÖ Ð Ú ÒØ ÛºÖºØº F µ Ø Ô Ö Ñ Ø Ö G j,e F m j,e F Ò V j,e F Ó ÒÓØ Ô Ò ÓÒ jº µ ÁÒ Ø Ø ÓÑÑÓÒ Ô Ö Ñ Ø Ö Ú Ø Ö ÔÖ ÒØ Ø ÓÒ µ G E F = Cov(X E, X F )(VX F ) 1 Úµ m E F = m E G E F m F Úµ V E F = V E G E F Cov(X F, X E )º ¹ Æà ÏÁ Ë ¾¼½ ½½» ½

º Î Ö Ð Ð Ø ÓÒ Ð ÓÖ Ø Ñ ¹ ÆÃ ÏÁ Ë ¾¼½ ½¾» ½

Ö ÓÒ ÐÙ Ø Ö Ò ÒÓÖÑ Ð µ Ø ÖÑ Ò ÒØ Ö Ø Ö ÓÒ ËÝÑÓÒ ½ ½µ 1 2 g j=1 ( n1 (l) n j (l) log dets j (l) + nh n,..., n ) g(l) n ÒØÖÓÔÝ H(p 1,...,p g ) = j p j log p j µ k¹è Ö Ñ Ø Ö Ð ÓÖ Ø Ñ Ë ÖÓ Ö ½ µ ÐØ ÖÒ Ø ÒÓÖÑ Ðµ Ô Ö Ñ Ø Ö Ø Ñ Ø ÓÒ Ò Ý Ò Ö Ñ Ò ÒØ Ò ÐÝ ÒÑ Òص ÙÒØ Ð Ø Ø ÓÒ Ö Øݺ µ ËÔ Ð Ï Ö ³ ÙÑ¹Ó ¹ ÕÙ Ö Ö Ø Ö ÓÒ ½ µ k¹ñ Ò º ¹ Æà ÏÁ Ë ¾¼½ ½» ½

Ï ÐÓ Ð Ñ Ò ÑÙÑ Ë ÔÐÓØ ÅÙÐØ ÔÐ ÓÐÙØ ÓÒ Ê Ò ÓÑ Ø ÖØ 15 14 13 12 - log(hdbt ratio) 11 10 9 8 7 6 5 7720 7740 7760 7780 7800 7820 7840 7860 7880 - log(map criterion) ¹ ÆÃ ÏÁ Ë ¾¼½ ½» ½

ÐÙ Ø Ö Ò Ò Ð Ø ÓÒ ÒÓÖÑ Ð µ ÅÓ Ð g j=1 i:l i =j + i log N mj,v j (x i,f ) nh ( n 1 (l) n È Ö Ñ Ø Ö m j, V j, m E F, V E F, G E F, F,..., n ) g(l) n log N me F,V E F (x i,e G E F x i,f ). ¹ ÆÃ ÏÁ Ë ¾¼½ ½» ½

ÐÙ Ø Ö Ò Ò Ð Ø ÓÒ ÒÓÖÑ Ð µ ÅÓ Ð g j=1 i:l i =j + i log N mj,v j (x i,f ) nh ( n 1 (l) n È Ö Ñ Ø Ö m j, V j, m E F, V E F, G E F, F,..., n ) g(l) n log N me F,V E F (x i,e G E F x i,f ). µ Ø ÖÑ Ò ÒØ Ö Ø Ö ÓÒ Û Ø Ð Ø ÓÒ g 1 2 n j (l) log dets j,f (l) + nh ( n 1 (l) n j=1 S j,f (l) ØØ Ö Ñ ØÖ Ü Ó ÐÙ Ø Ö j,..., n ) g(l) n + n 2 log dets E F. S E F Ö Ù Ð ØØ Ö Ñ ØÖ Ü 1 2 g j=1 det S = dets F dets E F det S E F det S F n j (l) log dets j,f (l) + nh ( n 1 (l) n,..., n ) g(l) n n 2 log dets F. ( l (0), F (0)) ( l (0), F (1)) ( l (1), F (1)).... ¹ ÆÃ ÏÁ Ë ¾¼½ ½» ½

ÐÙ Ø Ö Ò Ò Ð Ø ÓÒ ÔÖÓ ÙÖ ÛÖ ÔÔ Öµ l: 1..n 1..g»» ÁÒÔÙØ ËÙ Ø F 1..D F = d Ñ Ð l Ò Ú ÐÙ Ó Ø Ö Ø Ö ÓÒº»» ÇÙØÔÙØ Æ Û ÕÙ ÒØ Ø F new Ò l new Û Ø ÑÔÖÓÚ Ö Ø Ö ÓÒ ÓÖ ØÓÔº ½º Ø Ñ Ø ÓÒµ ÓÑÔÙØ Ø ÑÔÐ Ñ Ò Ú ØÓÖ x j (l) Ò ØØ Ö Ñ ØÖ S j (l) 1 j g Ò Ø ØÓØ Ð ØØ Ö Ñ ØÖ Ü Sº ¾º Ë Ð Ø ÓÒµ Å Ò Ñ Þ h(f ) = g n j (l) log dets j,f (l) nlog dets F j=1 ( h(f)) ۺֺغ F F = dº ÒÓØ Ø Ñ Ò Ñ Þ Ö Ý F new º ÐÝ ØØ Ò Ý ÓÖØ Ò Ú Ö Ð Ò Ô Ò ÒØ ¹ Æà ÏÁ Ë ¾¼½ ½» ½

Ë Ð Ø ÓÒ ÔÖÓ ÙÖ ÛÖ ÔÔ Öµ º Í Ø ÕÙ ÒØ Ø ÖÓÑ Ø Ô ½ ØÓ ÓÑÔÙØ Ø ÅÄ ³ Ó Ø Ö Ö ÓÒ Ô Ö Ñ Ø Ö (G, m, V ) ۺֺغ l Ò Ø Ò Û Ù Ø F new Ò E new = F new º Ä Ø u i,j = log n j 1 2 log dets j,f new (l) 1 2 (x i,f new x j,fnew (l)) S j,fnew (l) 1 (x i,fnew x j,fnew (l)) 1 2 (x i,e new m Gx i,f ) V 1 (x i,enew m Gx i,f ). º ÒÑ ÒØ Ò ØÖ ÑÑ Ò µ ÓÑÔÙØ Ò Ñ Ð ÒÑ ÒØ l new Ù Ò Ö ÙØ ÓÒ Ø Ô ÓÒ Ø Ø Ø Ø u i,j º º ÓÒµ Á F new Ò l new ÑÔÖÓÚ Ø Ö Ø Ö ÓÒ Ø Ò Ö ØÙÖÒ F new l new Ð ØÓÔ º ¹ Æà ÏÁ Ë ¾¼½ ½» ½

Ä Ø Ö ØÙÖ ÙÓ ÓÒ ÀÙ Ò ÖÙ º Ä Ò Ýº ÈÖÓ Ø ÓÒ ÔÙÖ Ù Ø Ú Û Ø ÒÓ Ñ ØÖ º Ë Ò Ý Ë Ö ¾ ½¾ ½ ¾¼½¼º Ö Ò º Ê Ø ÖÝ Ò Æ Ñ Òº Î Ö Ð Ð Ø ÓÒ ÓÖ ÑÓ Ð¹ ÐÙ Ø Ö Ò º º Ñ Öº ËØ Øº Óº ½¼½ ½ ½ ¾¼¼ º ÙÒØ Ö Ê ØØ Öº ÊÓ Ù Ø ÐÙ Ø Ö Ò ÐÝ Ò Î Ö Ð Ë Ð Ø ÓÒ ÚÓÐÙÑ ½ Ó ÅÓÒÓ Ö Ô Ò ËØ Ø Ø Ò ÔÔÐ ÈÖÓ Ð Øݺ ÔÑ Ò ² À Ðл Ê Ó Ê ØÓÒ ÄÓÒ ÓÒ Æ Û ÓÖ ¾¼½ º Ú º ÌÝÐ Ö Ö Ò Ö Ø Ð Ý ÄÙØÞ Ñ Ò Ò À ÒÒÙ Ç º ÁÒÚ Ö ÒØ Ó¹ÓÖ Ò Ø Ð Ø ÓÒº º ÊÓÝ Ð ËØ Ø Øº ËÓº Ë Ö ½ ¾ ¾¼¼ º Ï Ø Ù ÓÒ Ò Ö Ó Ò Öº ¹ Æà ÏÁ Ë ¾¼½ ½» ½