Optimized Lookahead Trees: Extensions to Large and Continuous Action Spaces

Size: px

Start display at page:

Download "Optimized Lookahead Trees: Extensions to Large and Continuous Action Spaces"

Evan Russell
5 years ago
Views:

1 Optimized Lookahead Trees: Extensions to Large and Continuous Action Spaces Tobias Jung, Damien Ernst, and Francis Maes Montefiore Institute University of Liège Motto: Bridging the gap between lookahead tree search and direct policy search ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.1/15

2 Motivation / Background ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.2/15

3 Problem statement ÒÓ Ö ÙÐ Ö ØÝ ÙÑÔØ ÓÒ ÓÒ (f, ) º º Ð Ò Ö ØÝµ Ø ÖÙÐ ÓÙØ Ø Ò Ö ÅÈ µ ÓÒ Ö Ò Ö Ð Ö Ø ¹Ø Ñ Ý Ø Ñ Û Ø Ï Ø Ø Ô º º X Ê n n x x Ó Xµ Ñ Ò ÓÒ Ð ØÝ A Ø ÓÒ Ô º º Ê n u n u Ñ Ò ÓÒ Ð ØÝ Ó Aµ f : X A X Ø ÖÑ Ò Ø ØÖ Ò Ø ÓÒ ÙÒØ ÓÒ : X A Ê Ø ÔÛ Ô Ö ÓÖÑ Ò Ñ ÙÖ Ö Û Ö µ V π (x ) := lim T T γ t (x t, π(x t Û Ö )) x t+1 = f(x t, π(x t )) t= Ä Ø π : X A ÒÓØ Ø Ø ÓÒ ÖÝ Ø ÖÑ Ò Ø ÔÓÐ Ýº ÓÒ Ö Ú Ò (f, ), Û Û ÒØ ØÓ Ò Ø Ø ÔÓÐ Ý π = argmax π V π (x ) Ó Ð ÑÓ Ð Ø ÖÑ Ò Ø ÓÔØ Ñ Ð ÓÒØÖÓÐ Û ÐÐ ÒÓÛ ÓÐÚ Ò Ø ÀÂ ÕÙ Ø ÓÒ ÙÐØ Ò Ô ÖØ ÙÐ Ö Ø Ñ Ò ÓÒ Ð ØÝ ÐÐ Ò Ø Ø Ø Ô Ð Ö º Ò Û Ó ÒÓØ Ú Ò Û ÒØ ØÓ Ø Ò ÓÙØ Ñ Ø ÓÒ Ô ºµ Ó ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.3/15

4 Lookahead tree policies (LT) ¾º Ù Ð ØÖ Ò Ò Ö Ð ÒÓÒ¹ÙÒ ÓÖÑÐÝ µ ÙÑ ÓÖ Ø ÑÓÑ ÒØ Ø Ø Ø Ø ÓÒ Ô Ò Ø Ò Ñ ÐÐºµ Ï ÓÒ Ö ÔÔÖÓ Ø Ø ÐÓ ÐÐÝ Ù Ð ØÖ Ó Ð Ñ Ø ÔØ Ú ÖÝ Ø Ñ ÓÒ Ö ÕÙ Ö ½º Ä Ø x t Ø ÙÖÖ ÒØ Ø Ø º º Ö ØÖ Ü ÙØ Ø Ö Ø Ø ÓÒ ØÓ Ñ ØÖ Ò Ø ÓÒ x t+1 = f(x t, π f, (x t ))º ÓØÓ ½º ÆÓØ ÓÒ ÔØÙ ÐÐÝ ÐÐ ÄÌ ÔÓÐ Ò Ô Ý ÑÔÐ Ñ ÒØ Ò Ø ØÛÓ ØÖ Ø ÙÒØ ÓÒ ÜÔ Ò ÓÒ ÙÖ Ø Ø ÖÑ Ò ÓÛ Ø ØÖ Ù Ð º ÆÓ ÓÖ ØÓ ÒØ ÖÑ Ø ÒÓ Ø ÒÓ Û Ø Ø Ø ÓÖ Ø ÜÔ Ò Ò ÜØºµ Ò Ð Ø ÓÒ ÙÖ Ø ÓÒ Ø ØÖ Ù ÐØ Ø ÖÑ Ò Û Ø Ø Ø Ö Ø Ø ÓÒ º Ø ÓÒ ÓÖ ØÓ Ð ÒÓ Ø Ö Ø Ø ÓÒ Ø ÓÒ Ø Ø Ð ÓÒ Ø Ô Ø ØÓ Ø Ø ÓÖ Ð ÒÓ ºµ Ò ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.4/15

5 Motivation Î Ö ÓÙ ÓÖ ÑÔÐ Ñ ÒØ Ò Ø ØÛÓ ÙÖ Ø Ú Ò ÔÖÓÔÓ ÀÖ Ò ² ÅÙÒÓ ÏÊÄ³¼ µ ÓÑÔÐ Ø ÐÝ ÒÓÖ Ø Ñ Ò ÓÒ Ð ØÝ Ó Ø Ø Ø Ô ººº ½º Ø Ý Ö ÓÛ Ú Ö ÚÙÐÒ Ö Ð ØÓ Ð Ö Ø ÓÒ Ô ººº Ò ÔÖÓ Ù ¹Ô Ö ÓÖÑ Ò ÔÓÐ ÓÖ ÙÐØ ÒÓÒÐ Ò Ö ÓÒØÖÓÐ ÔÖÓ Ð Ñ ººº ¾º Ø Ý Ö ÐÐÓÛ ØÓ Ù Ð ØÖ Ó Ù ÒØ ÔØ ººº Ì ÓÓ Ò Ø ÄÌ ÔÓÐ Û ÓÑ Ø Ñ Ñ Ò Ñ ÒÝ Ñ ÐÐ ÓÒ ÒÓ Ø ÓÒ Ø Ôµ Ì ÔÖÓ Ð Ñ Ð Ñ Ø ÓÑÔÙØ Ø ÓÒ Ð Ö ÓÙÖ ÁÒ ÓÑ ÔÔÐ Ø ÓÒ ÑÙÐ Ø Ò ØÖ Ò Ø ÓÒ ÖÓÑ ÑÓ Ð Ú ÖÝ ÜÔ Ò Ú ÙÑ Û Ú ÓÒ ØÖ Ò ÓÒÐ Ò Ù Ø ÅÓÖ ÓÚ Ö Ó ØÖ Ò Ø ÓÒ Û Ò ÑÙÐ Ø ÓÖ Û Ú ØÓ Ö ØÙÖÒ ÓÒµ ÒÙÑ Ö Ì Ù ÓÙÖ Ó Ð ØÓ ÔÖÓÚ Ò Ò Û Ö ØÓ Ø ÓÐÐÓÛ Ò ÕÙ Ø ÓÒ Û Ú ÑÓ Ð Ó Ý Ø Ñ (f, )º Ï Ø Ø Ø ÄÌ¹ µ ÙÑ π ÔÓÐ Ý f, Ò Ò Ø ÔÓÐ Ý ÐÐÓÛ ØÓ Ô Ò ÒÓ ÑÓÖ Ø Ò K ÓÒ Ö ÓÙÖ ØÓ ÓÙØÔÙØ ÓÒ Ø Ø Ô ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.5/15

6 Motivation II: LT+DPS=OLT ÈÓ ÒØ ÄÌ ÔÓÐ Ö ÕÙ Ö Ð Ö ØÖ Ù Ø Ý Ö ÐÝ ÓÒ Ò Ö ÙÖ Ø º À Ò ÓÙÖ ÓÔØ Ñ Þ ÐÓÓ ØÖ ÔÓÐ ÇÄÌµ È Ö Ñ Ø Ö Þ Ø ÙÖ Ø º º h( n }{{} ÒÓ ; θ) = i θ i }{{} g i (n) }{{} Ô Ö Ñ Ø Ö ØÙÖ ÓÔØ Ñ Þ θ Ú ÐÓ Ð ÓÔØ Ñ Þ Ø ÓÒ ÓÖ Ú Ò ÓÑ Ò Ò Ù Øº Ç Ò ØÓ Ø Ö Ò Ø Ð ÓÖ Ø Ñ ÓÖ ÑÝ ÚÓÖ Ø Ù Ò ÔÖÓ ÓÔØ Ñ Þ Ø ÓÒµ º º ÇÒÐ Ò Ù Ø θ Ò ÔÐÓÝ Ø ÔÓÐ Ý π f, ( ; θ) ÇÄÌ Ò Ò Ø Ò Ö Ö Ø ÔÓÐ Ý Ö Û Ø ÒÓÒ Ø Ò Ö ÓÖÑ Ó ÑÔÐ Ø ÔÓÐ Ý Ö ÔÖ ÒØ Ø ÓÒº ÇÄÌ ÓÖ Ò Ø Ò Ñ ÐÐ Ø ÓÒ Ô ÈÖ Ú ÓÙ ÐÝ Ø Ðº ÁÂ ËÈ ¾¼½ µ Å Ø Ðº ÏÊÄ ¾¼½½µ ÂÙÒ Ó Ð ÒÓÛ ÜØ Ò ÇÄÌ ØÓ ÓÒØ ÒÙÓÙ Ø ÓÒ Ô º ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.6/15

7 OLT for Continuous Action Spaces ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.7/15

8 Basic algorithm ÙÖÖ ÜÔ Ò ÓÒ < Ù Ø Ï Ð Ò ÒÓ Û Ø Ø ÜÔ Ò ÓÒ ÓÖ n := argmax ½º n T θ)º exp score(n; Ë ÑÙÐ Ø ØÖ Ò Ø ÓÒ ÖÓÑ (n.x,n.a) x = f(n.x,n a)º ¾º ÓÖ Ø ÓÒ Ò Û ÒÓ ÖÓÑ x ØÓ T º Ê ÑÓÚ n º º ÔÓÐ Ý Ø ÓÒ π Ê ØÙÖÒ f, (x t θ) ; Ò ÒÓ Û Ø Ø Ø ÓÒ Ð Ø ÓÒ ÓÖ n := argmax ½º n T θ)º act score(n; Ï Ø ÖØ Ý ÓÒ Ö Ò Ò Ø Ø ÓÒ ÆÓØ Ø ÓÒ Ä Ø x t Ø ÙÖÖ ÒØ Ø Ø ÓÖ Û Û Û ÒØ ØÓ ÓÑÔÙØ Ø ÓÒ π f, (x t ; θ)º Ä Ø T Ø Ð Ø Ó ÓÔ Ò»ÙÒ ÜÔÐÓÖ ÒÓ º Ú ÖÝ ÒÓ Ò ÓÖÖ ÔÓÒ ØÓ Ø Ø ¹ Ø ÓÒ Ô Ö Ò ÒÓ Ô Ø ÖÓÑ Ø ÖÓÓØº ÒÓ n T struct Ó Ø Ó ØÝÔ ℵ Û Ø Ñ Ñ Ö Ú ÖÝ Ø ÙÒ ÖÐÝ Ò Ø Ø n.x Ø ÙÒ ÖÐÝ Ò Ø ÓÒ n.a Ø ÔØ ÖÓÑ Ø ÖÓÓØ n.d ÙÑÙÐ Ø Ú Ö Û Ö ÓÒ Ô Ø n.r (n.x,n.a)º ÖÓÓØ Ö Ø Ø ÓÒ ÓÒ Ô Ø n.π Ð ÓÖ Ø Ñ ¾º Ê ØÙÖÒ Ö Ø Ø ÓÒ π f, (x t ; θ) = n.π ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.8/15

9 Recursive action splitting ÒÓÛ ØÙÖÒ Ø ÓÒØ ÒÙÓÙ ¹ Ø ÓÒ ÔÖÓ Ð Ñ ÒØÓ Ö Ø ¹ Ø ÓÒ ÔÖÓ Ð Ñº º È Þ ² Ä ÓÙ Á ÅÄ³¼ µ Ï ÔÖÓ Ð Ñ (f, ) (f, ) ÌÖ Ò ÓÖÑ Ø Ø Ô ÓÐ Ø Ø Ô Ô ÖØ Ø ÓÒ Ó Ø Ø ÓÒ Ô Æ Û Ø ÓÒ Ô {split left, split right, go} Æ Û Û Ö Ò Ø Ô ÖØ Ø ÓÒ Ó Ø Ø ÓÒ Ô Ó Ø ÙÖÖ ÒØ Ø Ø µ Ì ÒØ Ö Ó Ô ÖØ Ø ÓÒ Ò ½ Ò ÒØ ÖÚ Ðµ ÒÓ Ø Ø ÓÒ ÙÒ Ö ³ Ó³ ØÖ Ò Ø ÓÒ ÑÓ Ð Æ Û f ((x, α), split left) = (x, left(α)) f ((x, α), split right) = (x, right(α)) f ((x, α), go) = (f(x, center(α)), A) ((x, α), a) = { (x, center(α)) a = go ÓØ ÖÛ º Æ Û Ö Û Ö ÑÓ Ð ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.9/15

10 Illustration ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.1/15

11 Illustration Nodes: n.a Initial look-ahead tree: (x,[-b,b]) n.x (n.d x, n.d u ) center split_left (,) split_right (,) go (x,[-b,b]) (x,[-b,b]) (x,[-b,b]) (,) Exp_score: 1 Exp_score: 8 Exp_score: 1 ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.1/15

12 Illustration Expanding the "split_left" node: (x,[-b,b]) Generate zero-cost transition f', rho'= (x,[-b,]) split_right (,) (,) go (x,[-b,b]) (x,[-b,b]) Exp_score: 8 Exp_score: 1 split_left (,1) split_right (,1) (,1) go (x,[-b,]) (x,[-b,]) (x,[-b,]) -.5b -.5b -.5b Exp_score: -4 Exp_score: 2 Exp_score: 7 ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.1/15

13 Illustration Expanding the "go" node: (x,[-b,b]) split_left split_right (x,[-b,b]) (x,[-b,b]) Generate regular transition f, rho (,) (,) (x,[-b,b]) 1 Exp_score: 1 Exp_score: 8 split_left split_right go (x 1,[-b,b]) (x 1,[-b,b]) (x 1,[-b,b]) (1,) (1,) (1,) Exp_score: 13 Exp_score: 5 Exp_score: 9 ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.1/15

14 Experiments ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.11/15

15 Experimental Setup ÓÑ Ò ÀÁÎ ÑÙÐØ ÖÙ ØÖ ØÑ ÒØ Ñ Ø Ðº Å Ø º Ó Ò Ò Ò Òº ÎÓÐº ½ ¾¼¼ µ ØÓ Ñ Ò Ø Ö ÖÙ Ó Ø Ð ÓÚ Ö Ô Ö Ó Ó ½ ¼¼ Ý ½ ÓÒ Ý µ ØÓ Ó Ð ÒÙÑ Ö Ó Ò Ø ÐÐ Ò Ö Ò Ô Ø ÒØ ÒØÓ ÙÒ Ø Ð ÐØ Ý ÕÙ Ð Ö ÙÑ Ö Ù Ò Ö Ó Ð Ò µ ¹ Ø ÓÒ Û Ø Ö Ò ÓÑ ØÖ Ö Õº Ñ ÐÐ ÓÒ Ó ÑÔÐ ØÖ Ò Ø ÓÒ µ ÉÁ Ø ÓÒ Ò Ö Ó ÓÒØ ÒÙÓÙ ÇÄÌ Ö º Øº ÔÐØ ÐÐ Ò Ò ÓÔØ Ñ Ð ÓÒØÖÓÐ ÔÖÓ Ð Ñ Û Ø ÒÓÒÐ Ò Ö ÝÒ Ñ Ñ Ò ÓÒ Ð Ø Ø Ô ¾ Ñ Ò ÓÒ Ð Ø ÓÒ Ô Å Ø Ó Ü Ñ Ò ÀÖ Ò ² ÅÙÒÓ ÏÊÄ ¾¼¼ µ ÄÌ ÂÙÒ Ø Ðº ÁÂ ËÈ ¾¼½ µ ÇÄÌ ÇÄÌ Øº ÑÔÐº ÓÒÐÝ Ö Ò ÓÙÖ Ô Ô Öµ ÜÔ Ö Ñ ÒØ Ð ÔÖÓØÓÓÐ ÄÌ Ñ Ø Ó Ø Ø ÓÖ Ú Ö ÓÙ ØØ Ò Ó Ø ÐÐÓÛ ÓÒÐ Ò Ù Øº ÐÓ Ð ÓÔØ Ñ Þ Ø ÓÒ ÑÔÐ Ñ ÒØ Ø ÖÓÙ ÖÓ ÒØÖÓÔÝ ¼¼¼ Ô µ Ò ÈÇ ¼¼ Ô µº ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.12/15

16 Ø ÓÒ Ð Ø ÓÒ ÙÖ Ø Ò ÀÖ Ò ² ÅÙÒÓ ÏÊÄ³¼ µ B Ñ Ò ÑÙÑ ØØ Ò Ð Ö Û Ö Ò ÓÑ Òº Û Ö Ó ÒÓØ Ô Ò ÓÒ ÒÝ Ô Ö Ñ Ø Ö ºµ Ì Ù How did we parameterize the heuristics? act score(n; θ) act score(n) = n.r + γ n.d B/(1 γ) exp score(n; θ) = 5 n x i=1 j=1 θ ij g ij (n) ÆÓ ÜÔ Ò ÓÒ ÙÖ Ø Û Ø g 1j (n) = n.x j g 2j (n) = n.x j n.r g 3j (n) = n.x j n.d g 4j (n) = n.x j number splits(n.α) g 5j (n) = n.x j center(n.α) ØÙÖ»Û Ø ÙÔÐ Ø ÓÖ Ö Ø Ø ÓÒµ ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.13/15

17 Results for HIV drug treatment 1 1 HIV drug (continuous actions) 1 9 ÒÙÑ Ö ËÓÑ Å Ø Ó È Ö º Performance OLT+act.sampl.1 (1 samples) OLT+rec.act.splt LT* (4 actions) OLT* (4 actions) Ø ÓÒ º¾¾ ÉÁ º¾½ ÄÌ º¾¾ ÇÄÌ Ø ÓÒ ÓÒØ ÒÙÓÙ ÇÄÌ Ö º Øº ÔÐØ º Online complexity: #calls to model (per decision) ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.14/15

18 Summary Ï Ý Ó ËÓÐÚ Ò ÇÔØ Ñ Ð ÓÒØÖÓÐ ÓÙÖ ÅÓØ Ö ÓÙÐ ÍÒ Ö Ø Ò È Ö ÓÖÑ Ò ÇÒÐ Ò Ó Ø Ç Ò Ó Ø Ö Ø ÈÓÐ Ý Ë Ö ÓÓ Ú ÖÝ ÓÓ Ú ÖÝ ÐÓÛ Ú ÖÝ ÄÓÓ ÌÖ ÈÓÐ Ú ÖÝ ÓÓ Ú ÖÝ Þ ÖÓ ÇÔØ Ñ Þ ÄÓÓ ÌÖ ÈÓÐ Ú ÖÝ ÓÓ ÐÓÛ Ñ ÙÑ ADPRL 13: OLT for Continuous Actions Singapore, April 17, 213 p.15/15

Ó Ú ÐÙ Ö ÒÚÓÐÚ Ò ÖØ Ò Ô ÖØ Ó Ø ÔÖÓ Ö Ñµ Ò ØÓ ÐÔ Ø Ø ÔÖÓ Ö ÑÑ Ö Ñ Ø º ÁÒ Ø Ø ÐÐÝ ØÝÔ Ð Ò Ù Ø ØÝÔ Ö ÒÓØ Ò ÓÑ Ø Ò Ø Ø Ø Ô ÖØ Ò ÓÑÔÙØ Ø ÓÒ ÙØ Ö Ø Ö ÓÑ Ø Ò

Ó Ú ÐÙ Ö ÒÚÓÐÚ Ò ÖØ Ò Ô ÖØ Ó Ø ÔÖÓ Ö Ñµ Ò ØÓ ÐÔ Ø Ø ÔÖÓ Ö ÑÑ Ö Ñ Ø º ÁÒ Ø Ø ÐÐÝ ØÝÔ Ð Ò Ù Ø ØÝÔ Ö ÒÓØ Ò ÓÑ Ø Ò Ø Ø Ø Ô ÖØ Ò ÓÑÔÙØ Ø ÓÒ ÙØ Ö Ø Ö ÓÑ Ø Ò ÙÒ Û Ø ÙÒØ ÓÒ Ð Ô Ò Ò ÓÖ Ö Øµ ÌÝÔ Î ÐÙ Ò ËØ Ø ÓÑÔÙØ Ø ÓÒ Ò À ÐÐ Ì ÓÑ À ÐÐ Ö Ò Ñ Ö ¾ ¾¼¼¼ ØÖ Ø Ì Ô Ô Ö ÐÐÙ ØÖ Ø ÓÛ À ÐÐ³ ØÝÔ Ð Ý Ø Ñ Ò Ù ØÓ ÜÔÖ ÓÑÔÙØ Ø ÓÒ º Ë Ò ÓÑÔÙØ Ø ÓÒ ÓÒ Ø ØÝÔ Ð Ú Ð Ö Ô Ö ÓÖÑ Ý Ø ØÝÔ