técnicas de inteligência artificial em starcraft

7/23/2019 Técnicas de Inteligência Artificial em StarCraft

http://slidepdf.com/reader/full/tecnicas-de-inteligencia-artificial-em-starcraft 1/20

Técnicas de Inteligência Artificial em StarCraft

UNIVERSIDADE FEDERAL DE PERNAMBUCOCENTRO DE INFORMÁTICA

GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

Técnicas de InteligênciaArtificial em StarCraft

Vinícius Vieira Moreira

RECIFE, OUTURO DE !"#$

!




Res%m&

Esse tra'al(& )isa a*resentar %ma )is+& geral da a*lica+& de técnicas de IA -Inteligência

Artificial. em /&g&s eletr0nic&s de estratégia em tem*& real -D& inglês, Real Time Strateg1 2 RTS.,

send& a'&rdad& mais es*ecificamente & /&g& StarCraft3 Ser+& a*resentad&s &s desafi&s enfrentad&s n&

desen)&l)iment& de &*&nentes c&ntr&lad&s *ela m45%ina e as técnicas %tili6adas at%almente *ara atacar

esses desafi&s3 Esta m&n&grafia a*resenta &s *rinci*ais desafi&s e técnicas c&nstr%+& de agentes de

Inteligência Artificial *ara /&g&s RTS -'&ts. e a& fim a*resenta &s *r&'lemas em a'ert& nessa 4rea de

*es5%isa3

i




S%m4ri&

# 7 Intr&d%+&3333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333#! 7 8is+& 9eral333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333!

!3# 7 :ist;ria33333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333!!3! 7 Caracter<sticas e StarCraft333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333=

> 7 Inteligência Artificial em /&g&s RTS333333333333333333333333333333333333333333333333333333333333333333333333333333333=>3# 7 Caracter<sticas d& StarCraft333333333333333333333333333333333333333333333333333333333333333333333333333333333333333?>3! 7 T4tica e Estratégia em StarCraft33333333333333333333333333333333333333333333333333333333333333333333333333333333@>3> 7 %estBes a'ertas *ara IA *ara /&g&s RTS3333333333333333333333333333333333333333333333333333333333333333 #!

= 7 C&ncl%s+&333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333#>Referências i'li&gr4ficas3333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333#=

i




i




1 – Introdução

At%almente, cada )e6 mais &s /&g&s eletr0nic&s est+& se fa6end& *resentes n&

c&tidian& da *&*%la+&, se/a na f&rma de /&g&s *ara smart*(&nes e ta'lets, d&s tradici&nais

c&ns&les de mesa &% d&s *&rt4teis3 Mas além de t&da essa *&*%laridade, &s /&g&s tam'ém

s+& )erdadeiras f&ras *r&*%ls&ras de m%itas 4reas de c&n(eciment&, mas *rinci*almente

em 4reas relaci&nadas a c&m*%ta+&, 5%e é & artif<ci& 5%e *ermite t&da a interati)idade 5%e

fa6 d&s /&g&s & 5%e eles s+& na at%alidade3

Este tra'al(& )em a*resentar %ma )is+& s&'re Inteligência Articial e em *artic%lar

s&'re s%as técnicas e im*lementa+& n& /&g& StarCraft3 O é rec&rrentemente esc&l(id&

c&m& *lataf&rma de *es5%isa *ara técnicas de Inteligência Artificial de)id& a& se% s%cess&

c&mercial, grande c&m%nidade de *es5%isa e até c&m*etiBes entre &s agentes /&gad&res

n+&2(%man&s3

Esta m&n&grafia c&mea c&m & ca*<t%l& ! 5%e m&stra %ma )is+& geral a& leit&r3 Este

ca*<t%l& & far4 e*licand& a (ist;ria d&s /&g&s eletr0nic&s, *artind& desde & *rimeir& /&g&

eletr0nic&, *assand& *elas *rimeiras técnicas de Inteligência Artificial a serem

im*lementadas nestes até & nasciment& d& gêner& de /&g&s de estratégia, 5%e f&i %m d&s

mai&res im*%ls&s *ara a *es5%isa de Inteligência Artificial3 N& ca*<t%l& >, a m&n&grafia

tratar4 mais es*ecificamente de c&nceit&s d& /&g& StarCraft, técnicas de T4tica e Estratégiae *&r fim a*resenta alg%mas das 5%estBes em a'ert& na *es5%isa de Inteligência Artificial

em /&g&s RTS3 A m&n&grafia é em seg%ida finali6ada c&m a a*resenta+& das c&ncl%sBes

deste tra'al(&3

#




2 – Visão Geral

Técnicas de Inteligência Artificial -IA. s+& im*rescind<)eis n& desen)&l)iment& de /&g&s

at%almente, *rinci*almente em /&g&s de estratégia3 Este ca*<t%l& a'&rdar4 a (ist;ria da Inteligência

Artificial em /&g&s eletr0nic&s e a s%a etrema im*&rtncia em /&g&s de estratégia em tem*& real

-D& inglês, Real Time Strateg1 2 RTS.3

2.1 – História

Os *rimeir&s /&g&s eletr0nic&s desen)&l)id&s n+& %tili6a)am técnicas de IA, &% *&r serem

sim*les demais &% *&r serem *r&/etad&s *ara d&is /&gad&res (%man&s3 O *rimeir& /&g& eletr0nic&s 5%e

se tem registr& se c(ama)a Tenis f&r T&G e f&i desen)&l)id& *&r Hilliam :igin'&t(am -S i1%an %,

!"#!. e f&i c&nectand& %m &scil&sc;*i& a %m c&m*%tad&r anal;gic&3 O *rimeir& /&g& a r&dar em %m

c&m*%tad&r f&i S*acearG, desen)&l)id& n& MIT3 Nen(%m desses d&is /&g&s incl%<a IA, se/a *&r s%a

sim*licidade &% *&r terem sid& *r&/etad&s *ara serem /&gad&r entre &*&nentes (%man&s3

Em mead&s d&s an&s J" a Atari lan&% & *rimeir& /&g& de fli*erama, 5%e se c(ama)a

C&m*%ter S*aceG, e f&i a< 5%e &s *rimeir&s game designers c&mearam a inc&r*&rar as *rimeirastécnicas de IA em /&g&s3 O *r&*;sit& inicial dessas IAs era dific%ltar a )ida d&s /&gad&res *ara 5%e esses

gastassem mais e mais nas m45%inas de fli*erama -Si1%an %, !"#!.3 Alg%ns /&g&s dessa gera+& f&ram

K&ngG, S*ace In)adersG e D&nLe1 &ngG3 As *rimeiras técnicas de Inteligência Artificial a serem

inc&r*&radas em /&g&s eletr0nic&s eram etremamente r%dimentares e nem se5%er se a*r&ima)am d&

c&m*&rtament& (%man&, geralmente eram *adrBes arma6enad&s *re2determinad&s de m&)imenta+& a

serem esc&l(id&s de maneira aleat;ria *ela m45%ina, *ara 5%e a m&)imenta+& f&sse men&s *re)is<)el3

K&ngG f&i %m d&s *rimeir&s /&g&s 5%e *&ss%<a %ma IA 5%e fa6ia *arecer *ara &s /&gad&res (%man&s 5%e

eles esta)am enfrentand& &%tra *ess&a e & /&g& é creditad& c&m& %m d&s *rec%rs&res da real Inteligência

Artificial n&s /&g&s eletr0nic&s3 A maneira c&m 5%e K&ngG f&i *r&/etad& -d%as ra5%etesG de cada lad&

da tela, c&m& 5%e sim%land& %ma *artida de King2K&ng.

!




Figura 2.1 – Imagem d& /&g& K&ng3

t&rna)a im*&ss<)el & %s& da antiga estratégia de IA, &% se/a, *adrBes arma6enad&s 5%e eram esc&l(id&s

de maneira aleat;ria3 Dessa )e6 a IA tin(a 5%e fa6er decisBes 'aseadas nas aBes d&s /&gad&res

(%man&s, 5%e era 'asicamente reali6ar c4lc%l&s *ara sa'er a &nde a ra5%ete de)eria ir *ara n+& deiar

5%e a '&la sa<sse3 :&/e em dia esse ti*& de IA *&de *arecer r%dimentar, mas f&i a *rimeira )e6 5%e &

/&gad&r *0de sentir c&m& se ti)esse /&gand& c&ntra %m &*&nente tam'ém (%man&3

Em mead&s d&s an&s @", c&m a c(egada d&s c&m*%tad&res *ess&ais, a &nda de /&g&s de

fli*erama c&me&% a desa*arecer3 C&m & desen)&l)iment& da indstria de c&m*%tad&res *ess&ais e se%

mai&r *&der de *r&cessament& &s /&g&s e c&nse5%entemente s%as IAs tam'ém c&mearam a se t&rnar

mais c&m*leas3 Ainda d%rante &s an&s @" &%tr&s gêner&s emergiram ra*idamente, as antigas técnicas de

IA esta)am %ltra*assadas3 Kr&/etistas tin(am ag&ra 5%e tratar & desen)&l)iment& de IAs m%it& mais

seriamente, tend& em )ista 5%e elas (a)iam se t&rnad& %m as*ect& *adr+& d&s /&g&s eletr0nic&s3

Dentre &s n&)&s gêner&s 5%e esta)am t&mand& f&rma &s /&g&s de estratégia ti)eram %m *a*el

im*&rtante n& desen)&l)iment& de IAs, *rinci*almente *&r c&nta da necessidade de IAs de alta

5%alidade *ra esse gêner& de /&g&s e *&r5%e %ma IA de 5%alidade c&ntri'%i m%it& mais *ara a 5%alidade

de %m /&g& de estratégia em rela+& a /&g&s de &%tr&s gêner&s3 &g&s de estratégia em tem*& real -RTS.

f&ram intr&d%6id&s /4 n& final d&s an&s @", IAs altamente c&m*etentes e desafiad&ras eram & *adr+&

>




*ara & gêner& de /&g&s de estratégia e f&i a *artir da< 5%e & *r&/et& IA *ara /&g&s de estratégia c&me&% a

se f&rmar c&m& %m cam*& de *es5%isa em c&m*%ta+&3

2.2 – Características

&g&s de estratégia em tem*& real f&rmam %m gêner& es*ec<fic& de /&g&s eletr0nic&s em

5%e & /&gad&r *recisa c&nstr%ir %ma ec&n&mia, angariand& rec%rs&s e c&nstr%ind& %ma 'ase militar,

%m cert& *&deri& militar, treinand& %nidades 'élicas e *es5%isand& n&)as tecn&l&gias *ara

a*rim&rar as s%as %nidades, c&m & &'/eti)& de derr&tar se% &*&nente, &'/eti)& esse alcanad&

atra)és da destr%i+& t&tal &% *arcial d& eércit& inimig& e de s%a 'ase3

As *rinci*ais diferenas de %m /&g& RTS *ara %m /&g& de ta'%leir& tradici&nal, tal 5%al &

adre6 s+& as seg%intesP Eles s+& /&g&s de m&)iment&s sim%ltne&s, &% se/a, mais de %m /&gad&r

*&de reali6ar aBes a& mesm& tem*&, além diss&, essas aBes le)am %m cert& tem*& *ara serem

c&ncreti6adas3 RTS s+& em tem*&2real, & 5%e significa 5%e as decisBes tem 5%e ser t&madas em %m

tem*& m%it& red%6id&, de maneira a a%mentar as c(ances de )it;ria3 A mai&ria d&s RTSs s+& a*enas

*arcialmente &'ser)4)eis, &% se/a, nem t&d&s &s element&s d& /&g& est+& &'ser)4)eis, & 5%e t&rna

c&m*licada a '%sca *ela decis+& ;tima3 E *&r fim, a c&m*leidade desses /&g&s, se/a n& taman(& d&

es*a& de estad&s *&ss<)eis &% se/a n& nmer&s de aBes dis*&n<)eis a cada cicl& de t&mada de

decisBes é imens&3

O es*a& de estad&s n& adre6 é n&rmalmente estimad& em &rdens de #"Q$", #"QJ" n&K&Ler e #"Q#!" em 9&, em StarCraftG, *&r eem*l&, %m ma*a c&m%m é estimad& send& de m%itas&rdens de grande6a acima d&s nmer&s citad&s -Ontan&n, !"#>.3 K&r esses m&ti)&s, técnicasc&m%ns %sadas em /&g&s de ta'%leir&, c&m& 4r)&res de '%sca, n+& *&dem ser diretamente a*licadasdiretamente em /&g&s RTS3 C%ri&samente, /&gad&res (%man&s s+& ca*a6es de lidar c&m ac&m*leidade desses /&g&s, *&r essa ra6+&, %ma mir<ade de técnicas tem sid& testadas *ara lidar c&m esse d&m<ni&3

3 – Inteligência rti!icial e" #ogos $%&

A *es5%isa na 4rea de Inteligência Artificial em /&g&s RTS é de grande im*&rtncia e )alia,

se/a de)id& a& se% estad& imat%r&, se c&m*arad& c&m agentes /&gad&res de /&g&s cl4ssic&s deta'%leir&, c&m& & adre6, se/a *ela rica *lataf&rma 5%e esses /&g&s f&rnecem *ara & teste e

desen)&l)iment& de técnicas de Inteligência Artificial3

Os *rinci*ais m&ti)&s *ara a *erf&rmance fraca da IA %tili6ada em /&g&s s+& &s seg%intes -%r&,

!""=.P

=




• &g&s a*resentam centenas &% até mil(ares de &'/et&s interati)&s, inf&rma+& im*erfeita e

t&mada r4*ida de decisBes3 Em c&ntra*artida, em /&g&s cl4ssic&s de ta'%leir& as

*&ssi'ilidades de intera+& s+& de )4rias &rdens de grande6a men&res, a inf&rma+& é

*erfeita e c&m*leta e as aBes s+& reali6adas em t%rn&s3

• C&m*an(ias de desen)&l)iment& de /&g&s c&m%mente tra'al(am c&m se)eras limitaBes de

tem*&3 *ara & lanament& d& /&g&, e de rec%rs&s, & 5%e t&rna *&%c& )i4)el %m grande

in)estiment& em *es5%isas na 4rea de Inteligência Artificial3

• &g&s RTS s+& c&m*le&s, & 5%e indica 5%e n+& é f4cil m&ntar %ma infraestr%t%ra s&'re

esses /&g&s *ara a c&nd%+& de e*eriment&s em Inteligência Artificial, além d& mais, a

mai&ria d&s t<t%l&s d& gêner& n+& *&ss%em %ma interface a'erta *ara & desen)&l)iment& de

agentes de Inteligência Artificial *ara & /&g&, *rinci*almente de)id& a nat%re6a fec(ada d&s

/&g&s c&merciais3 Iss& res%lta em %ma falta de c&m*etiBes entre agentes /&gad&res nesses

/&g&s, c&m*etiBes essas 5%e s+& %ma das *rinci*ais f&ras 5%e im*%lsi&nam a *es5%isa emInteligência Artificial3

• &g&s m%lti/&gad&r fre5%entemente n+& *recisam de %ma IA de alt& n<)el *ara serem

c&mercialmente 'em s%cedid&s, *&is, & *rinci*almente as*ect& e f&nte de entreteniment&

nesses /&g&s é & em'ate entre /&gad&res (%man&s de f&rma &nline3

Além d& mais, a *es5%isa em Inteligência Artificial em /&g&s d& gêner& é *rinci*almente

m&ti)ada *&r alg%ns d&s m&ti)&s listad&s a'ai&P

• O desen)&l)iment& de agentes /&gad&res *ara /&g&s RTS *&de ser limitad& em as*ect&s

es*ec<fic&s, tais 5%ais 'atal(as l&cais, c&nstr%+& de f&rtificaBes, c&m& atacar, defender

%ma cidade, etc, de maneira eficiente, & 5%e tam'ém f&rnece %ma f&rma &'/eti)a de

mens%rar & desem*en(& das técnicas %tili6adas3

• Uma Inteligência Artificial f&rte est4 m%it& mais *r&*ensa a fa6er a diferena em f%t%r&s

/&g&s c&merciais, %ma )e6 5%e &s gr4fic&s est+& se a*r&imand& de %m *&nt& de sat%ra+&3

Além d& mais, agentes /&gad&res n+&2(%man&s c&ntri'%em m%it& *ara a e*eriência em

/&g&, %ma )e6 5%e est+& sem*re dis*&n<)eis *ara /&g&s e trein&, & 5%e n+& ac&ntece c&m

/&gad&res (%man&s3

• E finalmente, & desen)&l)iment& de técnicas mais refinadas de Inteligência Artificial *ara /&g&s RTS é tam'ém de interesse militar, 5%e fa6em sim%laBes de 'atal(as em *r&gramasde treinament&3 -:er6 Maced&nia, !""!.

$




3.1 – Características do &tarCra!t

StarCraft: Brood War é %m /&g& de Estratégia em Tem*& Real etremamente *&*%lar

lanament& em #@ *ela em*resa li66ard Entertainment3 StarCraft é am'ientad& em %m %ni)ers&

de fic+& cient<fica &nde & /&gad&r de)e esc&l(er %ma das três raas eistentes neste %ni)ers&P

Terran, erg &% Kr&t&ss3 Uma d&s *rinci*ais tr%nf&s de StarCraft é 5%e as três raas, a*esar de

'astante di)ers+&, s+& m%it& 'em 'alanceadas em se%s *&deres e fra5%e6as3

Figura 3.1 – Imagem d& /&g& StarCraftP r&&d Har3

Os Terrans c&nstit%em %ma raa 'astante fle<)el e )ers4til, send& assim %ma esc&l(a

intermedi4ria entre &s ergs e &s Kr&t&ss3 4 a raa erg é c&nstit%<da *rinci*almente de %nidades de

'ai& c%st& e fracas, 5%e entretant& *&dem ser *r&d%6idas ra*idamente, & 5%e enc&ra/a & /&gad&r a

)encer se% &*&nente a *artir de %ma imensa 5%antidade de criat%ras fracas3 K&r &%tr& lad&, a raa

?




Kr&t&ss é diametralmente &*&sta d&s ergs, *&ss%ind& %nidades de mai&r c%st&, mas 5%e s+& mais

f&rtes e resistentes, essas caracter<sticas c&m%mente fa6em & /&gad&r dessa raa &*tarem *&r

estratégias de 5%alidade em detriment& de %m grande nmer& de %nidades3

A Fig%ra >3# m&stra %ma ca*t%ra de tela d& /&g& em 5%e & /&gad&r est4 a /&gar c&m a raa

Terran3 A fim de )encer a *artida, & /&gad&r de)e re%nir rec%rs&s -c&m& minerais e g4s 8es*en&.3

Uma )e6 5%e &s rec%rs&s f&ram ad5%irid&s tem2se 5%e al&c42l&s *ara a c&nstr%+& de n&)&s

edif<ci&s -5%e ser)em 'asicamente *ara f&rtalecer a ec&n&mia, criar e dis*&ni'ili6ar %nidades mais

*&der&sas., *es5%isar n&)as tecn&l&gias -*ara a %tili6a+& de n&)as (4'ilidades e & f&rtaleciment&

das %nidades /4 eistentes. e *ara & trein& -*r&d%+&. de n&)as %nidades3 As %nidades criadas

de)em ser di)ididas de ac&rd& c&m s%as f%nBes na *artida, 5%e s+& rec&n(eciment& de terren&,

ata5%e e defesa3 En5%ant& reali6a t&das essas tarefas, & /&gad&r tam'ém *recisa entender a estr%t%ra

d& ma*a em 5%e a *artida se d4, *ara 5%e esse *&ssa reali6ar decisBes c&m& &nde c&nstr%ir n&)&s

edificaBes -elas de)em se c&ncentrar em %ma 4rea &% e*andir.3 Uma )e6 5%e %nidades &fensi)as

de d&is &*&nentes se enc&ntram, esses /&gad&res de)em gerenciar as s%as %nidades *ara 5%e essas

ten(am )antagem n& c&m'ate e saiam )it&ri&sas, & 5%e re5%er aBes r4*idas e reati)as de ac&rd&

c&m as aBes d& &*&nente3 Cada /&gad&r *&de c&ntr&lar até !"" %nidades -mais %m nmer&

ilimitad& de edificaBes., além diss&, cada raa c&ntém entre >" e >$ ti*&s de %nidades distintas, a

mai&ria delas c&m %ma 5%antidade signitificati)a de (4'ilidades es*eciais3

T&d&s &s fat&res a*resentad&s acima fa6em de StarCraft %m desafi& significati)&, &nde &s

/&gad&res (%man&s ainda s+& significantemente mel(&res 5%e /&gad&res n+&2(%man&s3 K&r

eem*l&, em StarCraft &s /&gad&res s+& di)idid&s em ranLs 5%e )+& de E -5%e é & men&r ranL

*&ss<)el. até A e Ol<m*ic&, 5%e s+& res*ecti)amente & seg%nd& mai&r e & mai&r ranL *&ss<)eis, &smel(&res /&gad&res n+&2(%man&s -'&ts. est+& categ&ri6ad&s entre D e D, en5%ant& /&gad&res

(%man&s amad&res n&rmalmente est+& entre C e 3 Kara efeit&s de c&m*ara+&, /&gad&res

*r&fissi&nal n&rmalmente est+& ran5%ad&s entre A2 e A -Ontan&n, !"#>.3

De %m *&nt& de )ista te;rica, & es*a& de estad&s *&ss<)eis e gigantesc&3 K&r eem*l&, c&nsidere%m ma*a c&m%m d& /&g& -5%e *&ss%i #!@ #!@ *&ss<)eis *&siBes *ara as %nidades.3 Dad&5%al5%er m&ment& da *artida *&de2se ter entre $" e ="" %nidades n& ma*a, cada %ma delas tend&%m estad& intern& c&m*le& -c&m& energia restante, aBes send& eec%tadas, *&nt&s de )ida, etc.3Esse fat&res le)am ra*idamente a %m nmer& imens& de estad&s *&ss<)eis -m%it& mai&r 5%e /&g&sc&m& adre6 e 9&, s%a )ers+&G &riental.3 K&r eem*l&, c&nsiderand& a*enas & nmer& de *&siBesiniciais -#!@ #!@ *&siBes *&ss<)eis *&r %nidade. e ="" %nidades, tem&s %m nmer& inicial de

#?>@=Q="" &% #"Q#?@$ *&ssi'ilidades -Ontan&n, !"#>.3 Se adici&narm&s &%tr&s fat&res d& /&g&,&'tem&s nmer&s ainda mai&res3 Dessa f&rma fica il%strad& a c&m*leidade d& /&g& e,c&nse5%entemente, da c&nstr%+& de '&ts 5%e reali6em t&das essas tarefas de maneira *el& men&ssatisfat;ria3

J




3.2 – %'tica e (strat)gia e" &tarCra!t

Nesta se+& ser+& a'&rdadas alg%mas técnicas *ara a im*lementa+& de t4ticas e estratégia *&r %m agente de Inteligência Artificial n& /&g& StarCraft3

%and& se fala de t4ticas em StarCraft, 'asicamente est4 se mirand& em as*ect&s de micr&2

gerenciament& d& /&g&, c&m& & c&ntr&le de %nidades indi)id%ais &% *e5%en&s gr%*&s dessas

%nidades d%rante & c%rt& *er<&d& de tem*&3 Tais decisBes t4ticas *&dem seg%ir %ma métrica sim*les,

c&m& tentar maimi6ar a 5%antidade de *&der de f&g& d& &*&nente 5%e *&de ser retirada d& cam*&

de 'atal(a n& men&r es*a& de tem*& -Da)is #.3 Na indstria de /&g&s, é c&m%m & %s& de

técnicas mais sim*les, c&m& m45%inas de estad& finitas, 5%e s+& %sadas *ara a t&mada de decisBes

-R&'erts&n !"#=.3 Entretant&, mesm& nessas decisBes de *e5%ena escala, m%it&s fat&res *&dem ser

c&nsiderad&s *ara tentar reali6ar a mel(&r a+& *&ss<)el, *artic%larmente em se tratand& de

%nidades diferentes c&m (4'ilidades es*eciais diferentes3 Mas & esc&*& desse *r&'lema de micr&2

gerenciament& se5%er se a*r&ima d& taman(& d& *r&'lema 5%e en)&l)e & /&g& c&m*let&3 Karece

(a)er men&s interesse de *es5%isa nesse as*ect& *artic%lar d& /&g& em detriment& de as*ect&s de

larga escala, estratégias de l&ng& *ra6&, t&mada de decisBes e a*rendi6ad&3

@




Figura 3.2 – Uma 'atal(a em StarCraft3 :a'ilidades de micr&2gerenciament& s+& etremamente

necess4rias *ara a%mentar a efic4cia d&s ata5%es reali6ad&s c&ntra %nidades inimigas3

A *rimeira estratégia de t&mada de decis+& t4tica a ser a'&rdada é & A*rendi6ad& *&r

Ref&r&, 5%e é %ma 4rea de a*rendi6ad& de m45%ina3 Essa técnica 'asicamente dita 5%e & agente

n+&2(%man& de)e a*render a *artir de tentati)a e err&, reali6and& aBes de maneira a a%mentar &

)al&r da f%n+& de rec&m*ensa3 Atra)és de )4rias iteraBes de a*rendi6ad& n+&2s%*er)isi&nad&,

%tili6and&2se técnicas de A*rendi6ad& *&r Ref&r& *&de2se desc&'rir n&)as s&l%Bes 5%e s+&

mel(&res d& 5%e as /4 sa'idas *re)iamente3 Além diss&, é relati)amente f4cil a*licar & A*rendi6ad&

*&r Ref&r& em %m n&)& d&m<ni&, é *recis& a*enas de %ma descri+& da sit%a+&, aBes *&ss<)eis e

%ma métrica de rec&m*ensa -Mansl&, !""=.3 Essa técnica n+& é c&m%mente %tili6ada em t&madas

de decis+& estratégicas, %ma )e6 5%e decisBes desse ti*& *&ss%em %m es*a& de *r&'lemas en&rme

e n&rmalmente a rec&m*ensa n+& )em de maneira imediata, & 5%e dific%lta & a/%ste d&s *es&s d&

alg&ritm& %tili6ad&3




Até ent+&, técnicas 'aseadas em 4r)&res de '%sca tem sid& inca*a6es de lidar c&m t&da a

c&m*leidade estratégica de medidas c&m rec&m*ensa a l&ng& *ra6& 5%e *ermeiam as aBes de

/&g&s RTS3 Entretant&, essas técnicas tem tid& s%cess& a& serem a*licadas a as*ect&s de men&r

escala em /&g&s RTS, c&m& sit%aBes de c&m'ate entre &*&nentes3 Kara fins de a*lica+& dessas

técnicas de '%sca, %m sim%lad&r 5%e *ermita 5%e & sistema de Inteligência Artificial a)aliar &s

res%ltad&s das aBes *&ss<)eis ra*idamente c&m &'/eti)& de e*l&rar a 4r)&re de '%sca -R&'erts&n,

!"#=.3

Entretant&, técnicas 'aseadas em 4r)&res de '%sca s+& *artic%larmente dif<ceis de se %sar

em StarCraft de)id& a nat%re6a fec(ada d& c;dig&2f&nte d& /&g&, e c&nse5%entemente, a ina'ilidade

de se mani*%lar ar'itrariamente & estad& d& /&g&3 Iss& significa 5%e as mecnicas *recisas das

regras d& /&g& s+& incertas e & /&g& n+& *&de ser facilmente %tili6ad& *ara fa6er sim%laBes a *artir

de %m estad& *artic%lar3

A*esar de f%nci&nar m%it& 'em em sim%laBes, &s res%ltad&s das técnicas 'aseadas em 4r)&res de

'%sca n+& se trad%6em *erfeitamente *ara & /&g&, de)id& a sim*lificaBes c&m& a falta de c&lis+& de

%nidades e acelera+&, & 5%e afeta & res%ltad& final -C(%rc(ill and %r& !"#!V

C(%rc(ill, Saffidine, and %r& !"#!.3 O Sistema f&i ca*a6 de )encer a*enas @=W d&s cen4ri&s

c&ntra & '&t 5%e /4 )em *r&gramad& n& /&g&, em'&ra a sim%la+& indicasse #""W de c(ances de

)it;ria3 A *rinci*al limita+& desse mét&d& se d4 *&r c&nta da c(amada e*l&s+& c&m'inat;riaG de

aBes *&ss<)eis, &% se/a, 5%and& & nmer& de %nidades en)&l)idas em c&m'ate cresce, & nmer& de

aBes *&ss<)eis cresce e a sim%la+& se t&rna in)i4)el 5%and& se tem mais d& 5%e @ %nidades de

cada lada, *&is essa se t&rna demasiadamente lenta3

Afim de se criar %m sistema 5%e *&de reali6ar aBes inteligentes de f&rma estratégica em %m /&g&RTS, m%it&s *es5%isad&res criaram %m sistema de *lane/ament&3 Esses sistemas s+& ca*a6es de

determinar se5%encias de aBes a serem t&madas em %ma sit%a+& es*ec<fica *ara alcanar %m

determinad& &'/eti)&3 Este é %m *r&'lema desafiad&r de)id& a nat%re6a d&s /&g&s RTS ser de

inf&rma+& inc&m*leta, 5%e se trad%6 a& StarCraft atra)és de 4reas d& ma*a 5%e n+& )is<)eis *ara as

%nidades, além d& /4 c&n(ecid& imens& es*a& de aBes *&ss<)eis e a *resena de )4ri&s &'/eti)&s

sim%ltne&s 5%e n+& necessariamente tem %ma (ierar5%ia3

C&m& &s sistemas de *lane/ament&, &s *es5%isad&res )isam tant& desen)&l)er %m agente

/&gad&r n+&2(%man& 5%e /&g%e c&m& %m /&gad&r (%man& c&m& red%6ir & esf&r& de

desen)&l)iment& re5%erid& *elas técnicas de desen)&l)iment& de scri*ts, 5%e é a mais c&m%m naindstria at%almente -R&'erts&n, !"#=.3 As *rinci*ais técnicas %sadas na c&nstr%+& de sistemas de

*lane/ament& s+&P Klane/ament& asead& em Cas&s -d& inglês, Case2ased Klanning 2 CK. e

A%t&n&mia Orientada a O'/eti)&s -d& inglês, 9&al2Dri)en A%t&n&m1 2 9DA.

CK é %ma técnica de *lane/ament& 5%e atra)és de sit%aBes *assadas semel(antes, etrai

s&l%Bes *&tênciais *ara a at%al sit%a+&3 N& cas& d& sistema CK, as s&l%Bes enc&ntradas fa6em

#




*arte de %m c&n/%nt& de *lan&s em *&tencial &% s%'*lan&s 5%e *r&)a)elmente ser+& efeti)&s na

sit%a+& at%al3 Sistemas CK *&dem ei'ir %ma 'aia reati)idade de %m *&nt& de )ista estratégic&

-l&ng& *ra6&. e reati)idade ecessi)a de %m *&nt& de )ista de aBes -c%rt& *ra6&., n+& reagind& a

m%danas de alt& n<)el até 5%e %ma a+& de 'ai& n<)el -%m esc&*& mais restrit& d& *r&'lemas,

n&)amente c&m& eem*l&, c&m'ates. fal(e, assim, descartand& %m *lan& inteir& *&r c&nta da fal(a

de %ma nica a+& -Kalma et al3 !"##.3

Uma das *rimeiras a*licaBes de CK *ara /&g&s RTS f&i reali6ad& *&r A(a, M&linea%,

and K&nsen -!""$., 5%e criaram %m sistema 5%e estendia & c&nceit& de scripting dinmic& -K&nsen

et al3, !""$., 5%e seleci&na t4ticas e estratégias 'asead& na sit%a+& at%al d& /&g&3 Usand& essa

técnica, & sistema era ca*a6 de /&gar c&ntra inimig&s n+& est4tic&s a& in)és de *recisar reali6ar

treinament& adici&nal t&da )e6 5%e & &*&nente m%da)a3 Eles red%6iram a c&m*leidade d&s es*a&s

de a+& e estad&s3 Iss& *ermiti% a& sistema mel(&rar s%a estimati)a de *erf&rmance de cada t4tica

em cada sit%a+& a& l&ng& de )4ri&s /&g&s, e e)ent%almente, a*rendesse de maneira c&nsistente a

gan(ar de t&d&s &s &%tr&s &*&nentes c&ntra &s 5%ais ele f&ra testad&3

A%t&n&mia &rientada a &'/eti)&s, &% 9DA, é %m m&del& em 5%e & *r;*ri& agente *&ndera

s&'re se%s &'/eti)&s e identifica 5%and& eles de)em ser at%ali6ad&s, e altera &% adici&na eles c&m&

necessidade de *lan&s &% eec%Bes f%t%ras3 Essa técnica lida c&m tant& c&m reati)idade de e)ent&s

de alt& e 'ai& n<)el, &% se/a, esse m&del& é sens<)el tant& a m%danas na estratégia n& *an&rama

geral, 5%e rece'e rec&m*ensas de maneira mais lenta e grad%al 5%ant& m%danas imediatas, 5%e s+&

&s cas&s de 'ai& n<)el, c&m& c&m'ate e *r&d%+& de n&)as %nidades3 O m&del& ati)amente

*&ndera e age s&'re &s m&ti)&s *el& 5%al ele est4 tend& s%cess& &% fal(and& em se%s &'/eti)&s3

He'er, Mateas e (ala -!"#". descre)em %m sistema 9DA *ara StarCraft %tili6and& %maling%agem de c&m*&rtament&s, 5%e é ca*a6 de f&rm%lar *lan&s a *artir de s%as e*ectati)as de %m

desfec(& 5%al5%er3 Se %ma sit%a+& &% e)ent& n+& es*erad& &c&rre, & sistema *&de gra)ar esse dad&

c&m& %ma discre*ncia, gerar %ma e*lica+& d& *&r5%e desse e)ent& &c&rrer e f&rmar %m n&)&

&'/eti)& e gerar %m n&)& *lan&, *ermitind& assim 5%e & sistema *&ssa reagir 'em a circ%nstncias

n+& *re)istas3 Esse m&del& era *re)iamente inca*a6 de a*render &'/eti)&s, e*ectati)as e mlti*l&s

&'/eti)&s de maneira a%t0n&ma, *&rtant&, t&das essas inf&rma+& de)iam )ir de maneira man%al,

atra)és de entradas 5%e seriam f&rnecidas man%almente *el&s treinad&res d& m&del&, mas,

mel(&rias n& dec&rrer d& tem*& fi6eram *&ss<)el c&m 5%e esse sistema a*rendesse atra)és de

dem&nstraBes de sit%aBes 5%e /4 &c&rreram -He'er, Mateas, e (ala !"#!.3Esse sistema f&i %tili6ad& c&ntra /&gad&res (%man&s em c&m*etiBes de StarCraft e f&i a)aliad& 'asead& em s%a taa de )it;ria s&'re esses /&gad&res3 O res%ltad& &'tid& indica 5%e esse técnica nac&nstr%+& de agentes /&gad&res n+&2(%man&s era s%*eri&r a /&gad&res c&m*etiti)&s d& /&g& em=@W d&s cas&s -He'er, Mateas, e (alaV !"#"V He'er et al3 !"#".3

#




3.3 – *uest+es ,ertas e" I -ara #ogos $%&

A*esar de eistirem alg%ns as*ect&s de /&g&s RTS em 5%e /4 tem&s s&l%Bes ;timas &%

'&as, em alg%ns &%tr&s as*ect&s d& /&g&, &s agentes n+& /&gad&res ainda est+& m%it& a5%ém d&s /&gad&res (%man&s3 M%it&s desses *r&'lemas s+& dec&rrentes da falta de raci&c<ni& imediat& *&r

falta desses, *&is, as técnicas de Inteligência Artificial im*lementadas até ent+& n+& *&ss%em a

ca*acidade de ler & /&g& em tem*& real e decidir 5%ais s+& as mel(&res t4ticas *ara a sit%a+&, em

s%ma, ainda falta %m entendiment& semntic& das sit%aBes enfrentadas *el&s /&gad&res n& dec&rrer

de %ma *artida3 Iss& est4 *rinci*almente c&nectad& X 5%antidade imensa de aBes *&ss<)eis em %m

/&g& RTS3 Os *rinci*ais *r&'lemas relaci&nad&s a Inteligência Artificial nesse gêner& de /&g& est+&

di)idid&s nas seg%intes 4reasP

• -rendiado e ada-tação

• A ada*ta+& Xs estratégias d& &*&nenteP O'ser)ar a estratégia d& &*&nente e

sinteti6ar %m c&ntra2ata5%e ade5%ad&3 As técnicas %tili6adas at%almente &% s+&

f&rtemente *r&gramadas n&s se%s '&ts &% s+& 'aseadas em estratégias *re)iamente

a*rendidas e s%as *erf&rmances c&m cada &*&nente, 'aseadas em dis*%tas *assadas,

mas at%almente '&t alg%m cria s%as *r;*rias estratégias 'aseadas nas estratégias

ad)ers4rias3

• A*render *&r e*eriência em /&g&s RTSP c&m& *&dem&s desen)&l)er '&ts 5%e se

a*erfei&em c&m & tem*&Y Os '&ts at%almente a*rendem 5%e estratégia -de %m

c&n/%nt& *ré2definid& de estratégias. é mel(&r c&ntra determinad& &*&nente, mas

c&m& *&dem&s desen)&l)er estratégias 5%e reali6am %m a*rendi6ad& mais

genéric&Y Iss& f&i alcanad& em /&g&s cl4ssic&s c&m& & adre6 -Tesa%r&, !""#., n&

c&ntet& de 4r)&res de '%sca -a*rendend& a f%n+& de a)alia+&.3 Ainda é incert&

c&m& fa6er iss& em /&g&s RTS

• A*rendi6ad& *&r &'ser)a+& -*&r dem&nstra+& &% *&r &'ser)a+& d& &*&nente.

em /&g&s RTSP c&m& *&dem&s a*render *&r &'ser)ar & /&g& em si &% &s &%tr&s

/&gad&resY K&dem&s criar %m alg&ritm& 5%e *&de a%t&maticamente etrair

estratégias *&r &'ser)a+& e *&steri&rmente a*lic42lasY 4 eiste alg%m tra'al(&nessa dire+&, mas ainda est4 l&nge de alcanar a mat%ridade -S3 Ontan&n, !"#".3

• /lane#a"ento

• Klane/ament& s&' restriBes em tem*& realP Em'&ra alg%mas s&l%Bes *ara

*lane/ament& em tem*& real em escalas men&res ten(am sid& recentemente

*r&*&stas, & *r&'lema em larga escala s&' restriBes de tem*& ainda est4 em a'ert&3

#




• Klane/ament& s&' a incerte6a de d&m<ni&s *arcialmente &'ser)4)eisP C&m&

*&dem&s ada*tar as técnicas de *lane/ament& *ara lidar c&m a incerte6aY Esse

*r&'lema tem sid& largamente est%dad& n& c&ntet&s de /&g&s mais sim*les, c&m&

& 9am+& &% & K&Ler, entretant&, as técnicas desen)&l)idas nesse c&ntet& n+&

escalam *ara /&g&s RTS c&m& StarCraft3

• Klane/ament& c&m rec%rs&sP Similarmente, mesm& 5%e eistam alg&ritm&s de *lane/ament& 5%e *&dem lidar c&m rec%rs&s, eles n+& s+& escal4)eis *ara & taman(&d&s *r&'lemas 5%e /&g&s RTS c&m& StarCraft *recisam lidar3

0 – Conclusão

Esse tra'al(& a'&rd&% temas desde a &rigem d&s /&g&s digitais e as *rimeiras técnicas de

Inteligência Artificiais %tili6adas n& desen)&l)iment& destes até & nasciment& de gêner&s c&m& RTSe & im*act& 5%e as técnicas de Inteligência Artificial tem nesse gêner& de /&g&s3

N& in<ci& desse tra'al(& f&ram descrit&s &s *rimeir&s /&g&s eletr0nic&s, desde &s 5%e n+&

%tili6a)am técnica alg%ma de Inteligência Artificial, *assand& *ela entrada t<mida dessas técnicas n&

*r&cess& de desen)&l)iment& de /&g&s e, *&r fim, & nasciment& de gêner&s *ra c&m*%tad&res

*ess&ais 5%e tem nessas técnicas & centr& d& entreteniment& e da di)ers+&, dand& *rinci*al ênfase

a&s /&g&s de estratégia em tem*& real3

De*&is diss&, s+& descritas as *rinci*ais caracter<sticas d&s /&g&s de estratégia em tem*& real,

*&nt%and& as diferenas entre esse gêner& de /&g&s e &s /&g&s cl4ssic&s de ta'%leir&, a diferena n&

esc&*& d& es*a& de *&ssi'ilidades em am'&s gêner&s de /&g&s3

Send& assim, & *rinci*al int%it& desse tra'al(& f&i a*resentar %ma )is+& geral dessa 4rea de *es5%isa, 5%e é & desen)&l)iment& de agentes /&gad&res n+&2(%man&s s&'re a *lataf&rma desim%la+& 5%e s+& &s /&g&s RTS, mais es*ecificamente, StarCraft3

$e!erências i,liogr'!icas

A:A, D3V M&linea%, M3V and K&nsen, M3 !""$3 Zearning t&inP Case2'ased *lan selecti&n in a real2time strateg1

#




game3 In M%n[&62A\ )ila, :3, and Ricci, F3, eds3, Case2ased Reas&ning3 Researc( and De)el&*ment, )&l%me>?!" &f Zect%re N&tes in C&m*%ter Science3 S*ringer erlin ] :eidel'erg3 $7!"3

URO, M3 !""=3 Call f&r AI researc( in RTS games3 InKr&ceedings &f t(e AAAI H&rLs(&* &n C(allenges in9ame AI, #>7#=!3

C:URC:IZZ, D3, and %r&, M3 !"#!3 Inc&r*&rating searc(alg&rit(ms int& RTS game agents3 In Kr&ceedings &f t(e AIIDE H&rLs(&* &n AI in Ad)ersarial Real2Time9ames, !7J3 AAAI Kress3

C:URC:IZZ, D3V Saffidine, A3V and %r&, M3 !"#!3 Fast (e%risticsearc( f&r RTS game c&m'at scenari&s3 In Kr&ceedings&f t(e AIIDE C&nference, ##!7##J3

DA8IS, I3 Z3 #3 Strategies f&r strateg1 game AI3 In Kr&ceedings&f t(e AAAI S*ring S1m*&si%m &n ArtificialIntelligence and C&m*%ter 9ames, !=7!J3

93 Tesa%r&, C&m*aris&n training &f c(ess e)al%ati&n f%ncti&ns,G in Machines that learn to play games3 N&)a Science K%'lis(ers, Inc3,!""#, **3 ##J7#>"3

:ER, 3, and Maced&nia, M3 !""!3 C&m*%ter games andt(e militar1P T& )ies3 Defense Horizons, Center for

Technology and National Security olicy, National Defense

!ni"ersity ##3

ONTANON, Santiag& et al3 A S%r)e1 &f Real2Time Strateg1 9ame AI Researc( and C&m*etiti&n inStarCraft3 Ieee %rans. Co"-ut. Intell. i Ga"es ^s3l3_, )3 $, n3 =, *3!>2>##, de63 !"#>3 Instit%te &f Electrical Electr&nics Engineers -IEEE.3 DOIP #"3##"]tciaig3!"#>3!!@?!$3

MANSZOH, 3 !""=3 Using reinf&rcement learning t& s&l)e AIc&ntr&l *r&'lems3 In Ra'in, S3, ed3, AI 9ame Kr&grammingHisd&m, )&l%me !3 :ing(am, MAP C(arles Ri)er Media3 $#7?"#3

KAZMA, R3V S\anc(e62R%i6, A3V 9\&me62Mart\`n, M3V 9\&me62Mart\`n, K3V and 9&n6\ale62Caler&, K3 !"##3 C&m'ininge*ert Ln&ledge and learning fr&m dem&nstrati&n inreal2time strateg1 games3 In Ram, A3, and Hirat%nga,

#




N3, eds3, Case2ased Reas&ning Researc( and De)el&*ment,)&l%me ?@@" &f Zect%re N&tes in C&m*%ter Science3 S*ringer erlin ] :eidel'erg3 #@#7#$3

KONSEN, M3V M%[n&62A)ila, :3V S*r&ncL, K3V and A(a, D3

!""$3 A%t&maticall1 ac5%iring d&main Ln&ledge f&r

ROERTSON, 9lenV HATSON, Ian3 A Re)ie &f Real2Time Strateg1 9ame AI3 i

Magaine A%cLland, )3 >$, n3 =, *3J$2#"=, n&)3 !"#=3

HEER, 3V Mateas, M3V and (ala, A3 !"#"3 A**l1ing g&aldri)ena%t&n&m1 t& StarCraft3 In Kr&ceedings &f t(eAIIDE C&nference, #"#7#"?3 AAAI Kress3

HEER, 3V Mateas, M3V and (ala, A3 !"#!3 Zearning fr&mdem&nstrati&n f&r g&al2dri)en a%t&n&m13 In Kr&ceedings&f t(e AAAI C&nference &n AI, ##J?7##@!3

HEER, 3V Ma(&rter, K3V Mateas, M3V and (ala, A3 !"#"3Reacti)e *lanning idi&ms f&r m%lti2scale game AI3 InKr&ceedings &f t(e IEEE C&nference &n C&m*%tati&nalIntelligence and 9ames, ##$7#!!3 IEEE3

U, Si1%an :ist&r1 &f AI design in )ide& games and its de)el&*ment 2 Online, acess& em!!]"]!"#$ na %rl (tt*sP]]sites3g&&gle3c&m]site]m1angelcafe]articles](ist&r1ai

#

https://sites.google.com/site/myangelcafe/articles/history_ai

https://sites.google.com/site/myangelcafe/articles/history_ai




ada*ti)e game AI %sing e)&l%ti&nar1 learning3 In Kr&ceedings&f t(e Inn&)ati)e A**licati&ns &f Artificial IntelligenceC&nference, #$>$7#$="3 AAAI Kress3

S3 Ontan&n, 3 Mis(ra, N3 S%gand(, and A3 Ram, On2line case2'ased *lanning,G Computational #ntelligence, )&l3 !?, n&3 #, **3 @=7##, !"#"3

#

técnicas de inteligência artificial em starcraft

Documents