OpenAIs Dota 2 AI steamruller verdensmesteren e-sportslag med back-to-back-seire
Den internasjonale 2018-mesteren OG taper for OpenAIs bots i et fantastisk nederlag
OpenAI, AI-forskningsorganisasjonen, kan gjøre krav på en verden først: sitt kunstige intelligenssystem trent til å spille det komplekse strategispilletDota 2har bestet et verdensmester e-sportslag. Konkurransen ble avholdt i San Francisco i dag og kalt OpenAI Five Finals, og avsluttet organisasjonens offentlige demonstrasjoner av densDota-spille teknologi på høy tone.
Konkurransen på den menneskelige siden inkluderte fem toppDota 2proffer fra team OG, som vant verdens mest ettertraktede e-sportspris i fjor da dentok plassen nr. 1 på The International, den årlige premierenDota 2turneringmed premier nå på totalt $ 25 millioner. OG møtte i en best-of-three-konkurranse mot OpenAI Five-bots, alle trent med de samme teknikkene for dyp forsterkningslæring og kontrollert uavhengig av forskjellige lag i samme system. Forsterkningslæring er effektivt en prøve-og-feil-tilnærming til selvforbedring, der AI blir droppet inn i spillmiljøet uten forståelse av hvordan spillet fungerer og trent mye ved å bruke belønningssystemer og andre incentiviserende mekanismer.
spill og se
Dagens ytelse er den klart høyeste demonstrasjonen av OpenAI Five sine evner til dags dato, med systemetetter å ha tapt knepent to kamper for mindre dyktige e-sportslag i august i fjor. I følge OpenAIs medstifter og styreleder Greg Brockman, som også er organisasjonens teknologichef, forbedres OpenAI Five ved å spille seg selv i et akselerert virtuelt miljø. OpenAI Five er drevet av dyp forsterkning av læring, noe som betyr at vi ikke kodet hvordan vi skulle spille. Vi kodet det hvordan vi skulle lære, fortalte Brockman publikum før konkurransen. I løpet av de ti månedene det eksisterte, har det allerede spilt 45 000 årDota 2spill. Det er mye - det har ikke gått lei ennå.
OpenAIs Dota 2-bots har trent i tilsvarende 45 000 menneskeårDota 2er et enormt komplekst strategispill som involverer mer enn 100 unike tegn, dype ferdighetstrær og varelister, og et svimlende utvalg av variabler som spilles ut på skjermen til enhver tid i en kamp. Som sådan pålegger OpenAI visse grenser når AI-systemet spiller profesjonelle spillere, mest fremtredende ved å begrense antall helter som brukes av begge femspillerteamene.
I dette tilfellet hadde hver gruppe 17 helter å velge mellom. OpenAI valgte også den såkalte Captain's Draft-spillmodusen, som lar hvert lag strategisk forby helter for å hindre det andre laget i å velge disse tegnene før de bruker en distinkt plukkrekkefølge. Det lar kapteinen bygge styrker mellom heltekombinasjoner og utnytte fiendens helt svakheter gjennom sterke tellere når lagene begynner å fylle ut listen en etter en. I likhet med tidligere kamper deaktiverte OpenAI også innkallings- og illusjonsfunksjoner, som begge innebærer å bringe på flere variabler i form av heltekopier og unike skapninger som OpenAI ikke har trent systemet til å gjøre rede for.
Utover det spilles spillet akkurat som en normalDota 2kamp, med det endelige målet om å ødelegge fiendens lagets eldgamle, eller et stort tårn på slutten av hvert lags territorium som bare blir sårbart når fiendelaget med hell ødelegger mindre tårn i løpet av kampen, i mellom hero-on-hero lagkamp.
I dagens første kamp overrasket OpenAI Five OG og hevdet seier gjennom å stole på en rekke aggressive taktikker, inkludert den særegne beslutningen om å bruke opptjent valuta i spillet for øyeblikkelig å gjenopplive helter ved døden, selv tidlig i kampen. Som bemerket av Greg Brockman, OpenAIs teknologichef, er OpenAI glad i strategier som favoriserer kortsiktig gevinst, og avslører manglene i å mestre den typen langsiktig planlegging mennesker er gode til og stoler vanligvis på for å vinne slike strategikonkurranser. Men i denne kampen betalte de tidlige tilbakekjøpene seg, og OpenAI Five fikk en fordel som OG rett og slett ikke kunne overvinne da kampen trakk seg inn i 30-minutters rekkevidde.
Vi ser dette skje i testspill hele tiden: botene kjøper seg tilbake, menneskene ler, og så taper menneskene. Vanskelig å vite om det vil skje også her ...
- Greg Brockman (@gdb)13. april 2019
I den andre kampen presterte OpenAI enda bedre, og fikk en tidlig fordel mot OG de første minuttene, og deretter nådeløst videre på de menneskelige spillerne til den vant seieren på litt over halvparten av tiden den trengte for å vinne den første kampen. Mike Cook, en ivrigDota 2spiller og seer som spesialiserer seg på blanding av AI og spilldesign, bemerket hvor uvanlig aggressiv OpenAI Five begynte å spille i den andre kampen, og hvor lite OG gjorde for å bekjempe sine fremskritt over kartet. Cook bemerket spesifikt hvor godt OpenAI Five var i stand til å dra nytte av sine spesifikke heltevalg.
Dette er sannsynligvis over allerede, dessverre. OpenAI har fire av de fem beste heltene rangert etter nettoverdi. Klokka ti minutter inn mot roboter med utførelsen av OpenAI er dette veldig ille.#openaifive
- Mike Cook (@mtrc)13. april 2019
For OpenAI er ikke seieren her bare en årsak til feiring i seg selv, men et testament at dens tilnærming til forsterkning av læring og dens generelle filosofi om AI gir milepæler. Forskerteamet vil ikke lenger ha noen offentlige demonstrasjoner av AI-bot, men jobber nå med programvare som lar mennesker samarbeide ved siden av OpenAI Five-programvaren i sanntid, og spiller på et team med bots og lærer av deres særegne, enestående strategier og atferd. Organisasjonen lanserer også en plattform for publikum for å spille mot OpenAI Five, en modus den kaller Arena, som vil være åpen i tre dager fra 18. april.
høyttaler
Spesiell kunngjøring: vi inviterer hele Internett til å spille OpenAI Five (enten som konkurrent eller lagkamerat) på en gang.
- Greg Brockman (@gdb)13. april 2019
Registrer deg i dag! Veldig spent på å se hva vi lærer av å observere OpenAI Five i naturen.pic.twitter.com/TaMhxdgVIt
OpenAI sier at samarbeidsprogramvaren kanskje ikke gjør det til publikum, selv om jeg klarte å prøve det selv her på arrangementet. (Til tross for å ha verdensklasseDota 2AI på laget mitt, jeg ble dessverre knust på mye mindre dramatisk måte enn OG.) Men Sam Altman, medstifter og administrerende direktør i OpenAI, sier at denne typen arbeid er bevis på at samarbeid med AI-agenter kan gi store fordeler i fremtiden. .
star trek dagOpenAI ønsker å ta Dota 2-læringene sine og bruke dem på nye utfordringer, som roboter
Det er en viktig leksjon for hvordan verden skal fungere, trene disse tingene og få dem til å fungere parallelt, sier Altman i et intervju medThe Verge. Samarbeid er en av de mer positive visjonene vi har for fremtidens verden - AI jobber sammen med mennesker for å gjøre mennesker bedre og ha mer moro og mer innvirkning.
Altman sier at OpenAI sannsynligvis vil fortsette å dabbe medDota 2og andre videospillmiljøer, primært fordi de er så gode testsenger for AI og gode benchmarkingverktøy for å måle fremgang. Men han forteller meg at det sannsynligvis ikke eksisterer et videospill der ute akkurat nå som et system som OpenAI Five til slutt ikke kan mestre på et nivå utenfor menneskelig evne. For den bredere AI-bransjen kan mestring av videospill snart bli passé, enkle bordinnsatser som kreves for å bevise at systemet ditt kan lære raskt og handle på en måte som kreves for å takle tøffere, virkelige oppgaver med mer meningsfylte fordeler.
Til slutt vil OpenAI ta sittDota 2læring og utvide dem til nye domener utenfor spill og til slutt inn i den virkelige verden. For det formål jobber organisasjonen med å bruke forsterkningslæring og andre teknikker for å fange robothender med mer behendig, behendig og menneskelig bevegelse.
Det OpenAI prøver å gjøre er å bygge generell kunstig intelligens og å dele fordelene med verden og sørge for at den er trygg, sier Altman, og henviser til søken etter å bygge et multifunksjonelt AI-system som er i stand til å utføre en hvilken som helst oppgave et menneske kan. Var ikke her for å slå videospill, så morsomt som det er. Vi er her for å avdekke hemmeligheter langs stien til AGI.
Korrigering: En tidligere versjon av denne artikkelen sa at OpenAI-medstifter Sam Altman var organisasjonens styreleder. Han er faktisk administrerende direktør, mens CTO Greg Brockman er styreleder.
