Az Neumann Társaság blogja a legfejlettebb infokom technológiákról

Jelenből a Jövőbe

Jelenből a Jövőbe

A nagy nyelvmodellek vezetnek az általános mesterséges intelligenciához?

2023. február 06. - ferenck

A nagy nyelvmodellek (large language models, LLM), például a ChatGPT utóbbi időkben elért látványos sikerei régi vitát élesztettek fel az MI-fejlesztő közösségben: milyen fajta információ kell a tanulóalgoritmusoknak az intelligenciához?

Az emberi tapasztalat zöme, mint az étel íze, a napfelkelte szépsége vagy az érintés független a nyelvtől. Az LLM-ek viszont ékesen példázzák, hogy az emberi tapasztalat nagy részét az embernél jóval több nyelv „fogyasztásával” mégis képesek utánozni.

ai_language.JPG

Az LLM-ek előtt az MI-közösség a szövegeket korlátozott információforrásnak tartotta az általános MI-hez (artificial general intelligence, AGI) vezető úton – magyarázza Andrew Ng gépitanulás-szakértő. Az állatok nyelvhasználat nélkül váltak intelligenssé, az intelligencia pedig a világ látvány, hangok és más érzékszervi élmények általi észlelését jelenti, amelyek alapján tudjuk, hogyan mozogjunk a testünkkel, általában értjük a fizikát, azaz miként szedjük le a gyümölcsöt a fáról, találjunk szállást, párt. Az írás csak 5500, a beszélt nyelv 100 ezer éves, az emlősök viszont 200 ezer éve vannak itt.

Ha az MI-fejlődés az evolúciót követi, előbb rovar-, aztán egér-, macska-, főemlős-, végül emberszintű gépi intelligenciát kell építenünk, és a nyelv előtt olyan képességekre összpontosítunk, mint a látás és a pszichomotorikus adottságok.

Az LLM-ek viszont azt vetítik előre, hogy ha gigantikus mennyiségben hozzáférnek a nyelvhez, az információforrás korlátai, de legalábbis a korlátok jelentős része megszűnik. Ha egy ember 7/24, percenkénti 250 szó tempóban olvas, akkor évi 131.400.000 szóig jut el (ami ugye lehetetlen, mert aludni, enni, inni stb. is szoktunk). A GPT-3-at viszont 500 millió szón trenírozták, egy személynek több élet kellene ennyihez.

A weben lévő szövegek összessége embermilliárdok munkája, az LLM-ek pedig ezeken a szövegeken ismernek meg valamit a mi tapasztalatainkból. Hiába nem látott még egy modell napfelkeltét, annyit olvasott róla, hogy meggyőzően le tudja írni.

És a nyelv hiába csak kis része az emberi tapasztalatnak, az LLM-ek rengeteget megtanulnak rajta keresztül a világról, azaz az „intelligenciaépítés” több útja lehetséges, és gépi rendszerek esetében talán nem az evolúció vagy a gyerekeké a leghatékonyabb.

Ha csak szövegeken keresztül látjuk a világot, szegényebb a valóságélményünk. Viszont a csak szövegalapú mesterségesintelligencia-fejlesztés már messzire eljutott, és Ng szerint a következő években nagyon látványos fejlődésnek leszünk a tanúi ezen a területen.

A bejegyzés trackback címe:

https://jelenbolajovobe.blog.hu/api/trackback/id/tr5518041250
süti beállítások módosítása