Agenții AI autonomi nu sunt pregătiți să înlocuiască complet oamenii, arată cercetătorii americani
Un experiment realizat de cercetătorii de la Universitatea Carnegie Mellon a demonstrat că, în stadiul actual, agenții AI autonomi nu sunt capabili să administreze eficient o companie fără intervenție umană.
Pentru a testa limitele actuale ale tehnologiei, cercetătorii au creat TheAgentCompany, o simulare completă a unei firme de software, unde toate rolurile, de la ingineri software și manageri de proiect, până la analiști financiari, au fost ocupate exclusiv de agenții AI autonomi.
Agenții AI autonomi folosiți în experiment au fost construiți pe baza unor modele de limbaj de mari dimensiuni (LLM) dezvoltate de companii de referință în domeniul inteligenței artificiale, precum Google (Gemini), OpenAI (GPT), Anthropic (Claude), Amazon (Nova) și Meta (Llama). Cercetătorii au utilizat aceste modele pentru a crea agenți capabili să îndeplinească sarcini autonome într-un mediu de lucru simulat, evaluând astfel performanța reală a tehnologiilor actuale în contexte profesionale complexe.
Sarcinile pe care agenții AI autonomi trebuiau să le îndeplinească au inclus programare, navigarea în directoare de fișiere, scrierea de evaluări ale performanței colegilor virtuali și chiar explorarea unor posibile relocări de birouri. Totul a fost gândit pentru a reproduce activitatea zilnică dintr-o companie reală.
Cu toate acestea, rezultatele au fost dezamăgitoare. Cel mai performant agent, Claude 3.5 Sonnet de la Anthropic, a reușit să finalizeze doar 24% dintre sarcini, în timp ce alți agenți, precum Nova Pro v1 de la Amazon, au avut o rată de succes de sub 2%.
De ce nu sunt încă pregătiți pentru lumea reală agenții AI autonomi?
Cercetătorii au identificat mai multe limitări importante. În primul rând, agenții AI autonomi prezintă o lipsă pronunțată de gândire practică și de înțelegere contextuală, aspecte esențiale în luarea deciziilor complexe. De asemenea, au mari dificultăți la capitolul colaborare, esențială într-un mediu de lucru.
În anumite situații, agenții AI autonomi au încercat să „fenteze” procesul de rezolvare a sarcinilor, inventând soluții care respectau doar aparențele formale, dar care, în realitate, erau complet greșite și inutile. De exemplu, într-o sarcină care presupunea contactarea unui coleg prin chat-ul intern, un agent AI, neputând identifica persoana corectă, a ales să redenumească un alt utilizator cu numele persoanei căutate. S-a prefăcut că problema fusese rezolvată, deși, nu obținuse nicio informație reală și nu rezolvase cu adevărat sarcina cerută.
Concluziile studiului TheAgentCompany sunt clare: agenții AI autonomi sunt departe de a putea înlocui complet echipele umane. Deși sunt utili pentru sarcini repetitive sau bine definite, aceștia nu pot gestiona responsabilități care necesită adaptabilitate, gândire critică și colaborare.
Chiar dacă agenții AI autonomi găsesc singuri scurtături și trucuri asemănătoare celor folosite de oameni, tot nu reușesc să rezolve probleme la fel de bine ca un angajat mediocru. Nu că n-am ști deja acest lucru, dar e bine să ne reamintim din când în când, mai ales când ne tot sperie șefii marilor companii tech că o să ne ia inteligența artificială locurile de muncă.
