Costurile inferenței inteligenței artificiale (AI) sunt puțin probabil să urmeze paradoxul lui Jevon, conform căruia o eficiență mai mare a resurselor duce la o cerere mai mare. Într-un raport recent, analistul Gartner contestă teoria, care – în contextul AI – ar reduce din ce în ce mai mult costurile tokenurilor, ceea ce ar duce la un consum mai mare de AI și la o economie îmbunătățită a industriei.
În raport, Gartner discută paradoxul în care o economie a tokenurilor mai eficientă duce la un consum mai mare de tokenuri și la implementarea de tokenuri cu costuri mai mari. Autorii raportului avertizează factorii de decizie IT că navigarea prin acest paradox și obținerea unui randament al investiției (ROI) vor necesita „o căutare neobosită a eficienței inferenței și a orchestrării optimizate a modelelor”.
Potrivit Gartner, valoarea tokenurilor este variabilă, iar generarea lor devine mai scumpă în funcție de complexitatea modelului. În raportul Inference Paradox, analiștii Gartner notează că, pe măsură ce fluxurile de lucru ale IA devin mai sofisticate, consumul de tokenuri crește exponențial.
Autorii raportului subliniază că întreprinderile care construiesc fluxuri de lucru în mai mulți pași, bazate pe agenți autonomi, vor trebui să ia în considerare necesitatea unui consum exponențial mai mare de tokenuri, adesea provenind de la modele relativ mai scumpe, ceea ce înseamnă, de asemenea, că acestea necesită mai multă memorie, raționament și validare. Din perspectiva managementului costurilor, analiza Gartner sugerează că utilizarea agenților AI avansați cu capacități de raționament este de 150 de ori mai scumpă de utilizat decât chatbot-urile AI de bază de dimensiuni similare pentru o singură sarcină.
Gartner a declarat că agenții AI trebuie să fie instruiți cu privire la modul de gândire și ce să facă dacă ceva nu merge bine, notând: „Trebuie să poată valida rezultatele lor pentru acuratețe fără a avea neapărat o ființă umană implicată. Trebuie să comunice cu alți agenți.
Modelarea noastră indică faptul că, utilizând calculul mainstream, costurile hardware pentru antrenarea unui model agentic de dimensiuni medii cu capacități avansate de raționament ar fi de 2,5 ori mai mari decât cele necesare pentru antrenarea unui chatbot simplu de aceeași dimensiune. Costurile de inferență pentru modelul agentic ar fi de aproximativ 5 ori mai mari. Atunci, modelul agentic ar avea nevoie, în medie, de 5 până la 30 de ori mai multe token-uri decât un chatbot pentru a rezolva o sarcină echivalentă.”
Potrivit Gartner, aceasta înseamnă că o sarcină care ar costa un chatbot simplu 0,01 USD ar putea costa un agent AI până la 1,50 USD.
Analizând diferite tipuri de sarcini agentice AI, Gartner a constatat că alegerea modelului are un impact semnificativ asupra costului pentru furnizorul sistemului AI. „Estimăm că costul furnizorului per token generat de modelele optimizate pentru «planificare și învățare» este în prezent de aproximativ 8 până la 10 ori mai mare decât cel al modelelor care sunt cele mai potrivite pentru «fluxuri de lucru liniare de bază»”, au declarat autorii raportului.
Will Sommer, analist director senior la Gartner, a declarat: „Fiecare generație succesivă de capabilități IA va necesita mai multe token-uri și adesea mai scumpe. Nu există un model fiabil și economic universal la orizont. Producerea de produse AI competitive va necesita dezvoltarea și menținerea unor ecosisteme complexe multimodel.”
Firma de analiză a îndemnat factorii de decizie din domeniul IT să evite utilizarea implicită a inteligenței autonome generice, despre care a avertizat că ar duce la costuri nelimitate cu ordine de mărime mai mari decât cele ale ecosistemelor de produse optimizate, unde persoanele responsabile de dezvoltarea capabilităților de inteligență artificială din organizația lor abordează stratificarea inferenței pentru a optimiza modelele de inteligență artificială în funcție de cazuri de utilizare specifice.
