Analiză OPTI: Costul LLM-ului poate fi doar o parte din factura unei aplicații AI în producție

Casa de software OPTI a comparat tarifele publice de AI din prima jumătate a anului 2026. În exemplele analizate, grounding-ul, retrieval-ul și indexarea pot depăși considerabil costul generării răspunsului. Companiile trebuie să bugeteze aplicațiile AI în funcție de rezultatul de business urmărit, nu doar în tokeni. România rămâne ultima în UE la adopția AI în companii, cu 5,2%.

România are cea mai redusă utilizare a tehnologiilor AI în companii din Uniunea Europeană, dar intră într-o etapă în care bugetarea unui proiect real trebuie să includă costuri mult superioare costului brut al modelului LLM. O analiză publicată de casa de software OPTI arată că, pentru aplicațiile AI în producție, retrieval-ul, grounding-ul, indexarea, instrumentele externe, guardrails, observabilitatea și retry-urile pot depăși considerabil costul modelului lingvistic, la care se pot adăuga și alte costuri de infrastructură cloud.

Potrivit Eurostat, 5,2% dintre întreprinderile din România cu minimum 10 angajați utilizau cel puțin o tehnologie AI în 2025, față de 20,0% media Uniunii Europene. România se afla la cel mai redus nivel din UE, sub Polonia (8,4%) și Bulgaria (8,5%).

Datele PwC România indică aceeași distanță între avansul tehnologiei și implementarea efectivă: 13% dintre companiile românești incluse în Cloud Business Survey aveau implementate instrumente AI/ML bazate pe cloud, iar aproximativ un sfert considerau că dispun de o arhitectură de date adecvată. Deși trei sferturi intenționau să crească bugetele de cloud, majoritatea o vor face cu mai puțin de 5% într-un an.

Costul LLM poate fi o mică parte din costul software-ului AI

Studiul OPTI analizează listele publice de prețuri ale celor trei hyperscaleri (Google Cloud, AWS și Azure) și exemplele de arhitectură AI publicate de ele. Ilustrativ:

• Un scenariu Google Gemini 2.5 Flash (2.000 de tokeni de intrare și 500 de tokeni de ieșire) are un cost al tokenilor de aproximativ 0,00185 USD. După depășirea cotei gratuite, grounding-ul pentru aceeași familie de servicii poate costa aproximativ 0,035 USD per grounded prompt: aproape de 19 ori mai mult decât procesarea tokenilor.

• Într-un exemplu public AWS pentru o bază de cunoștințe de 50 GB și 100.000 de căutări pe lună, retrieval-ul standard totalizează 350 USD/lună, iar varianta agentic retrieval ajunge la 850 USD/lună, înainte de apelarea modelului care produce răspunsul final.

„Prețul per token contează, dar contează puțin pentru o decizie de adoptare AI în business. În producție trebuie urmărit costul per comandă procesată, document validat sau incident rezolvat. Când optimizăm costul AI, ne uităm la câte căutări în baze de date (grounding/retrieval) sunt necesare, câte instrumente se apelează sau de câte ori trebuie repetat un flux agentic pentru a funcționa conform specificațiilor.” Marian Călborean, Managing Partner OPTI Software

Modelele reprezintă o parte mică din cheltuielile AI globale

Discrepanța de cost între LLM și arhitectura AI este vizibilă și la nivel global. În mai 2026, Gartner estimează cheltuieli asociate AI de 2,596 trilioane USD în 2026, în creștere cu 47% față de 2025. În taxonomia Gartner, infrastructura AI reprezintă 1,432 trilioane USD (55,1%), serviciile 585,5 miliarde USD (22,6%), software-ul 453,2 miliarde USD (17,5%), în timp ce categoria ”AI Models” însumează 32,6 miliarde USD (1,3%). 

Așadar, doar 1,3% din cheltuielile asociate AI sunt în categoria ”AI Models” potrivit Gartner. Structura de cost nu poate fi transpusă direct în bugetul unei companii medii, dar ilustrează cât de important este ecosistemul IT din jurul LLM. 

În același timp, Synergy Research Group estimează că piața globală de servicii cloud de infrastructură a crescut cu 43% în trimestrul al doilea din 2026, dar serviciile cloud dedicate AI generativ (LLM) au crescut cu 165%. O explicație este că adoptarea AI la nivel global pune presiune pe infrastructura existentă, companiile achiziționând servicii cloud dedicate, ceea ce duce la ritmul de creștere accelerat din studiu. 

Cum pot bugeta companiile AI în toamna 2026

OPTI Software recomandă companiilor care bugetează AI:

• Să calculeze costul pe rezultat de business, nu doar pe milion de tokeni consumați. De exemplu costul per comandă procesată, document validat sau incident rezolvat.

• Să separe costul modelului LLM de facilități folosite ca retrieval, index, grounding, tool calls, guardrails, observabilitate și retry-uri. Să economisească apelurile LLM prin routing între modele compacte și modele premium, în funcție de complexitatea sarcinii și prin caching al apelurilor. 

• Să trateze datele proprii și integrarea cu ERP/CRM a tehnologiilor AI ca parte din bugetul proiectului, costuri considerabile fiind asociate cu accesul la date și cloud. 

Despre analiza OPTI și programul AI în B2B 2026

Analiza ”Costurile AI în prima jumătate din 2026: Google Cloud, AWS și Azure. Nu doar LLM-uri!” continuă seria de cercetare ”Arhitectura AI în B2B 2026”, lansată de OPTI în decembrie 2025, dedicată implementării AI în producție, distribuție și vânzări B2B.

Seria de cercetare OPTI a fost distinsă cu premiul ANIS în aprilie 2026 pentru Best R&D Program of the Year și este disponibilă public la adresa www.opti.ro/ai-2026/ 

Despre OPTI Software

Fondată în 2005, OPTI Software este o casă de software din București specializată în soluții pentru distribuitorii și producătorii din România. Compania este Google Cloud Partner, HubSpot Solution Partner și deține certificări ISO 9001 și ISO 27001.

Surse:

Notă: 

Prețurile cloud din analiza OPTI au fost verificate la 7 august 2026 și pot fi modificate de furnizori. Exemplele sunt scenarii ilustrative bazate pe tarife publice și nu reprezintă oferte comerciale, pot să nu aibă capabilități perfect echivalente iar valorile sunt exprimate fără taxe, discounturi negociate sau conversie valutară.