U proteklih godinu dana, primjetan je značajan trend prelaska firmi sa pretplatnih AI modela (ChatGPT Enterprise, Claude Team) na open source alternative hostane na vlastitoj infrastrukturi. Šta stoji iza ovog trenda?
Troškovna analiza
Firma sa 100 zaposlenih koja koristi ChatGPT Enterprise plaća ~$200/mj po korisniku ili $240.000 godišnje. Za isti iznos može kupiti GPU server (2× NVIDIA H100) koji će trajati 3–5 godina i hostati Llama 4 ili Mistral Large za sve zaposlene bez ikakvih dodatnih troškova po korisniku.
Privatnost podataka
Možda i najvažniji razlog. Finansijske institucije, pravne firme i zdravstvene ustanove ne mogu slati osjetljive podatke na servere u SAD ili Kinu. On-premise hosting je jedini način da se osigura potpuna privatnost i compliance sa regulativama poput GDPR-a.
Kvalitet open source modela
Sa izlaskom DeepSeek R1, Llama 4 i Mistral Large 2, open source modeli su dostigli nivo performansi koji je prije dvije godine bio rezervisan isključivo za zatvorene modele. Na većini benchmarkova, vodeći open source modeli su u roku od 5% performansi najboljih zatvorenih modela.
Nezavisnost i fleksibilnost
Open source modeli nude potpunu fleksibilnost — možete ih fine-tunovati na svojim podacima, mijenjati model kad god želite i prilagođavati ih specifičnim potrebama. Bez ugovornih ograničenja i bez rizika od naglog povećanja cijena.