Mistral Large 2 (123B parametara) je vodeći evropski open source AI model, razvijen od strane francuske kompanije Mistral AI. Sa performansama koje konkuriraju GPT-4 i potpunom GDPR usklađenošću, predstavlja idealan izbor za evropske kompanije.
Performanse
Na MMLU benchmarku Mistral Large 2 postiže 87.5%, na HellaSwag 89.2%, a na GSM8K (matematički zadaci) 92.3%. U programerskim zadacima (HumanEval) postiže 81.2%, što ga čini konkurentnim GPT-4 i Claude 3 Opus.
GDPR usklađenost
Mistral AI je evropska kompanija, što znači da svi podaci ostaju unutar EU. Ovo je ključna prednost za firme koje posluju sa osjetljivim podacima i moraju biti u skladu sa GDPR regulativom. Hostanje na vlastitom hardveru dodatno osigurava potpunu privatnost.
Višejezična podrška
Mistral Large 2 nudi odličnu podršku za engleski, francuski, njemački, italijanski, španski i portugalski. Iako je podrška za bosanski/hrvatski/srpski ograničena u odnosu na engleski, model se može fine-tunovati za specifične jezike.
Hosting i troškovi
Mistral Large 2 (123B) zahtijeva 2–4× NVIDIA A100 80GB za inference. Uz INT4 kvantizaciju može se hostati na 1–2 GPU-a. BIXIE nudi implementaciju i održavanje Mistral modela na vašem hardveru.