DeepSeek R1 je jedan od najimpresivnijih open source modela, sa 671B parametara (37B aktivnih kroz MoE arhitekturu). Hostanje ovog modela na lokalnom hardveru je izazov, ali uz pravilnu optimizaciju sasvim izvodljivo.
Hardverski zahtjevi
DeepSeek R1 u punoj preciznosti (FP16) zahtijeva ~1.3TB GPU memorije, što podrazumijeva 8× NVIDIA H100 80GB ili 16× A100 80GB. Međutim, uz kvantizaciju na INT4, memorijski otisak pada na ~350GB, što je izvodljivo na 4× A100 80GB.
Benchmark performansi
DeepSeek R1 postiže izuzetne rezultate: AIME 2026 — 79.8%, MATH-500 — 97.3%, Codeforces — 96.3 percentil, SWE-bench — 71.2%. Ovi rezultati su uporedivi sa OpenAI o3 i Claude 4 Opus.
Optimizacija za produkciju
Za produkcijsku upotrebu preporučujemo: vLLM sa PagedAttention (smanjuje memorijsku fragmentaciju), continuous batching (povećava propusnost), FP8/INT4 kvantizaciju (smanjuje memorijske zahtjeve) i multi-node deployment za najveće modele.
Troškovi hostinga
On-premise hosting DeepSeek R1 zahtijeva značajnu početnu investiciju (50.000–150.000 KM za GPU servere), ali dugoročno je isplativiji od pretplatnih modela za veće organizacije sa 50+ korisnika.