Postavljanje on-premise AI servera zvuči kompleksno, ali uz pravi pristup može se realizovati za nekoliko dana. U ovom vodiču prolazimo kroz sve korake — od izbora hardvera do pokretanja prvog modela.
Korak 1: Izbor hardvera
Prvi i najvažniji korak je odabir odgovarajućeg hardvera. Ključne komponente su: GPU (NVIDIA A100, H100, L40S ili AMD MI300X), RAM (minimalno 64GB, preporučljivo 256GB+), storage (NVMe SSD, minimalno 2TB) i networking (25GbE+ za multi-node setup).
Za manje modele poput Phi-4 (14B) dovoljan je jedan NVIDIA RTX 4090 ili A5000. Za Llama 4 Maverick potrebna su 2–4 A100 80GB. Za DeepSeek R1 (671B) preporučuje se 8× A100 80GB uz kvantizaciju.
Korak 2: Instalacija OS-a i drajvera
Preporučujemo Ubuntu 24.04 LTS sa NVIDIA drajverima (550+) i CUDA 12.4+. Instalacija uključuje: NVIDIA drajvere, CUDA toolkit, cuDNN, Docker i NVIDIA Container Toolkit.
Korak 3: Izbor inference enginea
Postoji nekoliko popularnih inference enginea: vLLM (najbolji za produkciju, podržava PagedAttention i continuous batching), llama.cpp (optimizovan za CPU i Apple Silicon, podržava sve vrste kvantizacije), Ollama (jednostavan za početnike, odličan za testiranje) i TensorRT-LLM (NVIDIA-optimizovan, najbolje performanse na NVIDIA hardveru).
Korak 4: Deployment modela
Nakon instalacije enginea, slijedi download modela (iz Hugging Face, ModelScope ili direktno od provajdera) i pokretanje inference servera. Preporučujemo postavljanje API gatewaya (npr. Kong ili Envoy) za load balancing i monitoring.
Korak 5: Integracija i monitoring
Posljednji korak je povezivanje modela sa vašim aplikacijama putem OpenAI-kompatibilnog API-ja i postavljanje monitoringa (Prometheus + Grafana) za praćenje performansi i potrošnje resursa.
Kako BIXIE može pomoći?
BIXIE projektuje i implementira kompletnu on-premise AI infrastrukturu. Od izbora hardvera do produkcijskog deploymenta, uz garanciju performansi i kontinuiranu podršku.