Modele open-weights 2026: Llama 4, DeepSeek V4, Qwen, Kimi, Mistral — co postawić na własnym serwerze
Damian GębalaAutorJeśli dziś myślisz o postawieniu modelu językowego na własnym serwerze, w 2026 rób to wąsko: Ministral 3 8B albo Qwen3 na karcie z 24 GB pamięci wideo wystarczą do większości firmowych zadań. Llama 4 Scout sprawdza się, gdy potrzebujesz pracy ze zdjęciami i bardzo długiego kontekstu. DeepSeek V4 Pro i Kimi K3 to inna kategoria - ich nie postawisz na jednej karcie, a wagi Kimi K3 w chwili pisania tego tekstu nie są jeszcze dostępne do pobrania.
Czym jest open-weights i dlaczego to nie to samo co open-source
Open-weights oznacza tylko jedno: producent udostępnia pliki z wagami modelu, czyli liczby, które wytrenował. Możesz je ściągnąć, uruchomić na swoim sprzęcie i dalej dostrajać. Konta u producenta nie potrzebujesz, a model fizycznie zostaje u Ciebie.
To mniej niż open-source. Kod treningowy i dane, na których model powstał, zwykle pozostają zamknięte. Jedno z moich źródeł odnotowuje to wprost: open-weight nie jest tym samym co open-source, bo dane treningowe nie muszą być w pełni upublicznione. Legalnie nie przeszkadza, ale warto wiedzieć, zanim opiszesz to w dokumentacji zakupowej.
Co mieści się w karcie graficznej, a co już nie
Pierwsze pytanie nie brzmi „który model jest najlepszy”, tylko „ile mam pamięci wideo”. Progi poniżej zebrałem z jednego przeglądu sprzętu opublikowanego w maju 2026.
| Klasa | Sprzęt | Pamięć i przepustowość | Co realnie chowa się w środku |
|---|---|---|---|
| Hobby | RTX 4090 | 24 GB GDDR6X, 1,0 TB/s | 13B FP16, 32B Q4 |
| Stacja robocza | RTX 5090 | 32 GB GDDR7, 1,79 TB/s | 32B FP16, 70B Q4 |
| Stacja (dużo RAM) | Mac Studio M3 Ultra | do 512 GB zunifikowanej, 800 GB/s | 70B FP16, ponad 120B Q4 MoE |
| Serwer | H100 SXM | 80 GB HBM3, 3,35 TB/s | 70B FP8, ponad 100B MoE Q4 |
| Serwer | H200 SXM | 141 GB HBM3e, 4,8 TB/s | DeepSeek V4 Flash FP4+FP8 (2×) |
| Frontier | B200 | 192 GB HBM3e, 8,0 TB/s | DeepSeek V4 w FP4 |
Kwantyzacja, czyli ściśnięcie wag, decyduje o tym, ile model waży. Cena jakości jest niewielka, jeśli dobierzesz format do zastosowania.
| Format | Bity na wagę | Jakość wobec BF16 | Do czego |
|---|---|---|---|
| BF16 / FP16 | 16 | 100% (referencja) | trening, drogie serwery |
| FP8 | 8 | 98-99,5% | Hopper, Blackwell - produkcyjny standard |
| GGUF Q4_K_M | ok. 4,5 | ok. 94% | llama.cpp, Ollama, LM Studio |
| AWQ-INT4 (Marlin) | 4 | ok. 95% | karty konsumenckie, praca z kodem |
| NVFP4 / MXFP4 | 4 | 96-98% (zależnie od modelu) | B200, optymalizacja kosztu |
Praktyczna zasada z tego samego źródła: dla modelu 70B FP16 to ok. 140 GB pamięci plus cache, FP8 ok. 70 GB, a Q4 ok. 35-40 GB. W Q4 taki model mieści się na jednej karcie H100 80 GB albo na dwóch RTX 5090 połączonych równolegle.
Ile pamięci chce każdy z modeli 2026
Llama 4 Scout - 17 mld parametrów aktywnych, 109 mld łącznie, architektura MoE (tylko część ekspertów pracuje na każdym tokenie), 16 ekspertów. Wagi wychodzą w BF16, ale zmieszczą się na jednej karcie H100 po kwantyzacji int4 w locie. Karta liczy 10 milionów tokenów kontekstu, choć praktycznie pracujesz na 1-2 milionach. Maverick ma 17 mld aktywnych i 400 mld łącznie przy 128 ekspertach; w FP8 mieści się na jednym hoście H100 DGX.
DeepSeek V4 Flash - ok. 158 GB VRAM przy mieszanej precyzji FP4+FP8. Wchodzi na jedną kartę H200 (141 GB), ale to opisane jako „ciasno, ale wykonalne”. Dwie H200 (282 GB łącznie) to konfiguracja produkcyjna z zapasem na cache przy kontekście 256K. Flash daje ok. 80% jakości pełnego V4 przy ok. 25% pamięci.
DeepSeek V4 Pro - 1,6 bln parametrów, 49 mld aktywnych. Przy obsłudze w BF16 wymaga klastra GPU, a nie jednej maszyny. Liczb VRAM dla FP8 i niższych precyzji nie udało mi się w żadnym źródle znaleźć.
Qwen3-235B-A22B-Instruct - 235 mld parametrów, 22 mld aktywnych, 128 ekspertów z czego 8 pracuje jednocześnie. Karta modelu podaje kontekst 262 144 tokeny natywnie, rozszerzalny do 1 010 000. Do obsługi milionowego kontekstu potrzeba ok. 1000 GB pamięci GPU łącznie - wag, cache i aktywacji. To już temat dla klastra, nie dla karty.
Mistral Large 3 - 675 mld parametrów, 41 mld aktywnych. Wersja NVFP4 rusza na węźle 8×A100 albo 8×H100 w stosie vLLM. Mniejsza seria Ministral 3 występuje w wariantach 3B, 8B i 14B, każdy bazowy, instrukcyjny i rozumujący, z obsługą obrazów.
Kimi K3 - 2,8 bln parametrów, największy model z otwartymi wagami w tym zestawieniu. Rekomendacja producenta to co najmniej 64 akceleratory w superwęźle, a wagi w chwili pisania nie były jeszcze do pobrania.
Ile kosztuje GPU w chmurze
Ceny za godzinę u jednego operatora (RunPod, cennik z 27 września 2026, pods). Kolumnę miesięczną policzyłem dla pracy non-stop: stawka godzinowa razy 24 razy 30 dni.
| Karta | VRAM | Za godzinę | Miesięcznie non-stop |
|---|---|---|---|
| RTX A5000 | 24 GB | $0,27 | $194,40 |
| RTX 3090 | 24 GB | $0,50 | $360,00 |
| RTX 4090 | 24 GB | $0,74 | $532,80 |
| RTX 5090 | 32 GB | $0,99 | $712,80 |
| A100 80 GB | 80 GB | $1,59 | $1 144,80 |
| H100 PCIe | 80 GB | $2,89 | $2 080,80 |
| H100 SXM | 80 GB | $3,49 | $2 512,80 |
| H200 | 141 GB | $4,59 | $3 304,80 |
| B200 | 180 GB | $6,79 | $4 888,80 |
W tym samym cenniku, ale w wariancie bez dysków i maszyn wirtualnych, kwoty są wyższe: H200 $5,93 za godzinę, B200 $8,64, RTX 4090 $1,10. Osobna oferta u OVHcloud (strona amerykańska) podaje L40S od $1,80 i L4 od $1,00, gdzie u RunPoda te same karty to $1,09 i $0,49. Dwa niezależne cenniki różnią się ponad dwukrotnie na tych samych kartach.
To nie jest jedna cena, którą da się podać w artykule. Autorzy przeglądu sprzętu, z którego wziąłem tabelę wyżej, sami ostrzegają, że ceny spot zmieniają się o 30-50% tydzień do tygodnia i że kilku operatorów przejmuje liderstwo na różnych pozycjach. Zanim podejmiesz decyzję, policz dwóch dostawców.
Ile kosztuje milion tokenów w API
Jeżeli nie budujesz własnego serwera, liczy się inna waluta - cena za milion tokenów wyjściowych u operatora, który hostuje model za Ciebie.
| Model | Operatorzy i cena za 1 mln tokenów wyjściowych |
|---|---|
| DeepSeek V4 Flash | DeepInfra $0,18 · Novita $0,28 |
| Llama 4 Scout | Nscale $0,29 · DeepInfra $0,30 · Groq $0,34 · Novita $0,59 |
| Qwen3-235B-A22B | DeepInfra $0,55 · Novita $0,58 · Nscale $0,60 · Scaleway $2,565 |
| DeepSeek V4 Pro | DeepInfra $2,60 · Novita $3,20 · Together $3,48 · Baseten $3,48 |
| Mistral Large 3 | $0,50 wejście · $1,50 wyjście |
| Ministral 3 8B | $0,15 wejście · $0,15 wyjście |
Kontekst dla tych liczb: DeepSeek w klasycznej wersji kosztował ok. $0,14 za milion tokenów, a ten sam sprzęt w domu ok. $0,15 kosztem prądu. To dobrze opisuje sytuację - przy tanim API własny serwer nie oszczędza na tokenach, bo prąd wyjdzie drożej niż API.
Jeśli dopisujesz argument o danych wrażliwych, ten wątek rozwinąłem szerzej w tekście o prywatności i oszczędności przy własnym modelu.
Ile kosztuje własny sprzęt
To trzecia, zupełnie osobna kalkulacja - koszt jednorazowy, a nie stawka za godzinę.
- Dwie używane RTX 3090 (48 GB łącznie) - ok. $1400 łącznie.
- Jedna RTX 4090 24 GB - ok. €1800 jednorazowo plus ok. €10 miesięcznie prądu.
- Mac Studio M3 Ultra z 512 GB pamięci - ok. $10 000 kapitału; w cennikach wynajmu GPU nie występuje, bo liczy się inaczej.
- Wynajem stały u niemieckiego operatora: RTX 4080 z 24 GB za ok. €159 miesięcznie.
Porównanie z chmurą jest najprostsze przy karcie konsumenckiej: RTX 4090 w RunPodzie to $532,80 miesięcznie przy pracy non-stop, więc karta za €1800 zwraca się w kilka miesięcy. Jeśli pracuje dwie godziny dziennie, wychodzi około $44 miesięcznie i zwrot liczyłbym latami.
Nie znalazłem w źródłach zużycia energii dla konkretnych kart w watach ani stawek za kWh dla 2026 roku. Tej liczby nie podaję, bo wymyśliłbym ją.
Kiedy self-hosting się nie opłaca
Najuczciwsza rzecz, jaką mogę powiedzieć o progu opłacalności: źródła się nie zgadzają i to jest istotna informacja, a nie brak danych.
W jednym miejscu ten sam materiał podaje punkt zwrotu wobec API klasy premium około 11 miliardów tokenów miesięcznie. W innym - 2-5 milionów tokenów dziennie na rezerwowanym sprzęcie w perspektywie 12 miesięcy. W trzecim: poniżej 50 milionów tokenów miesięcznie API wygrywa zdecydowanie, a przy porównaniu z tańszymi modelami chmurowymi granica przesuwa się do 200 milionów dziennie.
Różnią się dziesięciokrotnie, bo porównują różne rzeczy: raz ceny GPT-4.1 i Claude 4, raz tańszych modeli chmurowych. Wniosek jest wspólny: przy kilku milionach tokenów miesięcznie nie ma sensu budować własnej infrastruktury po to, by zaoszczędzić na tokenach. Powód ma być inny - dane, niezależność od dostawcy, lokalna sieć.
Ten ostatni argument też ma twardą liczbę. Na typowej sieci lokalnej 2,5 GbE odpowiedź modelu wraca w 30-60 milisekund. Przez internet do centrum danych za granicą to 250-800 milisekund, na telefonie w sieci 4G nawet 1,2-1,5 sekundy. Dla asystenta używanego kilkadziesiąt razy dziennie różnica jest zauważalna.
Licencje: Llama jest inna niż reszta
Qwen3 i cała seria Mistral są na Apache 2.0. Licencja pozioma: możesz używać komercyjnie, modyfikować i niczego dopisywać. DeepSeek V4 Pro opisuje operator hostujący jako MIT, choć pełnego tekstu licencji nie udało się weryfikować w karcie modelu. Kimi K3 miało zmodyfikowane MIT z warunkiem aktywującym się powyżej 100 milionów aktywnych użytkowników miesięcznie - dla firmy nieistotnym.
Llama 4 jest inna. Licencja społecznościowa daje prawo do używania i modyfikowania wag, ale dokłada trzy rzeczy. Jeśli udostępniasz aplikację z modelem, musisz pokazać napis „Built with Llama”; jeśli na bazie Llamy wytrenujesz inny model i go opublikujesz, nazwa ma zaczynać się od „Llama”. Przy ponad 700 milionach aktywnych użytkowników miesięcznie musisz wystąpić do Meta o osobną licencję, a Meta może jej nie udzielić. Wreszcie model dostajesz bez jakiejkolwiek gwarancji jakości, a spory rozstrzyga prawo Kalifornii.
Przy 700 milionach aktywnych użytkowników ten próg nie dotyczy małych firm. Obowiązek oznaczenia napisu jest realny i łatwo o nim zapomnieć, gdy wdrażasz narzędzie dla klienta.
Chińskie modele i regulacje - oraz RODO
Jeśli wybierasz DeepSeek, Qwen albo Kimi, warto wiedzieć o jednej rzeczy politycznej. W kwietniu 2026 roku amerykański Komitet do spraw Bezpieczeństwa Wewnętrznego wspólnie z Komitetem ds. Komunistycznej Partii Chin otworzył śledztwo dotyczące używania chińskich modeli, wysyłając pisma między innymi do Cursor i Airbnb, a do lipca podobne zapytanie otrzymał DoorDash. Do tego resort stanu wydał formalne ostrzeżenie. Nie blokuje to legalnego użycia w Unii Europejskiej, ale przy klientach amerykańskich pytanie „dlaczego akurat ten model” padnie.
Po stronie europejskiej sytuacja wygląda odwrotnie i to mocny argument za własnym serwerem. Gdy model działa u Ciebie, to Ty jesteś jedynym administratorem danych - nie ma przesyłania danych do kraju trzeciego ani dodatkowej umowy powierzenia z operatorem chmury.
Czego dziś nie da się powiedzieć uczciwie
Przeszedłem przez czternaście źródeł i nie znalazłem jednej liczby: tokens na sekundę dla Llama 4, DeepSeek V4, Qwen3, Kimi czy Mistral 3 uruchomionych na własnym GPU. Wszystkie twarde pomiary w tych materiałach dotyczą modeli starszych o rok lub dwa na karcie RTX 4090 albo agregatów silników na H100, nie konkretnych modeli 2026.
Nie kupuj więc na podstawie obcych benchmarków. Wydaj kilkadziesiąt złotych na godzinę wynajmu, odpal vLLM z modelem w FP8 i zmierz sam. Jedna godzina na węźle 8× H100 kosztuje mniej niż 30 USD.
Druga sprawa dotyczy liczb, które świetnie wyglądają w komunikatach producentów. DeepSeek podaje 80,6% w SWE-bench Verified, niezależny pomiar podaje 74,0% - różnica 6,6 punktu procentowego. W indeksie inteligencji Artificial Analysis ten sam model dostaje 52 punkty w jednym rankingu i 44 w drugim. Przy wdrożeniu produkcyjnym liczy się pomiar niezależny.
I jedno ostrzeżenie, bo to realne ryzyko: DeepSeek V4 Pro ma 94% wskaźnik halucynacji w teście AA-Omniscience, czyli odpowiada niemal zawsze, niezależnie od tego, czy zna odpowiedź. Dla procesu, w którym model ma prawo powiedzieć „nie wiem”, to nie jest model, którego użyjesz bez dodatkowej warstwy kontroli.
Od czego zacząć, nie kupując GPU
- Wybierz jedno zadanie, które dziś zajmuje Ci godziny tygodniowo. Nie całą firmę - jedno.
- Sprawdź, ile tokenów realnie zużywasz. Przy kilku milionach miesięcznie odpowiedź brzmi: zostaw API.
- Jeśli zużycie rośnie albo dane nie mogą opuszczać Twojej infrastruktury, wynajmij jedną kartę na godzinę i zmierz własne liczby.
- Dopiero potem kupuj sprzęt - i licz go jako jednorazowy koszt z amortyzacją, nie jako oszczędność na tokenach.
Jeśli potrzebujesz pełnego obrazu wdrożenia, zacznij od przewodnika po kolejności wdrożeń AI w firmie i od realnego kosztu AI przy dziesięciu stanowiskach.
Napisz do mnie i powiedz, które zadanie u Ciebie zajmuje najwięcej czasu - odpowiem, czy da się je zamknąć małym modelem na jednej karcie, czy lepiej zostać przy API.