Szkolenia AI dla firm Warsztaty na zadaniach Twojego zespołu: online 4–8 h albo stacjonarnie w całej Polsce Zobacz program →

VRAM: co to jest i ile pamięci karty potrzeba do lokalnego AI

VRAM po ludzku: ile pamięci karty potrzebuje model 8B, 14B, 32B i 70B, wzór na kontekst, karty 8–32 GB, Mac i co zrobić, gdy brakuje.

11 listopada 2026 · Adam Bakalarz
Ilustracja: karta graficzna z pamięcią przedstawioną jako napełniane miarki

W skrócie

  • VRAM to pamięć karty graficznej: model AI, który się w niej mieści, odpowiada co najmniej 10 razy szybciej niż z RAM (twórcy Bielika podają ok. 50 wobec 1–5 tokenów na sekundę).
  • Orientacyjnie w 4 bitach z kontekstem 8 tys. tokenów: model 8B potrzebuje ok. 7–8 GB, 14B ok. 12 GB, 32B ok. 24 GB, a 70B ok. 47 GB.
  • Policzmy to: Qwen3 8B zajmie ok. 6,8 GB przy 4 tys. tokenów rozmowy, ale ok. 11 GB przy 32 tys., bo sam kontekst rośnie wtedy z 0,6 do 4,8 GB.

Stan na 11 listopada 2026

Co to jest VRAM i czym różni się od RAM?

VRAM to pamięć wbudowana w kartę graficzną. Przy lokalnej AI to ona decyduje, jaki model uruchomisz i jak szybko będzie odpowiadał: model, który mieści się w VRAM, według danych twórców Bielika odpowiada 10–50 razy szybciej niż ten sam model w zwykłym RAM.

Definicja

VRAM (ang. video random-access memory) to pamięć karty graficznej. Kiedyś przechowywała głównie obraz wysyłany na monitor, dziś także dane do obliczeń, w tym wagi modeli AI. W kartach do komputerów stacjonarnych to zwykle pamięć typu GDDR6 lub GDDR7, a w części kart do centrów danych HBM.

RAM to pamięć operacyjna całego komputera, z której korzysta procesor i wszystkie otwarte programy. VRAM ma do dyspozycji tylko karta graficzna, ale jest znacznie szybsza. Przykład z kart NVIDII: RTX 5060 ma 8 GB pamięci GDDR7 o przepustowości 448 GB/s, a RTX 5090 32 GB o przepustowości 1 792 GB/s. Dwa moduły zwykłej pamięci DDR5-5600 dają w teorii ok. 90 GB/s (5 600 mln transferów × 8 bajtów × 2 kanały).

Twórcy Bielika podają, że model w pamięci karty generuje ok. 50 tokenów na sekundę, a z RAM ok. 1–5. Ogólne zasady działania modeli językowych i różnicę między modelami otwartymi a zamkniętymi wyjaśniamy w przewodniku po dużych modelach językowych (LLM).

Dla dociekliwych. Przy pisaniu odpowiedzi model przy każdym kolejnym tokenie odczytuje z pamięci wszystkie swoje wagi. NVIDIA opisuje ten etap jako ograniczony przepustowością pamięci, a nie mocą obliczeniową. Stąd prosty szacunek górnej granicy: przepustowość podzielona przez rozmiar modelu. Model w pliku 5,2 GB na karcie z 448 GB/s nie przekroczy ok. 86 tokenów na sekundę, a w pamięci DDR5 z 90 GB/s ok. 17. W praktyce wynik jest niższy.

Ile VRAM potrzebuje model AI? Tabela dla modeli 8B–70B

Model 7–8 mld parametrów w wersji 4-bitowej zmieści się na karcie z 8 GB, model 14B potrzebuje 12–16 GB, 32B karty z 24–32 GB, a 70B co najmniej 48 GB. Te liczby są orientacyjne: obejmują plik modelu, pamięć na rozmowę o długości 8 tys. tokenów i 1 GB zapasu.

WielkośćPrzykład (Ollama)Plik 4-bit (Q4_K_M)Plik 8-bit (Q8_0)Kontekst 8 tys. tokenówRazem 4-bit / 8-bitKarta na start (4-bit)
7–8BLlama 3.1 8B4,9 GB8,5 GB1,1 GBok. 7,0 / 10,6 GB8 GB (na styk), 12 GB z zapasem
7–8BQwen3 8B5,2 GB8,9 GB1,2 GBok. 7,4 / 11,1 GB8 GB (na styk), 12 GB z zapasem
14BQwen3 14B9,3 GB16 GB1,3 GBok. 11,6 / 18,3 GB12 GB (na styk), 16 GB z zapasem
27–32BQwen3 32B20 GB35 GB2,1 GBok. 23,1 / 38,1 GB24 GB (na styk), 32 GB z zapasem
70BLlama 3.3 70B43 GB75 GB2,7 GBok. 46,7 / 78,7 GBdwie karty po 24 GB, Mac z 64 GB albo karta 96 GB

Rozmiary plików pochodzą z biblioteki Ollamy (stan na 11.11.2026). Kolumnę „kontekst” policzyliśmy z budowy modeli opisanej w ich plikach konfiguracyjnych na Hugging Face (Qwen3) i w materiałach Hugging Face o Llamie 3.1, dla zapisu 16-bitowego. Zapas 1 GB to tyle, ile silnik llama.cpp domyślnie zostawia wolne na każdej karcie.

Inne popularne modele wpasujesz w tę tabelę po rozmiarze pliku. Polski Bielik 11B v3.0 waży 6,7 GB w 4 bitach i 11,9 GB w 8 bitach, więc mieści się między wierszem 8B a 14B. Gemma 4 12B to 8,0 i 13 GB, a 31B 20 i 34 GB, czyli rząd wielkości Qwen3 32B. Pamięć na kontekst zależy od budowy modelu, więc dla nich to przybliżenie.

Wersja 16-bitowa, bez kompresji, to ok. 2 bajty na parametr: 16 GB dla modelu 8B i 141 GB dla 70B.

Policzmy to: ile VRAM zajmie model 8B w 4 bitach z kontekstem

Qwen3 8B w 4 bitach z rozmową o długości 4 tys. tokenów zajmie ok. 6,8 GB, więc zmieści się na karcie z 8 GB. Przy 32 tys. tokenów potrzeba już ok. 11 GB, czyli karty z 12 GB.

Pamięć zajmowana przez model składa się z trzech części: wag (to plik, który pobierasz), pamięci podręcznej rozmowy, tzw. KV cache, i zapasu na obliczenia. KV cache przechowuje obliczenia dla tokenów, które model już przeczytał, i rośnie z każdym tokenem rozmowy i dokumentu.

NVIDIA podaje wzór na rozmiar KV cache dla jednego tokenu:

KV na token = 2 × liczba warstw × liczba głów KV × wymiar głowy × bajty na liczbę

Dwójka oznacza klucze (K) i wartości (V). Qwen3 8B ma według pliku konfiguracyjnego 36 warstw, 8 głów KV i wymiar głowy 128. W zapisie 16-bitowym jedna liczba zajmuje 2 bajty:

  • KV na token: 2 × 36 × 8 × 128 × 2 = 147 456 bajtów, czyli ok. 0,15 MB;
  • 4 096 tokenów (domyślny kontekst Ollamy na kartach poniżej 24 GB): 147 456 × 4 096 = ok. 0,6 GB;
  • 32 768 tokenów (dłuższy dokument): ok. 4,8 GB;
  • 40 960 tokenów (domyślne maksimum w pliku config.json i w Ollamie): ok. 6,0 GB.

Teraz suma. Plik Qwen3 8B w wersji Q4_K_M waży 5,2 GB. Z kontekstem 4 tys. tokenów i 1 GB zapasu wychodzi 5,2 + 0,6 + 1 = ok. 6,8 GB: karta 8 GB wystarczy. Przy 32 tys. tokenów to 5,2 + 4,8 + 1 = ok. 11 GB, więc model na karcie 8 GB już się nie zmieści i część trafi do RAM. Przy pełnych 40 960 tokenach potrzeba ok. 12,2 GB, czyli karty 16 GB.

Wniosek: przy długich dokumentach kontekst potrafi zająć prawie tyle pamięci co sam model. Ten sam wzór policzysz dla każdego modelu: liczbę warstw, głów KV i wymiar głowy znajdziesz w pliku config.json na stronie modelu w Hugging Face. Jak czytać kartę modelu, opisujemy w tekście Hugging Face: jak bezpiecznie wybrać i pobrać otwarty model AI. Rachunek możesz też zlecić czatowi:

Prompt do skopiowania

Policz, ile pamięci karty graficznej (VRAM) potrzebuje model językowy.
Dane:
- rozmiar pliku modelu: [np. 5,2 GB]
- z pliku config.json: num_hidden_layers = [ ], num_key_value_heads = [ ], head_dim = [ ]
- długość kontekstu: [np. 16 384 tokenów]
- zapis pamięci podręcznej KV: 16 bitów (2 bajty)

Użyj wzoru: KV na token = 2 × warstwy × głowy KV × wymiar głowy × bajty.
Pokaż każdy krok obliczeń, dodaj 1 GB zapasu i podaj wynik w GB.
Na końcu napisz, czy model zmieści się na karcie z [8/12/16/24] GB.

Przed zakupem sprzętu przelicz kroki sam: modele językowe mylą się w rachunkach.

Karty graficzne z 8, 12, 16, 24 i 32 GB: co na nie wejdzie

Karta z 8 GB wystarczy do modeli 7–8B w 4 bitach i krótkich rozmów. 16 GB to rozsądne minimum do pracy z dokumentami na modelu 14B, a 24–32 GB otwiera modele ok. 30B.

VRAMPrzykładowe karty (dane producentów)Co uruchomisz w 4 bitach
8 GBNVIDIA GeForce RTX 5060, RTX 5060 Ti 8 GB, RTX 5050; AMD Radeon RX 9060 XT 8 GBmodele 7–8B z kontekstem do kilku tysięcy tokenów, Bielik 11B na styk
12 GBGeForce RTX 5070, RTX 3060 12 GB8B z kontekstem 32 tys. tokenów albo w 8 bitach, 14B z krótkim kontekstem
16 GBGeForce RTX 5080, RTX 5070 Ti, RTX 5060 Ti 16 GB, RTX 4080, RTX 4060 Ti 16 GB; Radeon RX 9070 XT, RX 9060 XT 16 GB14B z długim kontekstem, Bielik 11B w 8 bitach
24 GBGeForce RTX 4090modele 27–32B z krótkim kontekstem, np. Gemma 4 31B (20 GB)
32 GBGeForce RTX 509032B z kontekstem ok. 32 tys. tokenów (ok. 29,6 GB)

Ilość pamięci to nie wszystko. RTX 5060 Ti 16 GB i RTX 5080 mają tyle samo VRAM, ale przepustowość 448 i 960 GB/s, więc ten sam model będzie na RTX 5080 odpowiadał wyraźnie szybciej. Przy wyborze karty do AI liczy się jednak najpierw pojemność, a dopiero potem szybkość.

Ollama działa z kartami NVIDIA o compute capability 5.0 lub wyższym i ze sterownikiem 550 lub nowszym. Karty AMD obsługuje przez ROCm v7 (m.in. RX 9070 XT i RX 7900 XTX), a dodatkowe karty przez Vulkan. Powyżej 32 GB zaczyna się sprzęt profesjonalny: RTX PRO 6000 Blackwell ma 96 GB pamięci GDDR7, a mały komputer NVIDIA DGX Spark 128 GB pamięci współdzielonej, z którą według producenta uruchomisz modele do 200 mld parametrów.

Mac z Apple Silicon: pamięć współdzielona zamiast VRAM

Mac z procesorem Apple M nie ma osobnej VRAM: procesor i grafika korzystają z jednej puli pamięci. Dlatego MacBook z 32 GB uruchomi model, który nie zmieści się na karcie z 16 GB, ale zwykle odpowie wolniej niż szybka karta graficzna.

Apple nazywa to pamięcią zunifikowaną (unified memory). MacBook Pro 14 z procesorem M5 ma 16, 24 lub 32 GB pamięci o przepustowości 153 GB/s. Wersje z M5 Pro mają do 64 GB (do 307 GB/s), a z M5 Max do 128 GB (do 614 GB/s). Apple w zapowiedzi z 3 marca 2026 wprost pisze o uruchamianiu dużych modeli językowych na urządzeniu, m.in. w LM Studio.

Jak to przełożyć na tabelę:

  • 16 GB: modele 7–12B w 4 bitach, np. Bielik 11B (6,7 GB); system i przeglądarka też potrzebują pamięci z tej samej puli.
  • 32 GB: modele do ok. 30B w 4 bitach, np. Gemma 4 31B (20 GB) z krótszym kontekstem.
  • 64 GB i więcej: Llama 3.3 70B w 4 bitach (43 GB) albo modele 30B w 8 bitach.

Szybkość zależy od przepustowości. Według wzoru z pierwszej sekcji model 70B w pliku 43 GB na M5 Max z 614 GB/s nie przekroczy ok. 14 tokenów na sekundę, a model 8B w pliku 5,2 GB na podstawowym M5 ok. 29. Na Macu warto wybierać modele w formacie MLX, przygotowanym przez Apple dla procesorów M. Jak je pobrać, pokazujemy w poradniku LM Studio: jak uruchomić lokalny model AI bez terminala.

Co zrobić, gdy brakuje VRAM?

Gdy model się nie mieści, masz cztery wyjścia: mniejszy model, mocniejszą kwantyzację, krótszy kontekst albo podział modelu między kartę i RAM. Ostatnie działa zawsze, ale kosztem szybkości.

1. Sprawdź, gdzie model naprawdę działa. W Ollamie wpisz:

Polecenie do wpisania w terminalu

ollama ps

Kolumna PROCESSOR pokazuje „100% GPU”, gdy cały model jest w pamięci karty, „100% CPU”, gdy działa z RAM, albo podział, np. „48%/52% CPU/GPU”. Podział oznacza, że część modelu pracuje z wolniejszej pamięci.

2. Weź mniejszy model albo mocniejszą kwantyzację. Zejście z 8 do 4 bitów zmniejsza plik prawie o połowę: Qwen3 14B waży 16 GB w Q8_0 i 9,3 GB w Q4_K_M. Format Q4_K zapisuje wagę średnio na 4,5 bitu, a Q6_K na ok. 6,6 bitu. Ceną jest jakość: twórcy Bielika ostrzegają, że wersje skwantyzowane mogą odpowiadać słabiej i częściej się mylić, więc przy ważnych zadaniach porównaj wynik z wersją 8-bitową.

3. Skróć kontekst albo skompresuj KV cache. Ollama pozwala ustawić długość kontekstu i zapis pamięci podręcznej. Wariant q8_0 zajmuje według dokumentacji ok. połowę pamięci zapisu 16-bitowego przy niewielkiej utracie jakości, a q4_0 ok. jednej czwartej, z większą stratą. Kompresja działa przy włączonym Flash Attention. Na macOS i Linuksie uruchomisz tak serwer z kontekstem 16 tys. tokenów:

Polecenie do wpisania w terminalu

OLLAMA_CONTEXT_LENGTH=16384 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

Dla Qwen3 8B przy 32 tys. tokenów to 2,4 GB zamiast 4,8 GB na kontekst. Ustawienie dotyczy wszystkich modeli. W LM Studio długość kontekstu i podział na kartę ustawiasz przy ładowaniu modelu i możesz je zapisać jako domyślne dla danego modelu.

4. Podziel model między kartę i RAM (offload). W silniku llama.cpp, z którego korzysta m.in. LM Studio, opcja --n-gpu-layers decyduje, ile warstw modelu trafia na kartę, a resztę liczy procesor. Domyślnie llama.cpp sam dobiera ją do dostępnej pamięci, a Ollama dzieli model automatycznie. To dobre wyjście do testów, ale odpowiedzi będą wyraźnie wolniejsze.

Ogólną konfigurację Ollamy i komendy opisujemy w poradniku Ollama: jak uruchomić model AI na własnym komputerze.

Lokalny model w firmie czy chmura?

Lokalny model wybieraj wtedy, gdy dane nie mogą opuścić firmy, a zadanie jest proste. Gdy potrzebujesz najlepszej jakości albo obsługi wielu osób naraz, chmura jest zwykle tańsza i prostsza niż serwer z kartami.

W firmie rachunek z tej strony szybko rośnie, bo KV cache liczy się osobno dla każdej rozmowy prowadzonej jednocześnie. NVIDIA w swoim wzorze mnoży go przez liczbę równoległych zapytań. Policzmy to: pięć osób pracuje naraz na Qwen3 14B z dokumentami po 32 tys. tokenów. Sam kontekst to 5 × 5,4 GB = 27 GB, do tego 9,3 GB modelu i zapas: razem ok. 37 GB. Jeden komputer z kartą 16 GB tego nie obsłuży.

Kiedy chmura wygrywa:

  • Bardzo duże modele. Modele z setkami miliardów parametrów wymagają serwerów. Ollama udostępnia część z nich w chmurze (plan Pro za 20 USD miesięcznie), ale na serwerach głównie w USA, więc dane wychodzą z komputera.
  • Mała skala. Przy kilkuset dokumentach miesięcznie koszt modelu w chmurze to zwykle grosze. Przykładowy rachunek pokazujemy w tekście o Gemmie od Google.
  • Najtrudniejsze zadania. Czołowe modele w chmurze zwykle radzą sobie z nimi lepiej niż model z jednej karty.

Model lokalny ma sens przy poufnych dokumentach, danych osobowych, które nie powinny trafić do zewnętrznego dostawcy, i powtarzalnych zadaniach: streszczeniach, klasyfikacji zgłoszeń, wyciąganiu danych. Do pracy po polsku na jednej karcie warto porównać polskie modele Bielik i PLLuM z modelami ogólnymi.

Zanim firma kupi sprzęt, warto spisać, jakie dane trafią do modelu i ile osób będzie z niego korzystać naraz. Gdy pracownicy nie mają zatwierdzonego narzędzia ani zasad, często sięgają po prywatne konta w chatbotach, czyli po shadow AI, a wtedy dane firmy i tak trafiają do chmury. Wybór między lokalnym modelem a chmurą, dobór sprzętu i zasady korzystania omawiamy na konsultacjach z wdrożenia AI w firmie.

Wszystkie teksty o modelach AI

Szerszy obraz rynku i zasady wyboru modelu znajdziesz w przewodniku po LLM. Jak uruchomić konkretne modele, opisujemy w tekstach o Llamie od Meta i o Qwen od Alibaby. Pełna lista jest poniżej.

Co to znaczy dla Ciebie

Zanim kupisz kartę albo nowego Maca do lokalnej AI, ustal, jaki model chcesz uruchamiać i jak długie dokumenty będziesz mu dawać. Do prób i krótkich zadań wystarczy karta z 8 GB albo Mac z 16 GB i model 7–12B w wersji 4-bitowej. Do pracy z długimi dokumentami celuj w 16 GB VRAM, a do modeli ok. 30B w 24–32 GB. Po instalacji sprawdź poleceniem ollama ps, czy model działa w całości na karcie. Jeśli potrzebujesz najwyższej jakości albo modelu dla całego zespołu, porównaj koszt sprzętu z chmurą: przy małej skali chmura zwykle wychodzi taniej, a lokalny model wygrywa tam, gdzie dane nie mogą wyjść z firmy.

Najczęstsze pytania

Ile VRAM potrzeba do LLM?

To zależy od wielkości modelu i długości rozmowy. Orientacyjnie, w wersji 4-bitowej: modele 7–8B potrzebują ok. 7–8 GB, 14B ok. 12 GB, 32B ok. 24 GB, a 70B ok. 47 GB, licząc z kontekstem 8 tys. tokenów i 1 GB zapasu. Dłuższy kontekst potrafi dodać kilka gigabajtów.

Czy 8 GB VRAM wystarczy do AI?

Do modeli 7–8 mld parametrów w wersji 4-bitowej tak, przy krótszych rozmowach: Qwen3 8B z kontekstem 4 tys. tokenów zajmuje ok. 6,8 GB. Przy długich dokumentach albo większych modelach część trafi do RAM i odpowiedzi będą znacznie wolniejsze.

Czym różni się VRAM od RAM?

RAM to pamięć całego komputera, z której korzysta procesor. VRAM to pamięć karty graficznej, dostępna tylko dla niej, ale kilkukrotnie szybsza: RTX 5060 ma 448 GB/s, a dwa moduły DDR5-5600 ok. 90 GB/s. Dla modeli AI szybkość pamięci przekłada się wprost na szybkość odpowiedzi.

Czy da się uruchomić model AI bez karty graficznej?

Tak, Ollama i LM Studio uruchomią model na samym procesorze i RAM. Według twórców Bielika model działający z RAM generuje ok. 1–5 tokenów na sekundę, a z pamięci karty ok. 50. Do prób wystarczy, do codziennej pracy zwykle nie.

Ile VRAM potrzebuje Bielik?

Bielik 11B v3.0 w wersji 4-bitowej (Q4_K_M) to plik 6,7 GB, w 8-bitowej 11,9 GB, a w pełnej 22,3 GB. W praktyce wersja 4-bitowa zmieści się na karcie 8 GB tylko z krótkim kontekstem, a wygodniej działa na 12–16 GB.

Czy Mac z 16 GB nada się do lokalnego AI?

Tak, do modeli 7–12B w wersji 4-bitowej, np. Bielika 11B. Mac z procesorem Apple M ma jedną pulę pamięci dla procesora i grafiki, więc model dzieli ją z systemem i otwartymi programami. Do modeli ok. 30B potrzebujesz 32 GB.

Czytaj dalej

Zobacz też

Zobacz też

Przewodnik po temacie LLM, czyli duże modele językowe: jak działają i który model AI wybrać

Adam Bakalarz, założyciel instytut.ai
Autor

Adam Bakalarz

Szkoleniowiec AI · właściciel agencji NowoczesnyMarketing.pl · założyciel instytut.ai

Prowadzi agencję, w której ChatGPT, Claude i automatyzacje codziennie pracują dla klientów. Na szkoleniach i w kursach online uczy tego, co sam stosuje w pracy.

100+

firm na szkoleniach zamkniętych od 2025

21

kursów online

1 200+

zweryfikowanych opinii

50 000+

kursantów online