Przejdź do treści
NIEZALEŻNY MAGAZYN TECHNOLOGICZNY TECH / IDEE / PRAKTYKA

Machine Learning

Kwantyzacja modeli ML (INT8/FP4): jak zmniejszyć zużycie pamięci VRAM bez utraty jakości?

Procesor i moduły pamięci RAM na białym tle
4/5 - (1 vote)

Błędne przeprowadzenie kwantyzacji modelu uczenia maszynowego może natychmiastowo zniszczyć jego zdolności wnioskowania (inferencji), prowadząc do zjawiska zwanego halucynacją składniową lub całkowitej degradacji perplexity (wskaźnika reprezentującego niezrównoważenie modelu w predykcji kolejnego tokena). Zmniejszenie precyzji wag z FP32 czy FP16 do formatów niskobitowych, takich jak INT8 czy FP4/NF4, nie jest jedynie prostym zabiegiem rzutowania typów danych. To skomplikowany proces matematyczny, w którym brak uwzględnienia aktywacji odstających (outliers) lub niepoprawny dobór rozmiaru bloku (group size) powoduje naruszenie struktury reprezentacji wiedzy sieci neuronowej.

Głównym wyzwaniem podczas kompresji modeli językowych (LLM) oraz złożonych sieci wizyjnych jest znalezienie kompromisu między alokacją pamięci VRAM na karcie graficznej a zachowaniem precyzji matematycznej operacji mnożenia macierzy (GEMM). Bezpieczna kwantyzacja wymaga audytu pamięci, właściwego doboru algorytmu kalibracji oraz weryfikacji sprzętowej pod kątem wsparcia dla dedykowanych jednostek obliczeniowych (Tensor Cores).

Matematyka pamięci VRAM: audyt wag i narzutu inferencyjnego

Alokacja pamięci VRAM podczas uruchamiania modelu uczenia maszynowego nie sprowadza się wyłącznie do rozmiaru samych wag zapisanych na dysku. Prosty przelicznik przydziału pamięci oparty tylko na liczbie parametrów jest najczęstszą przyczyną błędów typu Out-Of-Memory (OOM) w środowiskach produkcyjnych. Całkowite zużycie pamięci operacyjnej karty graficznej składa się z czterech głównych komponentów: wag statycznych, bufora stanu kontekstu (KV-cache), pamięci aktywacji warstwowych oraz buforów roboczych (overhead operacyjny frameworków takich jak PyTorch czy vLLM).

Przeliczanie zapotrzebowania na pamięć dla wag statycznych wynika bezpośrednio z precyzji zapisu pojedynczej liczby. W precyzji FP32 (Single Precision) każdy parametr zajmuje 4 bajty. W standardzie FP16 lub BF16 (Half Precision / Brain Floating Point) jest to 2 bajty. Przejście na format INT8 zmniejsza ten koszt do 1 bajta na parametr, a formaty 4-bitowe (INT4, FP4, NF4) redukują zapotrzebowanie do zaledwie 0,5 bajta (4 bity) na parametr.

Tip: Zawsze dodawaj margines bezpieczeństwa wynoszący od 15% do 20% całkowitej pamięci VRAM na operacje alokacji dynamicznej i zmienny rozmiar pakietu danych (batch size).

Struktura zużycia pamięci GPU (parametry, stan KV-cache, aktywacje)

Poniższa zależność matematyczna pozwala precyzyjnie oszacować minimalny budżet VRAM wymagany do uruchomienia modelu o zadanej liczbie parametrów:

VRAM_total = (P * B) + VRAM_KV + VRAM_activations + VRAM_overhead

Gdzie P oznacza liczbę parametrów (np. 70 miliardów dla modelu 70B), a B to precyzja wyrażona w bajtach. Dla modelu 70B w precyzji FP16 samo załadowanie wag wymaga: 70 000 000 000 * 2 bajty = 140 GB VRAM. Przejście na kwantyzację FP4 zmniejsza tę wartość do około 35 GB, co umożliwia uruchomienie takiego modelu na pojedynczym akceleratorze konsumenckim lub profesjonalnym o pojemności 48 GB.

Kluczowym i często pomijanym elementem jest bufor KV-cache (Key-Value Cache),

który przechowuje wektory key i value dla każdego tokena przetworzonego w kontekście. Jego rozmiar rośnie liniowo wraz z długością sekwencji, liczbą warstw, liczbą głów KV oraz rozmiarem głowy uwagi. Uproszczony wzór ma postać: VRAM_KV ≈ 2 × L × T × HKV × Dhead × B, gdzie L oznacza liczbę warstw, T długość kontekstu, HKV liczbę głów key-value, Dhead wymiar pojedynczej głowy, a B liczbę bajtów na element. Współczynnik 2 wynika z przechowywania obu macierzy: kluczy i wartości.

Kwantyzacja wag do INT8 lub 4 bitów nie oznacza automatycznie równie silnej redukcji KV-cache. W wielu stosach inferencyjnych cache nadal pozostaje w FP16 lub BF16, ponieważ zbyt agresywne obniżenie jego precyzji może pogorszyć jakość odpowiedzi przy długim kontekście. To istotne szczególnie dla modeli obsługujących dziesiątki tysięcy tokenów: po kompresji wag właśnie KV-cache może stać się dominującym konsumentem VRAM. Rozwiązaniem bywa użycie modeli z GQA/MQA (Grouped-Query Attention / Multi-Query Attention), kwantyzacja cache wspierana przez silnik inferencyjny albo ograniczenie maksymalnej długości sesji. [4]

Aktywacje i bufory robocze są mniej przewidywalne niż wagi. Zależą od implementacji kerneli CUDA, rozmiaru batcha, liczby równoległych żądań, mechanizmu prefill (przetwarzania całego promptu) oraz zastosowania optymalizacji, takich jak FlashAttention czy paged attention. Uwaga: model mieszczący się w VRAM podczas generowania pojedynczego tokena może zakończyć działanie błędem OOM przy długim promptcie lub większej kolejce zapytań. Dlatego audyt pamięci powinien obejmować scenariusz szczytowy, a nie tylko minimalną konfigurację uruchomieniową.

Rzetelny budżet VRAM zaczyna się od wag, ale kończy na całym profilu inferencji: długości kontekstu, współbieżności, precyzji KV-cache i narzucie runtime’u. Dopiero na tej podstawie można sensownie dobrać format INT8, FP8 albo 4-bitowy bez pozornego „zysku”, który znika przy realnym obciążeniu.

Wybór optymalnego formatu: macierz decyzyjna (INT8 vs FP8 vs FP4/NF4)

Dobór precyzji kwantyzacji nie może sprowadzać się wyłącznie do bezmyślnej dążności do jak najmniejszego rozmiaru pliku na dysku. Różne formaty numeryczne w odmienny sposób reprezentują zakres dynamiczny (dynamic range) oraz precyzję (precision), co bezpośrednio wpływa na wydajność architektoniczną oraz na to, czy dane GPU jest w stanie wykonać operacje natywnie, czy wymaga ciągłego dekwantyzowania wag w locie do wyższej precyzji. [3]

Format INT8 Opiera się na symetrycznym lub asymetrycznym odwzorowaniu liniowym wartości zmiennoprzecinkowych na 8-bitowe liczby całkowite. Jest dojrzałym standardem, świetnie wspieranym przez starsze i nowsze architektury (od NVIDIA Turing po Ampere i Hopper). Gwarantuje minimalną degradację jakości, ale jego stałopozycyjna natura bywa podatna na tzw. outliery (wartości odstające w aktywacjach), co wymaga stosowania zaawansowanych technik kompensacji, takich jak SmoothQuant.

Format FP8 wprowadza dwie natywne odmiany: E4M3 (1 bit znaku, 4 bity cechy/wykładnika, 3 bity mantysy) oraz E5M2 (1 bit znaku, 5 bitów cechy, 2 bity mantysy). E4M3 oferuje wyższą precyzję przy mniejszym zakresie, co czyni go idealnym do wag i aktywacji w większości warstw sieci. E5M2 zachowuje identyczny zakres dynamiczny jak FP16, dzięki czemu lepiej sprawdza się w gradientach oraz wybranych operacjach uwagi. FP8 wymaga jednak nowoczesnych jednostek obliczeniowych – pełne przyspieszenie sprzętowe zapewniają architektury NVIDIA Ada Lovelace (seria RTX 40xx), Hopper (H100) oraz nowsze.

Formaty 4-bitowe, w tym FP4 oraz NF4 (NormalFloat 4), reprezentują maksymalną kompresję wag. NF4 jest formatem informacyjnie optymalnym dla wag o rozkładzie normalnym (który naturalnie występuje w zainicjowanych i wytrenowanych sieciach głębokich). Chociaż kompresja 4-bitowa redukuje zapotrzebowanie na pamięć wag aż czterokrotnie w stosunku do FP16, wymaga stosowania kwantyzacji blokowej (group size 64 lub 128) z dodatkowymi współczynnikami skalującymi (skalowanie podwójne / double quantization), co nakłada pewien narzut na kontroler pamięci i proces dekwantyzacji. [2]

FormatRozmiar (bajt/parametr)Wsparcie sprzętowe (Natywne Tensor Cores)Retencja jakości (Perplexity)Rekomendowane zastosowanie produkcyjne
INT8 (W8A8 / W8A16)1,0 BNVIDIA Turing (RTX 20xx / T4) i nowszeBardzo wysoka (< 1% spadku)Systemy o wysokim rygorze stabilności i dokładności; starsze GPU bez wsparcia FP8.
FP8 (E4M3 / E5M2)1,0 BNVIDIA Ada Lovelace, Hopper (H100), BlackwellNiemal bezstratna (równoważna FP16)Wysokowydajny serving modeli LLM i dyfuzyjnych na nowoczesnej infrastrukturze chmurowej.
FP4 / NF4 (W4A16)0,5 B (plus narzut skal)Dekwantyzacja w locie na dowolnym CUDA GPU; natywnie BlackwellUmiarkowana do dobrej (wymaga AWQ/GPTQ)Uruchamianie bardzo dużych modeli (np. 70B+) na pojedynczych GPU, środowiska brzegowe (edge).

Procedura kwantyzacji krok po kroku: od wag bazowych do skompresowanego grafu

Poniższa procedura opisuje proces wdrażania kwantyzacji metodą PTQ (Post-Training Quantization) przy użyciu nowoczesnych algorytmów uwzględniających profil aktywacji (AWQ / GPTQ / SmoothQuant). Jej celem jest ograniczenie rozmiaru wag przy utrzymaniu wskaźnika Perplexity na poziomie akceptowalnym produkcyjnie (delta PPL < 0.5).

Krok 1: Audyt wag bazowych i selekcja zbioru kalibracyjnego

Kwantyzacja metodą PTQ nie wymaga ponownego trenowania sieci, ale jej powodzenie zależy od reprezentatywności danych użytych do oszacowania dynamiki aktywacji. Proces należy rozpocząć od zweryfikowania modelu źródłowego w precyzji FP16/BF16 i przygotowania czystego środowiska uruchomieniowego.

  1. Walidacja modelu wejściowego: Upewnij się, że wagi bazowe nie posiadają uszkodzonych tensorów (NaN/Inf) i są zapisane w formacie safetensors. Zapis w starym formacie PyTorch (.bin) zwiększa ryzyko nieprzewidzianego alokowania dodatkowej pamięci RAM podczas ładowania.
  2. Przygotowanie zbioru kalibracyjnego: Wybierz od 128 do 512 losowych próbek z tekstu reprezentatywnego dla docelowego środowiska produkcyjnego (np. zestaw danych C4, Wikitext2 lub próbki z realnego ruchu użytkowników).
    • Uwaga: Użycie domyślnego zestawu angielskojęzycznego do kalibracji modelu, który na produkcji będzie obsługiwał zapytania w języku polskim lub kod źródłowy, prowadzi do błędnego wyznaczenia skal i drastycznego wzrostu Perplexity.
  3. Ustawienie długości sekwencji: Sekwencje kalibracyjne powinny mieć długość odpowiadającą standardowemu oknu kontekstowemu aplikacji (np. 2048 lub 4096 tokenów), aby poprawnie wychwycić dynamikę aktywacji w głębokich warstwach uwagi.

Krok 2: Wykonanie kompresji (wybór algorytmu i parametrów)

W zależności od docelowego formatu i architektonicznych cech modelu (obecność silnych aktywacji odstających) wybierz i skonfiguruj odpowiedni algorytm kompresji:

  • Dla formatu 4-bitowego (AWQ – Activation-aware Weight Quantization): Algorytm AWQ chroni 1% najważniejszych wag (współczynników o największych aktywacjach) przed skwantyzowaniem, pozostawiając je w precyzji FP16, podczas gdy pozostałe 99% jest kompresowane do INT4/FP4. Ustaw parametr group_size=128 (kompromis między rozmiarem a precyzją) oraz włącz symetryczną kwantyzację wag.
  • Dla formatu 4-bitowego (GPTQ): GPTQ wykorzystuje odwrotność macierzy Hesjanu do stopniowej minimalizacji błędu kwadratowego przy kwantyzacji kolumna po kolumnie. Wyznacza skale w sposób optymalny statystycznie. Wymaga dłuższego czasu procesorowego podczas kalibracji niż AWQ, ale gwarantuje wysoką stabilność dla modeli tekstowych.
  • Dla formatu INT8 (SmoothQuant): Przeprowadź operację matematyczną przeniesienia trudności kwantyzacji z aktywacji na wagi. SmoothQuant dzieli aktywacje przez czynnik skalujący $s$ i odpowiednio mnoży wagi warstwy, linearyzując zakres dynamiczny i umożliwiając stabilną kwantyzację W8A8 bez utraty kluczowych sygnałów.

Krok 3: Serializacja wag i eksport grafu

Po wyznaczeniu skal kwantyzacyjnych i przekształceniu tensorów należy zapisać wynikowy graf tak, aby był bezpośrednio czytelny dla wybranego silnika inferencyjnego (vLLM, TensorRT-LLM, LMDeploy czy llama.cpp):

  1. Przekształć skwantyzowane macierze do pakowanego formatu skompresowanego (np. pakowanie ośmiu wartości 4-bitowych w jedną 32-bitową liczbę całkowitą int32).
  2. Wygeneruj plik metadanych config.json zawierający jednoznaczne oznaczenie kwantyzacji (np. "quantization_config": {"quant_method": "awq", "zero_point": true, "group_size": 128, "bits": 4}). Bez poprawnego nagłówka silniki serwujące mogą błędnie zinterpretować spakowane wagi jako liczby zmiennoprzecinkowe, co doprowadzi do błędu alokacji pamięci.
  3. Zapisz pliki wagowe do formatu .safetensors.

Krok 4: Walidacja jakościowa (Perplexity) i benchmark latency

Ostatnim etapem procedury jest formalna weryfikacja czy model spełnia założone kryteria jakościowe i wydajnościowe przed wdrożeniem na instancje produkcyjne.

Zbliżenie na mikroprocesor na płycie głównej z widocznymi ścieżkami elektroniczn
Źródło: Pexels | Autor: Sergei Starostin

Sprawdzenie wartości Perplexity (PPL) wykonaj na niezależnym zestawie walidacyjnym (nieużytym do kalibracji). Wskaźnik ten mierzy stopień zaskoczenia modelu nowym tekstem – im niższa wartość, tym model lepiej przewiduje kolejne tokeny.

Warunek zaliczenia walidacji jakościowej:

ΔPPL = PPLskwantyzowany – PPLbazowy_FP16 < 0.5

Jeśli $Delta PPL ge 0.5$, kwantyzacja jest zbyt agresywna. W takim przypadku należy zmienić wielkość grupy (np. z group_size=128 na group_size=64), zmienić zbiór kalibracyjny lub przejść na wyższy format precyzji (np. z FP4 do FP8/INT8).

Checklista wdrożeniowa: walidacja procesu kwantyzacji

Poniższa lista kontrolna służy do weryfikacji każdego skompresowanego modelu przed skierowaniem go na środowisko produkcyjne:

  • [ ] Sprawdzenie integralności artefaktów: Plik wag jest zapisany w formacie .safetensors, a nagłówek config.json zawiera poprawną strukturę parametrów kwantyzacji.
  • [ ] Zbiór kalibracyjny:
  • Zbiór kalibracyjny: Próbki odpowiadają domenie docelowej, językowi użytkowników i typowym długościom kontekstu. Zbiór walidacyjny pozostaje odseparowany od kalibracyjnego.
  • [ ] Jakość modelu: Różnica Perplexity względem wariantu FP16/BF16 mieści się w ustalonym progu, a ręczne testy odpowiedzi nie wykazują regresji w zadaniach istotnych dla produktu, takich jak generowanie kodu, język polski, ekstrakcja danych czy stosowanie instrukcji.
  • [ ] Zużycie VRAM: Pomiar obejmuje nie tylko wagi, lecz także pamięć kontekstu KV cache, bufory robocze oraz narzut silnika inferencyjnego przy rzeczywistej liczbie równoległych zapytań.
  • [ ] Przepustowość: Zmierzono czas do pierwszego tokenu (TTFT, time to first token), liczbę tokenów generowanych na sekundę oraz zachowanie pod obciążeniem. Mniejszy plik wag nie gwarantuje automatycznie niższego opóźnienia.
  • [ ] Zgodność silnika: Wersja vLLM, TensorRT-LLM, LMDeploy lub llama.cpp obsługuje wybrany wariant AWQ, GPTQ, GGUF, INT8 albo FP8 bez niejawnej konwersji wag do FP16.
  • [ ] Plan awaryjny: Wdrożenie umożliwia szybki powrót do poprzedniego artefaktu FP16/BF16 lub mniej agresywnej wersji INT8, gdy monitoring wykryje regresję jakości.

VRAM po kwantyzacji: dlaczego same wagi nie są całym rachunkiem

Kompresja wag daje największy efekt przy ładowaniu modelu, ale podczas generowania tekstu rosną także inne komponenty pamięci. Kluczowy jest KV cache, czyli pamięć kluczy i wartości mechanizmu uwagi przechowywana dla każdego tokenu kontekstu. Jej rozmiar zależy przede wszystkim od liczby warstw, liczby głów KV, wymiaru headów, długości sekwencji, batch size oraz precyzji cache.

To praktyczna pułapka w serwowaniu LLM: model 4-bitowy może bez problemu zmieścić się w pamięci karty, ale przy długim kontekście i wielu jednoczesnych rozmowach zabraknie VRAM właśnie na cache, a nie na wagi. Kwantyzacja W4A16 oznacza zwykle, że wagi mają 4 bity, natomiast aktywacje i KV cache pozostają w FP16 lub BF16. Oszczędność na modelu nie przekłada się więc liniowo na liczbę obsługiwanych użytkowników.

Przed doborem GPU trzeba policzyć pełny budżet pamięci:

VRAM_całkowity ≈ wagi + KV cache + bufory aktywacji
                + workspace kerneli + narzut runtime

Wagi można oszacować z liczby parametrów i formatu zapisu, lecz pozostałe składniki najlepiej mierzyć na docelowym silniku. Różnice między runtime’ami bywają istotne: mechanizmy paged attention, zarządzanie blokami cache i fuzja kerneli wpływają na realne zużycie pamięci oraz fragmentację alokacji.

Tip: benchmark wykonuj z docelową wartością max_model_len i realistycznym limitem równoległych sekwencji. Test pojedynczego promptu o długości kilkudziesięciu tokenów nie pokaże problemu, który wystąpi po włączeniu długich dokumentów lub rozmów wieloturowych.

Dobór formatu do scenariusza inferencji

Nie istnieje jeden format optymalny dla każdego modelu i każdej karty. INT8 pozostaje rozsądnym wyborem, gdy priorytetem jest przewidywalność, zgodność ze starszym sprzętem albo kwantyzacja również aktywacji. FP8 ma sens wtedy, gdy infrastruktura zapewnia natywne wsparcie i celem jest wysoka przepustowość bez radykalnego obniżania precyzji. Warianty FP4/NF4 są najbardziej użyteczne, gdy ograniczeniem jest pojemność VRAM i trzeba uruchomić model, który w FP16 nie mieści się na dostępnej karcie.

Dla interaktywnych chatbotów często sprawdza się W4A16 w formacie AWQ lub GPTQ: wagi zajmują mało pamięci, a aktywacje zachowują wyższą precyzję. Jeżeli system wykonuje zadania szczególnie wrażliwe na drobne różnice numeryczne, takie jak generowanie strukturalnego JSON-a, analiza kodu lub narzędziowe wywołania funkcji, bezpieczniejszym punktem startu bywa INT8 albo FP8. Ostateczną decyzję powinny rozstrzygać testy na właściwym ruchu, a nie sam wynik PPL.

Perplexity dobrze wykrywa ogólną degradację modelu językowego, lecz nie zastępuje testów zadaniowych. Model może zachować podobną PPL, a jednocześnie częściej mylić format daty, pomijać pole w odpowiedzi JSON lub gorzej radzić sobie z rzadkim słownictwem domenowym. Dlatego zestaw akceptacyjny powinien zawierać zarówno miary automatyczne, jak i krótką pulę krytycznych promptów regresyjnych.

Eksploatacja: monitoring i typowe błędy

Po wdrożeniu obserwuj wykorzystanie VRAM, liczbę błędów braku pamięci, TTFT, tempo dekodowania oraz odsetek przerwanych generacji. Nagły wzrost zużycia pamięci często wynika ze zmiany maksymalnej długości kontekstu, większej liczby równoległych żądań albo aktualizacji silnika inferencyjnego, a nie z samego pliku skwantyzowanych wag.

Najczęstszy błąd polega na mieszaniu formatów i implementacji. Plik nazwany „4-bit” może być przeznaczony dla konkretnego backendu, grupowania lub schematu zero-point; nie każdy silnik odczyta go poprawnie i wydajnie. Drugim problemem jest automatyczny fallback do FP16 podczas ładowania. Artefakt formalnie pozostaje skwantyzowany, ale runtime dekwantyzuje go w całości albo wybiera nieoptymalne kernele, przez co oczekiwana oszczędność VRAM znika.

Dobry proces ma zatem trzy elementy: poprawnie przygotowane dane kalibracyjne, format dopasowany do sprzętu i silnika oraz benchmark odtwarzający rzeczywiste obciążenie. Kwantyzacja nie jest jednorazowym „zmniejszeniem modelu”, lecz kontrolowaną zmianą reprezentacji numerycznej. Gdy mierzone są jednocześnie jakość, pamięć i opóźnienia, INT8, FP8 oraz FP4/NF4 stają się praktycznymi narzędziami do zwiększania gęstości inferencji bez niepotrzebnej utraty użyteczności modelu. [1]

Pytania od czytelników

Pytanie czytelnika

Czy kwantyzacja wag zmniejsza również zużycie pamięci przez KV-cache?

Odpowiedź redakcji: Nie zawsze. W wielu stosach inferencyjnych KV-cache nadal jest przechowywany w FP16 lub BF16, dlatego jego rozmiar może pozostać bez zmian po kwantyzacji wag.
Pytanie czytelnika

Jaki format wybrać, gdy najważniejsza jest stabilność wyników?

Odpowiedź redakcji: INT8 zwykle oferuje bardzo wysoką retencję jakości i szerokie wsparcie sprzętowe. Ostateczny wybór należy potwierdzić testami na reprezentatywnych danych.
Pytanie czytelnika

Dlaczego model mieści się w VRAM, ale podczas pracy pojawia się błąd OOM?

Odpowiedź redakcji: Same wagi nie wyczerpują budżetu pamięci. Dodatkowe VRAM zajmują KV-cache, aktywacje, bufory robocze oraz narzut frameworka, szczególnie przy długim promptcie i większej współbieżności.
Pytanie czytelnika

Czy do kalibracji można użyć dowolnych danych tekstowych?

Odpowiedź redakcji: Lepiej użyć próbek reprezentatywnych dla docelowego zastosowania, na przykład w języku polskim lub zawierających kod, jeśli takie dane będą obsługiwane produkcyjnie. Niedopasowany zbiór może pogorszyć dobór skal i jakość modelu.

Źródła