[AI 서빙 5편] 모델 양자화(Quantization) — 가벼우면서 똑똑한 모델을 만드는 수학적 원리
70B 모델을 FP16(16비트 부동소수점) 정밀도로 서빙하려면 가중치 값만 저장하는 데 약 140GB의 VRAM이 필요하다. 이는 단일 GPU 1장에 올리는 것이 불가능하며, 다중 GPU 분산 추론 환경을 강제하여 비용을 폭증시킨다. 하지만 우리가 이 모델을 4비트(INT4)로 압축할 수 있다면? 메모리 점유율은 35GB로 줄어들어 한 장의 GPU에서도 쌩쌩하게 돌아가게 된다.
이것이 바로 모델 양자화(Quantization)의 힘이다. 본 글에서는 숫자의 정밀도를 낮추면서도 모델의 지능(정확도)을 유지하는 수학적 메커니즘과, 최신 양자화 기법인 GPTQ, AWQ의 내부 작동 원리를 심층 분석한다.
1. 양자화의 본질: 매핑과 스케일링
양자화는 넓은 범위의 연속적인 값(부동소수점)을 좁은 범위의 이산적인 값(정수)으로 매핑하는 과정이다.
- 수식:
Q = clip(round(V / S) + Z, q_min, q_max)V: 원래의 부동소수점 값.S: 스케일(Scale) 인자.Z: 제로 포인트(Zero-point).
- 문제점: 32비트의 정보를 4비트로 압축하면 필연적으로 정보의 손실, 즉 양자화 오차(Quantization Error)가 발생한다. 이 오차를 어떻게 줄이느냐가 양자화 기술의 핵심이다.
2. 주요 양자화 전략: PTQ vs QAT
2-1. PTQ (Post-Training Quantization)
학습이 완료된 모델을 사후에 압축하는 방식이다. 추가 학습 비용이 거의 들지 않아 실무에서 가장 선호된다.
- 방법: 대표적인 가중치 샘플(Calibration Dataset)을 모델에 통과시켜 각 레이어의 값 분포를 파악하고, 그 분포에 최적화된 스케일링 인자를 결정한다.
2-2. QAT (Quantization-Aware Training)
학습 단계부터 양자화로 인한 오차를 모델이 스스로 보정하도록 훈련하는 방식이다.
- 방법: 학습 중에는 고정밀도 연산을 수행하되, 중간중간 양자화된 것처럼 값을 변형(Fake Quantization)하여 모델이 낮은 정밀도 환경에서도 높은 성능을 내도록 적응시킨다. 결과물은 최상이지만 비용이 매우 높다.
3. 최신 알고리즘의 진화: GPTQ와 AWQ
단순히 반올림하는 수준을 넘어, 모델의 구조적 특성을 이용한 알고리즘들이 등장했다.
3-1. GPTQ (Generative Pre-trained Transformer Quantization)
레이어별로 '이차 형식의 최적화 문제'를 풀어 오차를 최소화한다.
- 원리: 특정 가중치를 양자화할 때 발생하는 오차를, 아직 양자화되지 않은 나머지 가중치들이 보정하도록 업데이트한다. 수천억 개의 파라미터를 단 몇 시간 만에 4비트로 정밀하게 압축할 수 있다.
3-2. AWQ (Activation-aware Weight Quantization)
모든 가중치가 똑같이 중요한 것은 아니다.
- 원리: 추론 과정에서 특정 '채널'의 활성화 값(Activation)이 매우 크다면, 해당 채널의 가중치는 모델의 성능에 결정적인 역할을 한다(Salient weights). AWQ는 이러한 중요한 가중치들만 선별적으로 보호하고 나머지를 압축하여, 정확도 하락을 사실상 0%에 가깝게 방어한다.
4. 실전 엔지니어링: 양자화 모델 서빙의 이점
양자화 모델을 서빙하면 얻는 이득은 단순히 '메모리 절약'만이 아니다.
- 대역폭 이득: GPU 코어가 연산을 수행하기 위해 가중치를 메모리로부터 읽어오는 시간(Memory Bandwidth)이 1/4로 줄어든다. 이는 LLM 추론의 고질적 병목인 메모리 지연을 해결한다.
- 연산 가속: 최신 GPU(텐서 코어)는 정수 연산(INT8, INT4)을 부동소수점 연산보다 훨씬 빠르게 처리할 수 있는 하드웨어 가속기를 내장하고 있다.
결론: 작지만 강한 모델이 세상을 바꾼다
모델 양자화는 단순히 기술적인 보조 장치가 아니다. 거대 AI를 누구나 스마트폰에서, 혹은 저렴한 서버 한 대에서 돌릴 수 있게 만드는 'AI 민주화'의 핵심 열쇠다.
엔지니어는 단순히 모델을 배포하는 것에 그치지 말고, 수학적 오차 분석을 통해 우리 도메인에 맞는 최적의 양자화 기법을 선택해야 한다. 1%의 정확도를 포기하고 400%의 속도 향상을 얻을 것인가? 이 정교한 트레이드 오프를 관리하는 능력이 바로 시니어 AI 인프라 엔지니어를 가르는 척도다.
다음 편 예고 (고급 백엔드 아키텍처 시리즈로 이어집니다)
[백엔드 1편] Kafka의 Zero-copy 전송 — 어떻게 초당 수백만 메시지를 지연 없이 처리하는가?
다시 백엔드의 심장부로 돌아온다. 분산 메시징 시스템의 절대 강자 Kafka. 데이터를 디스크에서 네트워크 카드로 옮길 때 발생하는 CPU 부하를 제거하는 Zero-copy 기술과, 커널의 Page Cache를 극한으로 활용하는 로그 구조 파일 시스템의 비밀을 파헤친다.
모델양자화, Quantization, GPTQ, AWQ, PTQ, LLM최적화, GPU메모리관리, AI성능튜닝