How much do language models memorize? - 논문 정리

https://arxiv.org/pdf/2505.24832

위 논문을 읽고 내용을 정리했다.

 

LLM은 얼마나 암기하고, 언제부터 이해할까?

대형 언어 모델(LLM)이 방대한 데이터를 학습할 때 정보를 그대로 '암기'하는 것인지, 그 속의 원리를 '이해(일반화)'하는 것인지에 대한 근본적인 질문이 있다.

"How much do language models memorize?" 논문은 이 질문에 정보 이론을 바탕으로 명확한 경계와 정량적 측정 기준을 제시한다.

이 연구는 LLM의 작동 방식을 더 깊이 이해하고, 프라이버시와 AI 윤리 문제에 대한 중요한 시사점을 제공한다.

 

---

핵심 개념: 암기와 일반화, 그리고 '용량'의 발견

이 논문은 기존에 막연하게 여겨졌던 '암기'와 '일반화'를 엄밀하게 분리하여 정의하는 것에서 출발한다.

 

암기(Memorization) vs. 일반화(Generalization)

• 암기 (Memorization): 모델이 훈련 데이터의 특정 샘플을 그대로 저장하는 것이다.
  • 시험 전 문제의 답만 외우는 것과 같다. 외운 문제는 맞출 수 있지만, 처음 보는 문제는 풀지 못한다.
• 일반화 (Generalization): 데이터에 담긴 공통적인 패턴이나 규칙을 학습해, 본 적 없는 새로운 데이터에도 적용하는 능력이다.
  • 수학 공식을 이해하여 어떤 응용 문제가 나와도 풀어내는 것과 같다.

 

AI의 핵심 성능은 일반화 능력에서 나오며, 이 논문은 모델이 언제 암기를 멈추고 일반화를 시작하는지에 주목한다.

 

최초의 정량적 측정: 파라미터당 3.6 비트

연구진은 실험을 통해 LLM이 순수하게 정보를 암기하는 데 사용할 수 있는 용량의 한계를 계산했고, 그 결과는 일관적이었다.

LLM은 파라미터 1개당 약 3.6비트(bit)의 정보를 저장할 수 있다.

이는 모델의 전체 암기 용량이 (총 파라미터 수) × 3.6비트라는 것을 의미한다.

예를 들어, 8억 개의 파라미터를 가진 모델은 약 343MB 분량의 무작위 정보를 완전히 외울 수 있다.
만약 학습 데이터가 이 용량을 초과하면, 모델은 더 이상 개별 정보를 외우는 것을 포기하고 데이터의 패턴을 학습하는 일반화 모드로 전환된다.

이 결과를 얻기 위해 연구진은 일반화 가능성을 원천적으로 차단하는 실험을 설계했다. 즉, 완전히 무작위적인 비트스트링(패턴이 없는 데이터)을 데이터셋으로 사용했다. 이 데이터셋을 다양한 크기의 트랜스포머 모델에 학습시키면서, 데이터셋의 크기를 점차 늘려 모델이 더 이상 외우지 못하는 포화 지점을 찾았다. 모델이 암기할 수 있는 정보의 총량(비트 수)을 모델의 파라미터 개수로 나누어 파라미터당 암기 용량을 계산했다.

 

---

모델의 학습 방식: 암기 포화와 일반화의 시작

모델의 암기 용량은 데이터셋 크기와 상호작용하며 학습 방식을 결정한다.

• 모델 용량 > 데이터셋 크기
  • 모델은 데이터셋 전체를 암기할 수 있다.
• 모델 용량 < 데이터셋 크기
  • 모델의 암기 용량이 가득 차 '포화' 상태가 된다.
  • 이때부터 모델은 한정된 자원으로 정보를 효율적으로 처리하기 위해, 개별 데이터를 외우기보다 공통된 규칙을 찾는 일반화에 집중한다.

이 전환 과정에서 특정 구간에 모델의 오차율이 다시 한번 감소하는 '이중 하강(double descent)' 현상이 관찰되기도 한다.

또한, "이 데이터가 학습에 사용되었는가?"를 맞추는 멤버십 추론(Membership Inference) 공격은 모델 용량이 데이터셋보다 훨씬 클 때만 유효하며, 현대 LLM처럼 방대한 데이터를 학습한 경우 사실상 불가능하다는 점을 실험적으로 증명했다. 데이터가 너무 많아 개별 샘플을 일일이 기억하지 않기 때문이다.

 

---

이 연구의 의의: 실용적 관점

이러한 발견은 학술적 의미를 넘어 AI 기술의 여러 측면에 구체적인 영향을 미친다.

1. 개인정보 보호와 AI 윤리

모델의 암기 용량을 알면, 훈련 데이터에 포함된 민감한 개인정보가 유출될 위험을 정량적으로 평가할 수 있다.

예를 들어, 모델의 총 암기 용량을 훨씬 초과하는 대규모 데이터셋으로 학습시켰다면, 특정 개인정보가 그대로 암기되었을 확률은 거의 0에 수렴한다고 이론적으로 판단할 수 있다. 이는 모델을 배포하거나 공개할 때 중요한 안전 기준을 제공한다.

 

2. 모델 개발자를 위한 가이드

개발자들은 이 원리를 활용해 더 효율적이고 안전한 모델을 설계할 수 있다.

• 데이터 설계: 모델이 암기 대신 일반화를 하도록 유도하려면, 데이터셋의 정보량이 모델의 총 암기 용량보다 충분히 커야 한다는 명확한 가이드라인을 얻을 수 있다.
• 위험 구간 식별: "모델이 데이터를 통째로 외우기만 하는 위험 구간"과 "본격적으로 지능을 발휘하는 일반화 구간"을 사전에 예측하여 학습 전략을 수립할 수 있다.

 

3. AI 성능 평가의 새로운 관점

AI의 성능은 결국 일반화 능력으로 평가된다. 이 연구는 암기와 일반화를 분리할 수 있는 척도를 제공함으로써, 모델의 성능을 더 깊이 있고 다각적으로 평가할 수 있는 새로운 관점을 제시한다.

 

---

결론

"How much do language models memorize?" 논문은 LLM이 '단순 암기 기계'인지 '추론하는 지능'인지에 대한 오랜 질문에 정량적 접근법을 제시했다. 파라미터당 3.6비트라는 구체적인 수치를 통해 암기의 물리적 한계를 정의했고, 그 한계를 넘어서는 지점에서 일반화가 시작됨을 밝혔다. 이 연구는 AI의 프라이버시, 안전성, 성능 평가에 있어 중요한 기준을 제시했다는 점에서 의의가 있다.

 

읽고나니, 아래 논문하고 일맥상통한 부분이 있다.
https://arxiv.org/pdf/2201.02177