보배로움

https://arxiv.org/pdf/2505.24832위 논문을 읽고 내용을 정리했다. LLM은 얼마나 암기하고, 언제부터 이해할까?대형 언어 모델(LLM)이 방대한 데이터를 학습할 때 정보를 그대로 '암기'하는 것인지, 그 속의 원리를 '이해(일반화)'하는 것인지에 대한 근본적인 질문이 있다."How much do language models memorize?" 논문은 이 질문에 정보 이론을 바탕으로 명확한 경계와 정량적 측정 기준을 제시한다.이 연구는 LLM의 작동 방식을 더 깊이 이해하고, 프라이버시와 AI 윤리 문제에 대한 중요한 시사점을 제공한다. 핵심 개념: 암기와 일반화, 그리고 '용량'의 발견이 논문은 기존에 막연하게 여겨졌던 '암기'와 '일반화'를 엄밀하게 분리하여 정의하는 것에서 출..