보배로움

https://arxiv.org/pdf/2505.24832위 논문을 읽고 내용을 정리했다. LLM은 얼마나 암기하고, 언제부터 이해할까?대형 언어 모델(LLM)이 방대한 데이터를 학습할 때 정보를 그대로 '암기'하는 것인지, 그 속의 원리를 '이해(일반화)'하는 것인지에 대한 근본적인 질문이 있다."How much do language models memorize?" 논문은 이 질문에 정보 이론을 바탕으로 명확한 경계와 정량적 측정 기준을 제시한다.이 연구는 LLM의 작동 방식을 더 깊이 이해하고, 프라이버시와 AI 윤리 문제에 대한 중요한 시사점을 제공한다. 핵심 개념: 암기와 일반화, 그리고 '용량'의 발견이 논문은 기존에 막연하게 여겨졌던 '암기'와 '일반화'를 엄밀하게 분리하여 정의하는 것에서 출..

연휴가 참 기네요.할 것도 없고... 그래서 이번에는 Tempo 내부 컴포넌트를 다뤄보겠습니다.Tempo에는 (특이하게) Metrics-generator라는 컴포넌트가 존재합니다.Tracing Backend 역할을 담당하는 Tempo가 Metrics과는 무슨 상관일까요?이에 대해 공식문서를 보고 간단히 정리해보고자 합니다. 자세한 내용은 아래 문서를 참조해주세요. Metrics-generator | Grafana Tempo documentationMetrics-generator Metrics-generator is an optional Tempo component that derives metrics from ingested traces. If present, the distributor writes r..

연휴에 Loki 구조에 대해 학습하며 간단하게 정리한 내용이 있어 공유해보고자 합니다.아무런 이해 없이 PoC하며 여러 문서들을 살펴보고 처음 정리해 본 내용으로서 부족한 부분이 많습니다.더 자세히 살펴보고 싶다면, 아래 공식문서들을 참조해보시면 좋을 것 같습니다. Loki architecture | Grafana Loki documentationLoki architecture Grafana Loki has a microservices-based architecture and is designed to run as a horizontally scalable, distributed system. The system has multiple components that can run separately and..

k6 문서를 읽다보니 테스트 종류에 대한 글이 눈에 들어왔다. Load test types | Grafana k6 documentationLoad test types Many things can go wrong when a system is under load. The system must run numerous operations simultaneously and respond to different requests from a variable number of users. To prepare for these performance risks, teams use load testing.grafana.com서버 성능 테스트에도 종류가 여러가지 있음에도 보통 Load Testing만 해왔던 것 같다.공부하..

SLI (Service Level Indicator)서비스 수준을 측정하는 실제 지표 => "무엇을 측정할 것인가?"Example요청 성공률: (성공한 요청 수 / 전체 요청 수) × 100%응답시간: API 응답 시간의 p95 값시스템 가용성: (전체 시간 - 장애 시간) / 전체 시간 × 100% SLO (Service Level Objective)SLI에 대한 목표치 => "어느 수준을 달성할 것인가?"Example월간 가용성 99.95% 이상 달성API 응답시간 p95가 300ms 이하분당 에러율 0.1% 미만 유지 SLA (Service Level Agreement)서비스 제공자와 고객간의 공식적인 계약 => "고객에게 어떤 서비스 품질을 보장할 것인가?""계약"이므로 위반 시 보상조항이 포함됨..

메트릭 혹은 성능 테스트 결과를 보다보면, 많이 볼 수 있는 숫자가 있다.P90, P95, P99 이 숫자가 의미하는 것은 무엇일까? => 바로 백분위수(Percentile)이다.백분위 수는 전체 데이터를 순서대로 나열했을 때, 특정 위치의 값을 의미한다.p90은 90번째 백분위수라는 의미로 전체 데이터 중 90%가 이 값보다 작다는 의미이다.예를 들어, Resposne time이 p90 = 200ms라면, 전체 요청 중 90%는 200ms보다 빠르게 처리된다는 것. Percentile / 백분위수의 필요성그럼, 왜 p90, p95, p99을 나눠서 볼까?p90: 상위 10%를 제외한, 일반적인 상황의 성능을 보여준다p95: 상위 5%를 제외한, 조금 더 엄격한 기준의 성능을 보여준다p99: 상위 1%를..

Trace를 학습하다보면 "Sampling", "샘플링"에 대해 필수적으로 알아야 한다.근데 주변에서 가끔 헷갈려하시는 분들이 있어 글로 좀 정리해보자 한다.본 글의 내용은 아래 Opentelemetry 공식문서 글을 참조했다. SamplingLearn about sampling and the different sampling options available in OpenTelemetry.opentelemetry.io Sampling? 샘플링?Sampling / 샘플링모든 가시성 지표를 저장하지 않고, 대표적인 데이터만(대표성을 띄는 데이터만) 저장하는 것'대표성'이라는 건 작은 그룹이 더 큰 그룹을 정확하게 대표할 수 있다는 원칙 (위 그림이 이를 잘 표현하는 그림) "Sampling 됬어?" 같은 ..

오늘은 Github issue 내용을 Github 파일로 동기화 시키는 Github action 개발기를 이야기 해볼까 해요.오늘 이야기 할 Github action은 Marketplace에서 확인 및 사용할 수 있어요. Issue to File Sync - GitHub MarketplaceSync GitHub issues to files with customizable paths and labelsgithub.com 개발 동기 개발자들은 Github repository에 문서를 모아두기도 하고, 블로그를 운영하며 글을 작성해두기도 해요.저 또한 마찬가지였어요. 문서를 정리해 Github repository에 올려두기도 하고(지금은 미사용 중이긴 하지만) github.io 블로그가 있어 해당 글을 작성할..