dhlee-note

본 논문은 2025년 Stanford 대학교에서 발표한 "Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity" 논문 입니다. 한국어로 번역하면 "언어적 샘플링: 모드 붕괴를 완화하고 LLM 다양성을 확보하는 방법" 입니다. 제목에서 알 수 있듯이 LLM 답변의 다양성이 감소되는 문제에 대한 원인과 학습 없이 이를 해결하는 방법에 대한 내용에 담고 있습니다. Paper: https://arxiv.org/abs/2510.01171 Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM DiversityPost-training alignment often reduc..

지난 게시글에서는 Langchaindml 패키지 그룹과 주요 컴포넌트에 대해서 정리했습니다. 2025.09.08 - [AI] - LangChain의 패키지 그룹과 주요 컴포넌트 정리 LangChain에서 특히 중요한 컴포넌트는 LLM/Chat model, Prompt template, Output parser, Chain, RAG 관련 컴포넌트라고 하였습니다. 이번 글에서는 그중에서도 LLM/Chat model 컴포넌트 사용 방법과 예시에 대해서 정리하도록 하겠습니다. LLM/Chat modelLLM과 Chat model 모두 언어 모델을 LangChain 방식으로 사용할 수 있는 래퍼입니다.LLM은 하나의 텍스트 입력에 대해 하나의 텍스트 출력을 반환하는 형식이고,Chat model은 채팅 형식의 언..

Transformer 모델의 핵심인 Attention 메커니즘은 모델의 성능에 막대한 영향을 끼칩니다. 하지만 Attention 점수가 지나치게 커지거나 작아지면, gradient 흐름이 불안정해져 모델 학습이 어려워질 수 있습니다. 이런 문제를 해결하기 위한 대표적인 기법으로 최근 QK-Norm(Query-Key Normalization)이 사용되고 있습니다. Gemma 3는 Gemma 2의 soft-capping을 QK-norm으로 대채했다고 하며, Qwen 3에서도 QK-norm을 도입했다고 합니다. Gemma 2에서 사용했던 soft-capping은 무엇이고, Gemma 3와 Qwen 3에서 사용된 QK-norm은 무엇인지 간단하게 정리해보겠습니다.soft-cappingsoft-capping이란 ..

Grouped-Query Attention은 2023년 Google Research에서 발표한 기술로, Meta의 LLaMA2, Google의 Gemma에서 사용되었으며, 추론 속도를 빠르게 해주는 기술입니다.GQA와 함께 Multi-Head Attention(MHA), Multi-Query Attention(MQA)에 대해서도 간략하게 정리하려고 합니다.Multi-Head Attention(MHA)Multi-Head Attention(MHA)은 2017년 Attention Is All You Need에서 제안되었습니다.각 attention head는 독립적인 Query, Key, Value를 가지며, 다양한 시각에서 입력 토큰 간 관계를 파악합니다.장점: 풍부한 표현력, 다양한 attention 시각 ..

2025년 03월 Google DeepMind에서 오픈소스 AI 모델 시리즈인 Gemma 3를 공개했습니다. Gemma3는 이미지 이해, 다국어 지원, 최대 128K 토큰까지 긴 문맥 이해 능력이 추가되었습니다. 이번 포스팅에서는 Gemma 3 Technical Report 읽고 정리한 내용을 공유드리도록 하겠습니다.논문 정보제목: Gemma 3 Technical Report저자: Gemma Team, Google DeepMind발행일: 2025년 3월 12일링크: https://arxiv.org/abs/2503.19786요약Gemma 3는 1B, 4B, 12B, 27B 파라미터로 다양하게 제공되며, 휴대폰, 노트북, GPU에서도 실행할 수 있도록 최적화되어 있습니다. 또한, 이미지 이해, 다국어 이해,..