Deeplearning 2

베이지안 정리(Bayes' theorem)

베이지안 정리(Bayes' theorem)는 사전 확률(prior)을 관찰된 데이터 정보를 반영해 사후 확률(posterior)로 갱신하는 규칙입니다. $$ P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)} $$ $ P(A \mid B) $: 사건 B가 일어났다는 정보를 알고 있을 때, A가 일어났을 확률(사후 확률)$ P(B \mid A) $: A가 참일 때 B가 관측될 가능도(우도, likelihood)$ P(A) $: 관측하기 전에 A가 일어날 것으로 믿는 A에 대한 사전 확률(prior)$ P(B) $: B가 관측될 전체 확률로, 사후 확률이 전체적으로 1이 되도록 만드는 역할을 함(evidence, 정규화 상수)예제어떤 질병의 발병률(사전 확률)은 1% (=0.01)이며, 검..

AI 2025.12.07

RMSNorm 수식 및 예시 + (LayerNorm과 비교, pre-norm vs post-norm)

Gemma 3 Technical Report를 읽어보면, RMSNorm을 사용한다고 나와있습니다.RMSNorm은 정규화(Normalization)의 한 방식으로, 평균 대신 RMS(Root Mean Square) 값만을 사용해 입력 벡터를 정규화하는 기법입니다.딥러닝에서는 정규화라는 걸 자주 사용하는데, 모델이 안정적으로 학습되도록 입력값의 크기를 조정하는 역할을 하며, 그래디언트 소실이나 폭주를 방지하는 데도 도움을 줍니다.RMS(Root Mean Square)란?RMS란 제곱평균제곱근이라고 부르며, 어떤 숫자들의 크기를 대표하는 하나의 값으로 나타내고 싶을 때 사용됩니다.특히, 값들이 양수/음수가 섞여 있어도 전체적인 크기를 보고 싶을 때 유용합니다.계산 방법은 다음과 같습니다.숫자들을 제곱함그걸 평..

AI 2025.09.12