AI 요약관련 정보

• LayerNorm은 이름과 달리 실제로는 표준화(Standardization)를 수행합니다. 🧪
• 정규화 차원은 평균과 표준편차를 계산하는 범위를 의미합니다. 📏
• 일반적인 LayerNorm은 한 차원에 대해서만 정규화를 수행합니다. 1️⃣
• LayerNorm을 두 차원으로 표현한 그림은 오해를 불러일으킬 수 있습니다. 🖼️
• 실제 LayerNorm 사용 사례에서는 여러 차원에 걸친 정규화는 드뭅니다. 🦄