AI 요약관련 정보

• AI의 출력 토큰 생성에 영향을 미치는 파라미터는 학습과 무관하게 개발자가 AI의 응답 방식에 개입할 수 있는 부분입니다. ⚙️
• 진정한 지능은 입력에 대해 항상 동일한 출력을 내는 함수가 아닌, 다양성과 랜덤성을 내포해야 합니다. 🎲
• AI는 다음 출력 토큰이 될 확률(로짓)을 모든 토큰에 대해 계산하며, 이는 코사인 유사도를 통해 이루어지지만, 이 자체로는 항상 동일한 결과가 나옵니다. 📊
• Top K 파라미터는 다음 토큰 후보군 중 상위 K개만 선택하여 다양성을 조절합니다. 🎯
• Top P 파라미터는 누적 확률이 P를 넘는 토큰들만 후보군으로 선택하여, 유사도가 낮은 토큰도 포함시킬지 결정합니다. ⚖️
• Top K와 Top P를 적절히 조합하여 모델의 '엉뚱함' 또는 '창의성' 정도를 조절할 수 있습니다. 🧪
• Temperature는 소프트맥스 함수의 적용 강도를 조절하여 확률 분포의 '날카로움'을 제어합니다. 🌡️
• 소프트맥스는 확률 분포에서 중앙값에 가까운 애매한 값들을 극단값으로 밀어내어, 확률 구분을 더욱 뚜렷하게 만듭니다. 📈
• Temperature 값이 낮을수록(예: 0.1) AI는 함수처럼 예측 가능하고 정직한 답변을 하며, 값이 높을수록(예: 2.0) 흐릿하고 엉뚱한 답변을 생성합니다. 🧊🔥
• 일반적인 AI 응답에는 0.7~0.9 사이의 Temperature 값이 권장되며, 1.0을 넘으면 매우 괴팍하거나 비정상적인 응답이 나올 수 있습니다. 🧠
• Max Tokens는 답변의 최대 길이를 지정하며, 이 값을 줄인다고 해서 AI가 답변을 요약해 주는 것이 아니라 단순히 잘라냅니다. ✂️
• 이러한 옵션들을 이해하고 활용하면 프롬프트 없이도 AI의 톤 앤 매너를 정교하게 조절하여, 함수적인 사용부터 창의적인 사용까지 다양한 목적에 맞게 AI를 제어할 수 있습니다. 🛠️