AI 요약관련 정보

• 메시지는 챗 컴플리션 모델과 상호작용하는 입력 토큰이며, 모델은 이 메시지 순서를 컨텍스트로 인식함 💬
• 유료 모델은 프리픽스 캐시를 지원하여, 반복되는 질문의 토큰에 대해 과금을 줄여 비용을 절감할 수 있음 💰
• 시스템 프롬프트는 모델 학습 시 가장 앞에 위치하는 경우가 많아, 메시지 리스트의 첫 번째로 배치하는 것이 안전함 🛡️
• 시스템 프롬프트가 길어지면 어텐션 메커니즘에 의해 영향력이 약해질 수 있으므로, 유저 프롬프트에서 리마인드하는 방식으로 강화할 수 있음 💡
• 시스템 프롬프트를 활용하면 모델 성능이 향상되지만, 유저 프롬프트와의 적절한 분배가 중요함 ⚖️
• 제로샷, 원샷, 퓨샷은 예시 제공 방식에 따른 분류이며, 예시는 강력한 제약 조건으로 작용하여 모델의 사고를 제한할 수 있음 🤖
• 제로샷으로 문제를 해결하는 것이 가장 안전하며, 예시를 제공할 경우 모델이 예시대로만 답변하는 경향이 있으므로 주의해야 함 ⚠️