AI 요약관련 정보

• LLM은 인간이 이해하기 어려운 방식으로 어텐션 편향을 유도하여 원하는 결과를 생성하는 프롬프트를 작성할 수 있음 🤖
• 프롬프트 제작 시 해결할 문제의 특수성보다 일상적 사용 빈도가 더 중요하며, 빈번히 사용될수록 일관성이 중요해짐 🔄
• LLM은 채팅방 제목 자동 요약과 같이 기존 코드로 해결하기 어려웠던 문제들을 해결하며, 이는 개발자에게 새로운 과제가 됨 💬
• 작은 컨텍스트를 가진 저성능 모델이 작은 업무에 더 적합하며, 고성능 모델은 큰 컨텍스트가 필요한 복잡한 문제 해결에 필요함 🧠
• 정확도 척도는 사람이 이해 가능한 수준, 서비스 노출 가능 수준, 프로그램 연동 가능 수준으로 나눌 수 있음 ✅
• 디코더 트랜스포머는 모든 토큰을 대상으로 어텐션을 계산하여 문맥 속 토큰의 의미를 재계산하며, 이는 어텐션 편향을 유도함 🧐
• 어텐션 희석을 방지하려면 토큰 임베딩 차원을 늘려 토큰의 영향력을 유지해야 함 📈
• 함수적 호출에 대응하는 LLM을 사용하려면 정교한 프롬프트 기술이 필요하며, 모델이 미리 학습된 편향으로는 부족함 🤔
• 튜닝 모델은 프롬프트가 잘 안 먹힐 수 있으므로, 함수처럼 사용하려면 프롬프트 유도가 잘 되는 모델이 유리함 💡
• yaml 형식이 json 형식보다 어텐션 메커니즘에서 더 잘 인식되므로, 프롬프트 작성 시 yaml을 활용하는 것이 좋음 🔑
• LLM을 활용하여 프롬프트를 개선하는 과정을 반복하면 인간이 작성할 수 없는 수준의 정교한 프롬프트를 얻을 수 있음 ✨