AI 요약관련 정보

• 쿼리(query)는 정보를 찾는 주체이고, 키(key)와 밸류(value)는 정보 후보 대상이므로 성질이 다르다.🔎
• Transformer의 cross-attention에서 쿼리는 디코더 입력, 키와 밸류는 인코더 출력으로 도메인이 다르다.🌐
• 쿼리와 키는 가중치를 생성하는 데 사용되지만, 밸류는 작업 관련 결과 벡터를 생성한다.⚖️
• 밸류는 특정 작업(예: 번역)에 대한 정보를 담도록 학습되지만, 쿼리와 키는 관련성 가중치를 학습한다.🎯
• 쿼리 또는 밸류 모두 질문에 대한 답이 될 수 있으며, 상황에 맞는 설명을 제시하는 것이 중요하다.🗣️