GPU, NPU 발전에... 프롬프트 엔지니어링? ㄴㄴ 컨텍스트 엔지니어링의 시대를 열다... 에이전틱AI | RAG | NVLink | NVIDIA | HBM
- AI 개발 트렌드가 프롬프트 엔지니어링에서 컨텍스트 엔지니어링으로 전환되고 있음 ➡️
- 컨텍스트 엔지니어링은 AI가 최상의 결과를 내도록 환경 전체를 설계하는 것을 의미 🏗️
- 트랜스포머 아키텍처의 등장으로 LM이 발전, 프롬프트 엔지니어링이 중요해졌으나 기술적 한계에 부딪힘 🤔
- 프롬프트의 취약성, 지식 단절 문제가 발생하며 AI가 황당한 현상을 일으키기 쉬운 구조적 문제 발생 😵💫
- 컨텍스트 엔지니어링은 필요한 정보, 도구, 지시 사항을 컨텍스트로 구성해 제공하는 시스템 설계 활동 🧰
- 검색 증강 생성(RAG)은 컨텍스트 엔지니어링의 대표적인 기술로, 황각과 지식 단절 문제 해결 🔍
- 벡터 데이터베이스에서 유사한 데이터 조각들을 검색해 LLM에게 전달하여 답변을 생성하게 만듦 📚
- 컨텍스트 윈도우가 커지면서 HBM, NVLink, 인피니밴드와 같은 하드웨어 인프라 기술이 중요해짐 💾
- HBM은 GPU와 메모리 사이의 병목을 해결, NVLink는 GPU 간의 병목을 해결, 인피니밴드는 서버 간의 병목을 해결 🔗
- 컨텍스트 엔지니어링은 스스로 생각하고 행동하는 에이전틱 AI 구현을 지향 🤖
- 에이전틱 AI는 목표를 가지고 계획을 세우고 도구를 사용하며 피드백을 통해 결과를 수정하는 자율적인 시스템 💡
- 리액트 프레임워크는 에이전트가 생각과 행동을 순차적으로 생성하며 작업을 수행하는 방식을 제안 🪜
- 컨텍스트를 얼마나 정교하게 구성하고 제공하느냐가 에이전트의 성능을 좌우함 🔑
- 프롬프트 엔지니어링의 한계를 극복하고 안정적이고 신뢰도 높은 AI를 만들려는 흐름 🌊
- 컨텍스트 엔지니어링은 자율적인 AI 에이전트 구현을 목표로 함 🎯