데브허브 | DEVHUB | Building an AI-based assessment platformBuilding an AI-based assessment platform
- Firmion은 교육 기관(특히 코딩 부트캠프)이 자체 브랜딩으로 온라인 아카데미를 운영할 수 있도록 돕는 화이트 라벨 SaaS 플랫폼입니다. 🏫
- AI는 전통적으로 사람의 개입이 필요했던 시험 감독 및 평가 작업을 자동화하여 교육 분야의 ROI를 극대화합니다. 🤖
- AI 기반 시험 감독은 응시자의 화면과 카메라를 녹화하고, 시험 중 풀스크린 유지, 탭 전환 금지, 복사/붙여넣기 금지 등의 부정행위 방지 기능을 제공합니다. 👁️🗨️
- 기술적으로는 시험 중 응시자의 화면 공유, 카메라, 마이크 입력을 작은 청크로 분할하여 S3와 같은 객체 스토리지에 실시간으로 업로드합니다. 💾
- 시험 종료 후, 업로드된 청크들을 하나의 MP4 파일로 병합하고, 이 비디오에서 5초 간격으로 프레임을 추출합니다 (예: 30분 영상에서 360프레임). 🎞️
- 추출된 프레임들을 GPT-4 Mini나 Gemini 2.5 Pro와 같은 멀티모달 AI 모델에 전송하여, 배경에 다른 사람이 있는지, 시선이 분산되는지 등을 분석하고 부정행위 점수를 매깁니다. 🕵️♀️
- 마이크 입력은 오디오 이해 모델에 전달하여 분석할 수 있으며, 전체 비디오를 직접 분석하는 것보다 프레임 단위 분석이 비용 효율적입니다. 👂
- 코딩 시험의 경우, AI를 활용하여 코드 스니펫을 텍스트 기반으로 소프트 평가할 수 있어, 멀티모달 AI 없이도 효율적인 평가가 가능합니다. 💻
- 이 AI 기반 평가 기능은 Firmion 플랫폼에 이미 구현되었으며, 곧 모든 사용자에게 정식으로 출시될 예정입니다. 🚀