데브허브 | DEVHUB | My biggest failure to dateMy biggest failure to date
- T3 Chat은 첫 대규모 서비스 중단을 겪었으며, 이는 몇 시간 동안 사이트가 거의 사용 불가능하게 만들었습니다. 📉
- 주요 원인은 Convex 웹소켓 연결 계층의 문제였고, Convex 측의 구현 오류도 일부 기여했습니다. 🔌
- 이번 사태는 MySQL(PlanetScale)에서 Convex로의 대규모 데이터베이스 마이그레이션 과정에서 발생했으며, 이는 코드베이스의 상당 부분을 재작성하는 수준이었습니다. 🔄
- 기존 IndexDB 기반의 클라이언트 측 데이터 저장 방식은 많은 문제를 야기했으며, Convex는 실시간 데이터 동기화의 복잡성을 크게 줄여주었습니다. 💾
- 메시지 생성 시 높은 처리량(초당 300토큰)을 위해 낙관적 업데이트와 최종 상태 Convex 저장을 결합한 하이브리드 모델을 채택했습니다. 🚀
- 첫 마이그레이션 시도 실패는
open-o 인증 라이브러리의 JWT ID 형식 오류 때문이었고, 이는 자체 인증 구현의 위험성을 보여주었습니다. 🔑
- 베타 버전을 통해 사용자 1/4이 새로운 코드베이스로 전환하여 성능 특성을 파악했지만, 최종 전환 시 5분간의 서비스 중단이 발생했습니다. 🧪
- Work OS는 OpenAI, Anthropic 등 대기업이 사용하는 엔터프라이즈 인증 솔루션으로, SAML, Okta 통합의 복잡성을 해결해줍니다. 💼