당근 피드시스템 안정성 향상기: 프로파일링부터 서킷 브레이커까지

당근 피드 시스템의 안정성 향상 과정을 담은 글입니다. 2024년 잦은 장애의 원인이 복잡한 의존성 구조임을 인지하고, 프로파일링, 서킷 브레이커, PGO 등의 기술을 적용하여 시스템을 개선했습니다.

• 프로파일링을 통한 성능 개선
  • CPU, 메모리 프로파일링을 통해 병목 지점을 파악하고 문자열 연산, 메모리 할당 최적화 진행
  • strings.Builder를 사용하고, 슬라이스 초기 용량 지정, 메모리 풀링 등을 통해 성능 향상
• 서킷 브레이커를 통한 장애 격리
  • 외부 서비스 호출 실패 시 서킷 브레이커를 통해 시스템 보호
  • API별 독립적인 서킷 브레이커를 구현하여 장애 범위 최소화
• PGO 및 모니터링 시스템 구축
  • 프로덕션 환경의 프로파일 데이터를 활용한 PGO 빌드 파이프라인 구축
  • SLA, SLO, SLI 기반의 통합 모니터링 대시보드를 구축하여 시스템 상태를 실시간으로 파악