토
토스
January 14, 20251회
토스증권 Apache Kafka 데이터센터 이중화 구성 #2: 데이터 미러링
간단 소개
토스증권은 Active-Active Kafka 운영을 위해 자체 개발한 양방향 데이터 미러링 도구를 통해 데이터 정합성을 보장하고 운영 효율성을 높였습니다.
AI Summary
- 양방향 데이터 미러링 필요성
- 토스증권은 Active-Active Kafka 운영을 위해 양방향 데이터 미러링이 필요했습니다.
- 사용자 편의성을 위해 데이터센터에 상관없이 동일한 토픽명으로 접근 가능한 환경을 목표로 했습니다.
- 토스증권의 데이터 미러링 도구
- Kafka Connect 프레임워크의 Sink Connector를 활용하여 양방향 데이터 복제를 구현했습니다.
- 메시지 헤더에 Source DC 정보를 추가하여 무한 루프 문제를 해결하고 데이터 정합성을 유지했습니다.
- **DLQ(Dead Letter Queue)**를 통해 처리 실패 메시지를 관리하고 재처리 시스템을 구축하여 데이터 유실을 방지했습니다.
- 모니터링 및 클러스터 운영
- 커스텀 메트릭 리포터를 개발하여 Kafka로 메트릭을 전송하고 ClickHouse에 저장하여 실시간 모니터링 및 분석을 수행했습니다.
- 대규모 클러스터를 분리하여 Connector 잡의 Task 수를 유연하게 조정하고 운영 안정성을 향상시켰습니다.
Next Feeds
RDS MySQL에서 RDS Aurora로 DB이전 다운타임 최소화 하기
RDS MySQL에서 AuroraDB로의 DB 이전 시 다운타임을 최소화하는 전략과 구체적인 설정 및 오류 처리 방법을 제시합니다.
AuroraDBRDS MySQLDB 이전다운타임 최소화Replication
2025. 1. 14.
리멤버
2024 암호분석경진대회 참가 후기 (feat. 문제 유형 및 배경 지식)
2024 암호분석경진대회 참가팀의 후기 및 문제 유형(AI, 부채널 분석, 공개키 암호 등) 소개. 팀워크를 통해 최우수상 수상.
암호분석경진대회암호인공지능부채널 분석역공학
2025. 1. 14.
현대자동차
AWS re:Invent 2023 참관기
AWS re:Invent 2023 참관 후기: 주요 내용, 준비 팁, 현장 분위기, 인상적인 세션 및 새로운 기술 트렌드 공유.
AWS re:InventAmazon BedrockOpenSearchGenAINetworking
2025. 1. 13.
리멤버
리멤버 웹 서비스 좌충우돌 Yarn Berry 도입기
리멤버 웹 서비스의 Yarn Berry 도입 과정, 주요 특징, 트러블 슈팅 경험 및 최종 효과를 공유합니다.
Yarn BerryPnPZero-Installs패키지 매니저빌드 시간 단축
2025. 1. 13.
리멤버
AI 명함촬영인식 ‘리오(RIO)’ 적용기 2부 — ML Model Converter와 안드로이드 앱 적용기
AI 명함 촬영 인식 '리오(RIO)'를 Client-Side Computing 환경에 적용하기 위한 ML 모델 변환 및 안드로이드 앱 적용 과정을 설명합니다.
AI명함인식Client-Side ComputingTensorFlow LiteONNX
2025. 1. 13.
리멤버
리멤버 유저에게 보다 깨끗한 명함 이미지 제공을 위한 이미지 복원 방법
리멤버 명함 이미지 복원 기술: 저해상도 개선, 노이즈 제거, 딥러닝 기반 최신 이미지 복원 방법 소개 및 적용 고려 사항.
이미지 복원Super-ResolutionDenoising딥러닝명함인식
2025. 1. 13.
리멤버