Kafka Message Conversion (Serial/Deserializing)

간단 소개

Kafka 메시지 변환 과정에서 JsonDeserializer 설정 및 오류 처리 방법을 분석하고, 최적의 해결책을 제시합니다.

AI Summary

Kafka 메시지 변환 방식 비교 및 선택
- 기존 방식은 StringDeserializer를 사용하여 메시지 Value를 String으로 받은 후 ObjectMapper로 변환하는 방식이었음.
- Producer에서는 JsonSerializer를 통해 직접 변환하여 전송하고 있었음.
- Consumer에서 JsonDeserializer를 사용하여 바로 변환하는 방식에 대한 탐구 진행.
JsonDeserializer 설정 및 문제 해결
- JsonDeserializer 설정 시, 신뢰할 수 없는 패키지 문제 및 클래스 경로 문제 발생.
- TYPE_MAPPINGS 설정을 통해 해결 가능하나, 휴먼 에러 및 관리 포인트 증가 우려.
- useHeadersIfPresent 옵션을 false로 설정하여 헤더의 타입 정보를 무시하고 내부 DTO로 바로 변환하는 방식으로 해결.
ErrorHandlingDeserializer를 통한 오류 처리
- Parsing 오류 발생 시 무한 루프 방지를 위해 ErrorHandlingDeserializer 사용 권장.
- 오류 발생 시 슬랙으로 메시지 전송 후 null 처리하는 방식으로 구현.
- 재처리 또는 Failover 처리를 위해서는 추가 작업 필요.