AWS 관리형 서비스를 활용한 실시간 지능형 뉴스 기반 주가 영향도 분석 시스템

간단 소개

AWS 관리형 서비스를 활용하여 실시간 뉴스 기반 주가 영향도 분석 시스템을 구축하고 분석 결과를 활용하는 방법을 제시합니다.

AI Summary

실시간 지능형 뉴스 기반 주가 영향도 분석 시스템
- 주식 가격은 뉴스에 민감하게 반응하며, Apache Flink는 실시간 분석에 적합.
- Amazon MSF는 Flink 운영 부담을 줄여주고, 자동 확장, 통합 보안, 비용 최적화, 고가용성을 제공.
시스템 아키텍처 및 AWS 서비스
- Amazon MSK는 대용량 데이터 스트리밍을 위한 메시지 브로커 역할, Flink와 연동하여 데이터 인프라 핵심 역할 수행.
- Amazon Bedrock은 LLM API를 통해 뉴스 텍스트의 감정 분석과 요약을 실시간으로 처리.
- Amazon Data Firehose는 MSK 처리 결과를 S3로 전송, Amazon S3는 분석 결과를 저장하고 다양한 분석 및 활용을 지원.
시스템 설계 및 분석
- MSF의 FlinkSQL을 활용해 Kafka 기반 Source/Sink 테이블 설정, Bedrock API 호출 함수 등록.
- 뉴스 데이터와 주식 거래 데이터를 Interval Join하여 분석, Firehose를 통해 MSK 데이터를 S3에 적재.
- 분석 결과는 주가 반응 속도 비교, 뉴스 주제와 주가 움직임 간 상관관계 파악 등에 활용 가능.