중앙집중식 syslog 설정 및 관제

사람인 SRE팀에서 중앙집중식 syslog 시스템을 구축하고 관리하는 방법에 대한 글입니다. rsyslog를 사용하여 로그를 수집, 저장, 전송하고, Elasticsearch, Logstash, Filebeat, Elastalert를 활용하여 로그를 분석하고 알림을 설정하는 과정을 설명합니다.

• rsyslog 설정 및 활용
  • rsyslog를 사용하여 로그를 중앙 서버로 포워딩하고, 로컬 디스크에 백업합니다.
  • 로그 포맷을 rfc3339 표준에 맞춰 Elasticsearch의 @timestamp 값으로 사용합니다.
  • debug 레벨 로그를 제외하고, 로그 서버 이중화를 통해 안정성을 확보합니다.
• 로그 수집 및 분석
  • 수신된 로그에 IP 주소, facility, severity 정보를 추가하여 Elasticsearch에서 검색 효율성을 높입니다.
  • Logstash의 grok 필터를 사용하여 로그 내용을 파싱하고, Filebeat를 통해 로그 파일을 지속적으로 수집합니다.
• Elastalert를 이용한 로그 관제
  • Elastalert를 사용하여 Elasticsearch의 데이터를 기반으로 알림을 설정합니다.
  • kernel 로그의 중요도를 높게 평가하여 facility와 severity를 기준으로 알림 정책을 세분화합니다.
  • 장비별 알람을 위해 aggregation을 적용하고, 알람 내용을 통해 상황을 파악할 수 있도록 합니다.