[elastic] logstash에서 syslog 분석

logstash에서 syslog 분석

elasticsearch에서 syslog를 분석하기 위해서 syslog 수집이 필요합니다.

logstash에서 syslog를 수집하여 elasticsearch로 전송하는 방법을 사용하니, 몇 가지 궁금한 점이 있습니다.

• syslog 수집의 안정성 -> 별도 데몬을 두는 것이 좋은가?
• syslog의 원본 메시지 저장 -> logstash의 syslog input이 syslog를 파싱한 후에 넘겨줍니다.

엘라스틱 블로그 자료 중에 Ubuntu 14.04에서 log를 처리하는 방법에 관한 내용이 있습니다.

https://www.elastic.co/blog/how-to-centralize-logs-with-rsyslog-logstash-and-elasticsearch-on-ubuntu-14-04

The final objectives of this tutorial are to:

• Set up a single, client (or forwarding) rsyslog server
• Set up a single, server (or collecting) rsyslog server, to receive logs from the rsyslog client
• Set up a Logstash instance to receive the messages from the rsyslog collecting server
• Set up an Elasticsearch server to receive the data from Logstash

본문 내용 중에 스터디가 필요한 내용

• sudo 권한을 가지고 있는 non-root user 이용
• 내부 S/W 통신에서 private network address 이용 - rsyslog와 logstash 사이, logstash와 elasticsearch 사이

RSyslog 홈페이지에서 logstash 검색

http://www.rsyslog.com/?s=logstash

• Conneting with Logstash via Apache Kafka
• Coupling with Logstash via Redis
• 오히려 logstash를 사용하지 않고 logstash 포맷으로 elasticsearh로 전송하는 방법에 관한 자료가 있음