[검토] syslog 수집 분석 아키텍처

[검토] syslog 수집 분석 아키텍처

syslog 를 수집해서 elasticsearch 로 분석하는 효과적인 아키텍처 검토

검토할 항목을 정리했습니다. 정리가 완료되면 링크로 연결하려고 합니다. 왜 이런 검토를 하는 지 궁금하다면 How to Deploy the ELK Stack in Production 를 읽어보세요.

logstash 과 elasticsearch 사이에  kafka 사용

Deploying and Scaling Logstash - elastic(eng)

Just Enough Kafka for the Elastic Stack, Part 1 - elastic blog(한국어)

Elastic Stack에는 Kafka면 충분합니다 - 2부 - elastic blog(한국어)

Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousands of companies. - kafka.apache.org

아파치 카프카는 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다. 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 스루풋의 낮은 레티어신을 지닌 플랫폼을 제공하는 것이 목표이다. 요컨대 분산 트랜잭션 로그로 구성된, 상당히 확장 가능한 pub/sub 메시지 큐로 정의할 수 있으며, 스트리밍 데이터를 처리하기 위한 기업 인프라를 위한 고부가 가치 기능이다. - 위키백과

kafka는 Message Queue 입니다. 관련 프로그램으로 RabbitMQ가 있고 Redis 도 있습니다.

redis 와 kafka 의 비교

Redis vs. Kafka - stackshare

Redis Cluster vs. Kafka - discuss.elastic.co

Redis Vs Kafka Vs RabbitMQ in ELK - discuss.elastic.co

Kafka vs. Redis: Log Aggregation Capabilities and Performance - logz.io

Understanding When to use RabbitMQ or Apache Kafka - pivotal.io

syslog 수집 엔진 비교

시스로그를 수집해서 redis나 kafka에 입력합니다. output 으로 직접 연결할 수 있으면 좋습니다. 그보다는 시스로그를 수집할 때 성능과 안정성이 중요합니다. 호스트별로 분류하는 기능이 필요합니다.

5 Logstash Alternatives - blog(eng)

syslog-ng vs. rsyslog comparison - syslogng-com

How To Centralize Logs with Rsyslog, Logstash, and Elasticsearch on Ubuntu 14.04 - community

Fluentd vs. Logstash: A Comparison of Log Collectors - logz.io

Filebeat vs. Logstash — The Evolution of a Log Shipper - log.zio

What is the best architecture for a huge amount of syslog data ? - splunk

logstash는 kafkask Redis와 연결이 잘 됩니다. input, ouput을 모두 지원합니다. rsyslog는 어떨까요?

rsyslog와 kafka/Redis 연결

Recipe: rsyslog + Kafka + Logstash - 

Recipe: rsyslog + Redis + Logstash - 

Redis 를 선택해서 사용하고 있습니다.

Redis Data Type

redis Data types - redis.io

Redis Data Type 요약 - blog(한글)

관련 자료

What is Syslog? - blog.rapid7.com