선수로 산다, 때론 좋은 코치로

windows 10에서 redis 사용하기 - update 몇 년 전(2018년)에 windows 10에서 redis 사용하기라는 글을 올렸습니다. 제품 개발할 때 일반 DBMS 대신 elasticsearch를 사용하고 있었을 때였습니다. IDS에서 탐지한 이벤트를 엘라스틱서치에 입력하기 위해서 redis를 사용하려고 했을겁니다. 윈도우즈를 지원하지 않는 redis를 윈도우에서 사용하려면 어떻게 할까요? 세월이 흘렀으니 몇가지 상황을 정리해 보자면 레디스(현재 6.0.8)는 여전히 윈도우를 지원하지 않습니다. 윈도우는 WSL를 이용하여 cygwin 같은 도구 없이리눅스를 사용할 수 있습니다. 게다가 WSL2로 업그레이드 되었습니다. 윈도우 홈버전에서는 VirtualBox를 활용하여 docker(Dock..

suricata의 로그를 kibana로 모니터링하기 kibana로 모니터링하기 위해서는 데이터를 elasticsearch에 넣어야 한다. elasticsearch에 데이터를 넣으려면 logstash나 filebeat를 이용하면 되는데, pfSense에 포함된 suricata를 이용하면 logstash나 filebeat를 이용하기 어렵다. 어려운 이유는 pfSense에 있는 suricata의 alert log를 elastic stack으로 모니터링하기를 참고하기 바란다. suricata는 redis에 로그를 전송할 수 있다. 따라서 suricata + redis + logstash + elasticsearch + kibana 로 연결이 가능하다. suricata 설정(suricata.yaml) ...더보기..

pfSense에 있는 suricata의 alert log를 elastic stack으로 모니터링하기suricata + elastic stackLogstash Kibana and Suricata JSON outputSuricata 2.0rc1와 Kibana 3 버전을 이용한 방식suricata에서 eve.json 파일로 로그를 남기도록 설정한다.logstash에서 eve.json 파일을 json codec 으로 읽어들인다 Suricata + ELK5 + KTS5suricata에서 eve.json 파일로 로그를 남기도록 설정한다.filebeat를 설치하여 eve.json 파일을 logstash로 전송한다. pfsense + suricata + elastic stackpfsense는 OS가 BSD 기반입니다...

elasticsearch on docker - wsl(windows subsystem linux)에서 안됩니다.정확하게는 Windows 10 Home 버전, wsl로 ubuntu를 설치한 환경에서는 docker를 사용할 수 없습니다.wsl + ubuntu + docker 로 검색하면 찾을 수 있는 대부분의 문서는 docker client를 설치하는 방법을 설명하고 있습니다. 어렵지는 않지면 여러 절차를 따라해서 설치하고 나면 마지막에 docker server와 연결해야 한다고 합니다.wsl은 docker server를 지원하지 않습니다. docker server는 docker for windows를 설치해야 합니다. docker for windows는 windows 10 pro 버전에 설치할 수 있습니다..

[검토] syslog 수집 분석 아키텍처 syslog 를 수집해서 elasticsearch 로 분석하는 효과적인 아키텍처 검토검토할 항목을 정리했습니다. 정리가 완료되면 링크로 연결하려고 합니다. 왜 이런 검토를 하는 지 궁금하다면 How to Deploy the ELK Stack in Production 를 읽어보세요. logstash 과 elasticsearch 사이에 kafka 사용Deploying and Scaling Logstash - elastic(eng)Just Enough Kafka for the Elastic Stack, Part 1 - elastic blog(한국어)Elastic Stack에는 Kafka면 충분합니다 - 2부 - elastic blog(한국어) Kafka® is used..

엘라스틱서치로 우리은행 거래내역 분석하기설날을 맞아 신년 계획을 세운다. 겸사겸사해서 지난 해 지출내역을 확인해 보기로 했다. 평소 가계부를 사용하고 있지 않기 때문데 기존 거래내역을 한 번에 분석해야 한다. 재테크보다는 나와 나의 일에 투자하는 것이 재테크라고 믿고 지내왔다. 앞으로는 예상과 다른 수입이 많지 않을 것이므로 들어오는 수입을 관리할 필요가 있다. 그게 꼭 올해부터는 아니라고 하더라도. 작년 한 해 동안의 수입과 지출을 알아보기 위해서 우리은행 거래내역을 조회했다. 온라인통장은 지난 1년까지 거래내역을 알 수 있다. 거래내역을 모두 받으려면 1년 이내에 주기적으로 조회해야 한다.네이버나 구글에 "우리은행 거래내역 분석"을 검색해도 분석 프로그램을 찾을 수 없어서 엘라스틱서치를 이용해서 간단..

[REST API] 비트코인 시세분석으로 API 배우기 개발자가 아닌 사람들에게 REST API가 유용하다는 것을 어떻게 알려줄까요?REST API 덕분에 개발자는 장비와 서비스 연동이 쉬워졌습니다.REST API 개념을 이해하면 API를 배울 때 도움이 될 겁니다. 개념을 배우는 건 재미없을 가능성이 많습니다. 자주 사용하지 않는 분야이면 관심을 갖기 어렵습니다. 최근 관심이 잦아들었지만, 여전히 관심을 가지고 있는 암호화폐 시세를 API를 이용해서 분석해 보려고 합니다.1. 국내 암호화폐 시세 가져오기 - 빗썸 API/코인원 API2. 글로벌 암호화폐 시세 가져오기 - 3. elasticsearch 를 이용하여 분석하기4. 머신러닝을 이용하여 예측하기, 또는 시세에 영향을 주는 요소 찾아내기 국내 암..

[elastic] 업그레이드 방법 - rolling upgrade elastic stack 6.2가 릴리즈됐습니다. 바로 6.2.1로 업그레이드 되었습니다.https://www.elastic.co/blog/elastic-stack-6-2-0-releasedhttps://www.elastic.co/blog/elasticsearch-6-2-1-released SAML Support - single sign onAudit FilteringSearch Quality and the New Ranking Evaluation APIWell Known Text Support Better Programmatic Access to the Task ManagerJava 9 Support 기존에 사용하던 6.0을 6.2로 업..

logstash에서 syslog 분석 elasticsearch에서 syslog를 분석하기 위해서 syslog 수집이 필요합니다. logstash에서 syslog를 수집하여 elasticsearch로 전송하는 방법을 사용하니, 몇 가지 궁금한 점이 있습니다.syslog 수집의 안정성 -> 별도 데몬을 두는 것이 좋은가?syslog의 원본 메시지 저장 -> logstash의 syslog input이 syslog를 파싱한 후에 넘겨줍니다. 엘라스틱 블로그 자료 중에 Ubuntu 14.04에서 log를 처리하는 방법에 관한 내용이 있습니다.https://www.elastic.co/blog/how-to-centralize-logs-with-rsyslog-logstash-and-elasticsearch-on-ubu..