선수로 산다, 때론 좋은 코치로
회사를 옮기면서 그동안에 로망이었던 맥북프로를 사용하게 되었다. 이전 회사에서는 개발하는 후배들 교육을 위해서 열심히 코딩을 했었다. 참고하는 예제 코드들의 실행환경이 맥용으로 되어 있으면 다시 인터넷을 검색해서 윈도우용 환경으로 변경해야 했다. 나름 재미있었지만 한편으로는 더 나이들기 전에 한번은 맥을 사용해 보고 싶은 마음도 있었다. 맥북이 개발자나 엔지니어의 뽀대로 인식되던 시기에도 윈도우 예찬을 하고 다녔는데, 윈도우10이 어쩌면 더 개발자다운 시스템인 시기에 맥북을 사용하게 되었다. 어떻게 하면 근사하게 사용할까? 키노트나 넘버스와 같은 맥 전용 도구를 하나도 사용하지 않을 거면서 개발PC와 윈도우10용 노트북을 함께 사용하던 환경과 비교하면 몇 가지는 고려해야 한다. 보호장비 사용 - 현재 노..
pfSense에 있는 suricata의 alert log를 elastic stack으로 모니터링하기suricata + elastic stackLogstash Kibana and Suricata JSON outputSuricata 2.0rc1와 Kibana 3 버전을 이용한 방식suricata에서 eve.json 파일로 로그를 남기도록 설정한다.logstash에서 eve.json 파일을 json codec 으로 읽어들인다 Suricata + ELK5 + KTS5suricata에서 eve.json 파일로 로그를 남기도록 설정한다.filebeat를 설치하여 eve.json 파일을 logstash로 전송한다. pfsense + suricata + elastic stackpfsense는 OS가 BSD 기반입니다...
centos에서 docker 빠르게 맛보기도커가 궁금하다. 개발자는 실행해보면서 이해한다. 책을 정독하거나 잘 정리된 블로그를 읽어보는 것도 도움이 되겠지만 주말인데 시간은 없고, 빠르게 실행시켜보기를 원하는 000를 위해서 따라하기 위주로 간단하게 정리했다.Cent OS 7에서 복사해서 붙여넣기만 하면 테스트가 된다. 좀더 자세하게 알고 싶을 때 참고하면 좋은 몇몇 링크도 적어 두었다.docker 설치참고 - How to install and setup Docker on RHEL 7/CentOS 7# sudo yum remove docker docker-common docker-selinux docker-engine-selinux docker-engine docker-ce# sudo yum instal..
elasticsearch on docker - wsl(windows subsystem linux)에서 안됩니다.정확하게는 Windows 10 Home 버전, wsl로 ubuntu를 설치한 환경에서는 docker를 사용할 수 없습니다.wsl + ubuntu + docker 로 검색하면 찾을 수 있는 대부분의 문서는 docker client를 설치하는 방법을 설명하고 있습니다. 어렵지는 않지면 여러 절차를 따라해서 설치하고 나면 마지막에 docker server와 연결해야 한다고 합니다.wsl은 docker server를 지원하지 않습니다. docker server는 docker for windows를 설치해야 합니다. docker for windows는 windows 10 pro 버전에 설치할 수 있습니다..
logstash 6.2.3 + java 10 오류elastic이 6.2.3으로 업데이트되었습니다.java 10도 릴리즈 되었습니다.elastic에서 최근에 java 9을 지원했기 때문에 java 10도 지원될 수도 있겠다고 생각해서 설치했습니다.수정: elasticsearch-6.2.3은 java 9를 지원하지만 logstash-6.2.3은 지원하지 않습니다.java 9를 설치한 후에 logstash-6.2.3을 실행하면 아래와 같은 에러가 발생합니다. 정상적인 에러입니다. 이렇게 에러가 발생했다면 오류라고 생각하지 않았을테고, 아래와 같은 여러 시도를 하지 않았을겁니다. 아래 내용은 logstash-6.2.3과 java 9에서 정상적으로 동작하지 않아서 직접 테스트하면서 기록한 내용입니다. 그런데 삽질..
[검토] syslog 수집 분석 아키텍처 syslog 를 수집해서 elasticsearch 로 분석하는 효과적인 아키텍처 검토검토할 항목을 정리했습니다. 정리가 완료되면 링크로 연결하려고 합니다. 왜 이런 검토를 하는 지 궁금하다면 How to Deploy the ELK Stack in Production 를 읽어보세요. logstash 과 elasticsearch 사이에 kafka 사용Deploying and Scaling Logstash - elastic(eng)Just Enough Kafka for the Elastic Stack, Part 1 - elastic blog(한국어)Elastic Stack에는 Kafka면 충분합니다 - 2부 - elastic blog(한국어) Kafka® is used..
[에디터추천] Visual Studio Code개발하기 위해서는 에디터가 필요합니다. 오랜 경험을 가진 개발자는 나름대로 개발도구를 선택하는 노하우가 있습니다. 개발을 처음 시작하거나, 새로운 개발언어를 선택하면 적당한 개발도구, 여기서는 에디터를 선택해야 합니다. 기존에 사용하고 있는 에디터를 활용할 수도 있고, 특정 언어에 적합한 에디터를 새롭게 사용할 수도 있습니다. 범용성이 높은 에디터는 기능이 많은 대신 무겁다(크기가 크고, 느리다)고 생각합니다. 전용 에디터는 특정언어에만 적합하므로 다른 언어 호환성이 떨어집니다.최근에는 전용 에디터 영역은 줄어들고 있습니다. 통합 개발 환경이라고 하는 IDE(Integrated Development Environment)는 에디터와는 다른 분야입니다. 다만 ..
[golang] 인코딩 변환하기(euc-kr > utf-8)우리은행 거래내역 엑셀파일을 로그스태시에 csv 파일로 입력하기 진행 중.1번째 - 엑셀파일 읽어들이기2번째 - 인코딩 변환하기윈도우의 엑셀은 euc-kr 이라는 인코딩으로 파일을 저장한다. 윈도우에서 기본적으로 한글을 표현하는 인코딩 방식이다. 윈도우에서 한글을 사용할 때는 전혀 문제가 되지 않지만 다른 프로그램을 사용할 때는 문제가 될 수 있다. 엘라스틱서치는 기본 인코딩이 utf-8 이므로 윈도우에서 사용하는 한글을 그대로 입력하면 한글이 깨져서 원하는 데이터를 확인할 수가 없다.엘라스틱서치에서 활용하기 위해서는 엑셀파일에서 읽어들인 한글의 인코딩을 변환해야 한다.변환관련 슬라이드 - https://www.slideshare.net/suap..
[golang] 엘라스틱서치로 우리은행 거래내역 분석하기-엑셀파일 읽기 우리은행에서 거래내역으로 다운로드 받은 파일은 엑셀파일(.xls)이다.golang에서 엑셀파일을 읽어보자. golang excel read를 검색한다. github 페이지에 접속한다. - https://github.com/tealeg/xlsx샘플을 이용하여 다운받은 엑셀파일을 읽는다.package main import ( "fmt" "github.com/tealeg/xlsx") func main() { excelFileName := "s:\\elastic\\wooribank\\과거거래내역조회2017.xls" xlFile, err := xlsx.OpenFile(excelFileName) if err != nil { fmt.Printf(..
[golang] A Tour of Go - 61 연습 문제A Tour of Go 연습: Rot13 Reader - https://go-tour-kr.appspot.com/#61어떤 식으로든 스트림을 수정하여 다른 io.Reader 를 감싸는 io.Reader 는 흔한 패턴입니다. 예컨대, gzip.NewReader 함수는 io.Reader (gzip으로 압축된 데이터의 스트림) 를 가지고, io.Reader (압축 해제된 데이터의 스트림) 를 구현한 `*gzip.Reader`를 반환합니다. ROT13 치환 암호화를 모든 알파벳 문자에 적용함으로써 스트림을 수정하며 io.Reader 를 구현하고 io.Reader 로 부터 읽는 rot13Reader 를 구현하십시오. rot13Reader 타입은 당신을 위해..