Logstash 정리

Logstash ? 
ㄴInput -> Filter > Output의 pipeline 구조.

실시간 파이프라인 기능을 가진 오픈소스 데이터 수집 엔진이며,
서로 다른 소스의 데이터를 탄력적으로 통합하고 사용자가 선택한 목적지로 데이터를 정규화할 수 있다.
기본적으로 제공되는 여러 코덱을 가지고 수집 프로세스를 한층 더 간소화될 수 있다.

 

# Logstash의 장점
- 수평확장이 가능한 데이터 처리 파이프라인
- 플러그형 파이프라인 아키텍쳐 (입출력,필터를 믹스매치하고 조정)
- 개발자에게 편리한 Plug-in eco system
- 모든 형태 및 규모의 데이터를 환영


# Log & Metric
* 모든 유형의 로깅 데이터 처리 
- 다양한 웹 로그(Ex:Apache) 및 애플리케이션 로그(Ex:log4j for java) 수집
- syslog, Windows event log, Netwoking, FireWall log 등 다른 여러 로그 형식도 수집

* Filebeat와 연계하여 추가적인 보안 로그 전달 기능 활용

* HTTP 요청을 Event로 변환
* 필요에따라 EndPoint 폴링으로 Event 생성


* 이미 보유한 데이터에서 더 큰 가치를 발굴할 수 있다.
- JDBC 인터페이스를 통해 관련 데이터베이스 or NoSQL의 데이터를 정확히 이해
- Apache Kafka, RabbitMQ, Amazon SQS, ZeroMQ 와 같은 메시징큐가 제공하는 각종 데이터 스트림 통합


* 패턴일치, 지리적 맵핑, 동적 조회 기능과 함께 여러 집계 및 변이 기능을 즉시 사용가능.

* 데이터가 가장 중요해질 때 데이터를 라우팅한다.
* 데이터를 저장, 분석하고 그에 대한 작업을 수행하여 각종 다운스트림 분석 및 운영 활용 사례에서 최고의 효과를 거둔다.


# Logstash Inputs
- Network(TCP/UDP) : 가장 일반적.
- syslog/rsyslog
- Kafka, RabbitMQ, Redis
- stdin
- Email(IMAP)
- Lumberjack
- Amazon S3, gelf, collectd, gangla, sqs 등등


# Logstash Filters
- grok : 패턴 매칭을 사용해서 추출
- data : 필드로부터 timestamp 파싱함
- mutate : Event -> Field를 rename, remove, replace, modify
- csv : csv 데이터 형태로 파싱
- geoip : ip addr로 지리를 판단
- kv : 이벤트데이터에서 key-value 쌍을 파싱함.
- ruby : 파이프라인에서의 모호한 Ruby code 실행될 때 등등


# Logstash Outputs
- 저장 (Storage) : Elastcisearch, MongoDB, S3, File 등 
- 알림 (Notification) : pagerduty, nagios, zabbix, email 등 
- Realy : Tcp,Kafka,Redis,RabbitMQ,syslog
- Metric : Graphite, Ganglia StatsD