ARTIFEX ;)

아나콘다 (Anaconda) ? Anaconda 란 Python 기반의 데이터 분석에 필요한 라이브러리, 오픈소스를 모아놓은 종합 개발 플랫폼이다. 아나콘다에 포함되어 있는 패키지 관리자를 통해 효율성을 극대화시켜 활용할 수 있으며, 가상환경 관리자를 각 프로젝트 별 개발환경을 효율적으로 구성할 수 있다는 장점이 있다. # Anaconda 설치 및 기본 = 아나콘다의 설치는 아래 링크에서 진행할 수 있다. Anaconda Install https://www.anaconda.com/distribution/ Conda는 Anaconda에서 버전 관리를 위해 제공되는 애플리케이션이며 Python을 사용하다보면 다양한 환경에서 프로그래밍을 사용해야할 경우가 있다. 그 이유는 파이썬의 유용한 애플리케이션들이 각 ..

$ sudo apt install logstash Logstash를 아래와 같이 설정 $ sudo vi /etc/logstash/conf.d/s3.conf Test configure $ sudo -u logstash /usr/share/logstash/bin/logstash --path.settings /etc/logstash -t $ service logstash start

Logstash ? ㄴInput -> Filter > Output의 pipeline 구조. 실시간 파이프라인 기능을 가진 오픈소스 데이터 수집 엔진이며, 서로 다른 소스의 데이터를 탄력적으로 통합하고 사용자가 선택한 목적지로 데이터를 정규화할 수 있다. 기본적으로 제공되는 여러 코덱을 가지고 수집 프로세스를 한층 더 간소화될 수 있다. # Logstash의 장점 - 수평확장이 가능한 데이터 처리 파이프라인 - 플러그형 파이프라인 아키텍쳐 (입출력,필터를 믹스매치하고 조정) - 개발자에게 편리한 Plug-in eco system - 모든 형태 및 규모의 데이터를 환영 # Log & Metric * 모든 유형의 로깅 데이터 처리 - 다양한 웹 로그(Ex:Apache) 및 애플리케이션 로그(Ex:log4j f..

*Ubuntu 18.04 LTS 환경 Kibana는 Elasticsearch와 함께 사용할 수 있는 대표적인 시각화 도구이자 개발자 도구이다. 간다하며 직관적으로 시각화를 구축할 수 있는 이점이 있으며, 보안설정관리, 스택 모니터링, 데이터 롤업, 추가적인 Elastic Stack 기능 구성 등을 위해 더 이상 명령줄에 의존할 필요가 없다. UI환경에서 보다 편하게 Elastic Stack을 관리, 보호할 수 있도록 지원하기 때문이다. * kibana와 Elasticsearch는 두 버전이 동일해야한다. * Kibana에 대해서는 나중에 다시 정리해 놓도록 하자. # Install and Configure the Kibana 이전에 추가한 패키지의 sourcelist를 통해 kibana를 설치할 수 있다..

Environment *Ubuntu 18.04 LTS / Elasticsearch 6.8.5 / goormIDE Install and Configure the ElasticSearch ElasticSearch는 현재 Ubuntu 공식 패키지 저장소에서 제공되지 않는다고한다. Elastic의 Source List를 추가해서 apt를 통해 설치하는 방법이 있다. 패키지 관리의 편의성을 위해 apt를 통해 설치하는 방법을 사용한다. 먼저 GPG key를 임포트 한다. $ wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - Elastic의 SourceList를 sources.list.d 폴더에 추가한다. $ echo..