본문 바로가기

infra/ELK11

[ELK] docker compose이용하여 elk stack구축해보기 elk 스택을 docker compose를 이용해 구성해보도록 하겠습니다. elk 스택 구성원의 docker image는 링크를 참고해 pull 해주세요. 저는 기본적으로 7.5.2 버전을 사용했습니다. docker는 이미 설치했다는 가정하에 진행하도록 하겠습니다. git clone github에 elk stack을 구성해둔 repository가 이미 존재합니다. 이 repo를 clone 해서 빠르게 진행해 보겠습니다. git clone https://github.com/deviantony/docker-elk 프로젝트 안에는 kibana, logstash, ES의 디렉터리가 있고 그 안에 각각의 설정 파일과 Dockerfile이 존재합니다. 우리는 이 설정 파일과 Dockerfile, docker-com.. 2020. 2. 12.
[ELK] Elasticsearch의 데이터 검색 - Query DSL Query DSL(Query Domain Specific Language)은 ES의 document를 검색할 때 사용합니다. Query DSL에 대해 간단하게 정리해 보도록 하겠습니다. 중간 내용부터 document를 docs로 줄여서 표기하였습니다. Query and filter Context ES는 검색 결과에 관련성 점수(relevance score)를 매기고 점수별로 정렬하여 각 document가 쿼리와 얼마나 일치하는지 측정하게 됩니다. 이 관련성 점수는 _score meta-field에 반환되며 양의 부동 소수점 숫자값을 가집니다. 이 숫자가 높을수록 높은 관련성을 가지게 됩니다. Query context Query context에서 쿼리 절은 '이 document가 이 쿼리 절과 얼마나 일치.. 2020. 1. 19.
[ELK] Elasticsearch의 데이터 검색 - search API ES의 데이터 검색 방법에 대한 내용을 정리해 보았습니다. 데이터 검색 테스트를 하기 위해 ES에서 제공해주는 샘플 데이터를 이용해 보겠습니다. 링크에서 accounts.json 파일을 다운로드하고 ES에 insert 해보겠습니다. bulk insert 대량에 데이터를 insert 할 때는 bulk insert를 이용해야 합니다. 정확히 얘기하자면 json 타입으로 정리된 파일의 데이터를 insert 해보도록 하겠습니다. bulk insert를 이용하면 아래와 같이 insert 된 데이터들에 대한 정보가 출력됩니다. curl -XPOST 'localhost:9200/bank/account/_bulk?pretty' --data-binary @accounts.json -H 'Content-Type:appli.. 2020. 1. 19.
[ELK] Elasticsearch의 데이터 검색 Elasticsearch의 검색 엔진을 이용하여 데이터를 CURL 하는 다양한 방법에 대해 정리해 보겠습니다. ES에 생성되어 있는 모든 index를 출력해 보겠습니다. curl -XGET 'localhost:9200/_cat/indices?pretty&v' health status index uuid pri rep docs.count docs.deleted store.size pri.store.size yellow open logstash 961W116OTqeuihFKVsbfVw 1 1 51 0 122.5kb 122.5kb green open .kibana_task_manager_1 3_qkg0zPQoKZ-Q_vT9HPDQ 1 0 2 0 32.6kb 32.6kb green open .apm-agent-.. 2020. 1. 19.