[elk] logstash 를 사용해 elasticsearch data csv 파일로 내보내기

logstash 를 사용해서 elasticsearch data csv 파일로 저장하기

logstash 실행시 참조할 conf 파일 생성하기

/usr/share/logstash/files 경로에 생성
csv.conf

input {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "bigginsight"
    query => '{"query":{"match":{"customer":"Google"}}}'
    user => ""
    password => ""
  }
}
output {
  csv {
    fields => ["usage", "@timestamp", "host"]
    path => "/usr/share/logstash/files/export.csv"
  }
}

input {} 에 elasticsearch 플러그인 내용작성
bigginsight 에서 customer 값이 Google 인 도큐먼트를 선택한다
user,password 는 설정되어있는경우 기입한다.

output {} 에 csv 플러그인 내용작성
fields 에 저장할 필드리스트를 입력한다.
path 에 저장할 파일 위치및 파일명을 지정한다.

logstash 실행

csv.conf 에 기재된 query를 kibana dev tool 로 먼저 실행해보고 데이터 확인후 실행하는것이 좋을듯. (데이터가 없으면 csv 파일 자체가 생성되지 않고 9600 포트 만떳다가 바로 죽어서 괜히 쩔게 될 확률이 있음)

cd /usr/share/logstash
bin/logstash -f files/csv.conf

결과 확인

-rw-r--r-- 1 logstash logstash       327  1월 14 11:19 csv.conf
-rw-r--r-- 1 root     root       4146559  1월 14 11:20 export.csv
-rw-r--r-- 1 logstash logstash       372  1월  8 15:30 logstash_network_traffic_data.conf
-rw-r--r-- 1 logstash logstash       571  1월  7 11:59 logstash_products.conf
-rw-r--r-- 1 logstash logstash 107929393  1월  8 15:26 network_traffic_data.json
-rw-r--r-- 1 logstash logstash   1853189  1월  7 11:40 products.csv
[root@localhost /usr/share/logstash/files]#

export.csv 파일이 잘생성되었다

  79548 1437,2021-01-13T08:45:07.396Z,localhost.localdomain
  79549 3265,2021-01-13T08:45:07.396Z,localhost.localdomain
  79550 1708,2021-01-13T08:45:07.396Z,localhost.localdomain
  79551 591,2021-01-13T08:45:07.396Z,localhost.localdomain
  79552 763,2021-01-13T08:45:07.396Z,localhost.localdomain
  79553 1029,2021-01-13T08:45:07.396Z,localhost.localdomain
  79554 5821,2021-01-13T08:45:08.191Z,localhost.localdomain
  79555 703,2021-01-13T08:45:08.191Z,localhost.localdomain
  79556 763,2021-01-13T08:45:08.191Z,localhost.localdomain
  79557 456,2021-01-13T08:45:08.191Z,localhost.localdomain
  79558 2444,2021-01-13T08:45:08.254Z,localhost.localdomain
  79559 985,2021-01-13T08:45:08.256Z,localhost.localdomain
  79560 2654,2021-01-13T08:45:08.256Z,localhost.localdomain
  79561 805,2021-01-13T08:45:08.256Z,localhost.localdomain
  79562 3057,2021-01-13T08:45:08.257Z,localhost.localdomain

내용도 잘됨.