CentOS8 ELK kafka 연동

이번에는 ELK 에 kafka 를 연동해보겠습니다.

 

kafka 에 적재된 메세지를 kibana 에서 확인하는걸 목표로 합니다.

 

설치를 안하신분은 아래를 따라 설치해주시면 됩니다.

https://program-error-review.tistory.com/30

CentOS8 ELK 설치 (Elastic search, Log Stash, Kibana)

 

우선 저번에 설치한 logstash 설정파일이 모여있는 디렉토리에서

logstash-sample.conf 파일을 삭제해줍시다.

 

해당파일을 그대로 뒀더니 추후 문제가 생기는 것을 확인했습니다.

 

 

conf 폴더에 kafka-consumer.conf 파일을 만들어줍시다.

 

 

input {
  kafka {
    client_id => "logstash-test-topic"
    group_id => "logstash-test-topic"
    topics => ["test_topic"]
    codec => "json"
    bootstrap_servers => "localhost:9092"
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "middleware-log-%{+YYYY.MM.dd}"
  }
}

 

topics 에는 현재 사용하고 있는 topic 을 입력해주시면 됩니다.

 

logstash 는 수정이 있었으니 restart 해주시고 kibana 를 접속해봅시다.

 

좌측 메뉴바에서 Stack Management 로 들어갑니다.

 

 

Kibana Index Patterns 로 들어갑시다.

 

 

Create index pattern

 

설정이후 해당 kafka topic 에 적재된 메세지가 있다면 index 이름이 아래에 나옵니다.

해당 index 패턴을 추가해줍시다.

 

저는 edc- 를 입력한 뒤 Step 2로 넘어갔습니다.

 

저는 Filter field 로 timestamp 를 지정해줬습니다.

 

 

Create index pattern 을 눌러 패턴 생성!

 

이제 Kibana Discover 페이지에서 확인해봅시다.

 

로그내용이 잘 적재된걸 확인할 수 있습니다.

 

이제 Elastic Search 를 다루는 방법을 익혀 활용하시면 됩니다.