Linux/kafka 검색 결과
5 개의 검색 결과가 있습니다.
Linux/kafka

Kafka-Manager 사용예제 (Yahoo CMAK)

Apache Kafka 를 web 에서 관리할 수 있는 툴인 kafka-manager 의 사용예제이다. 1. kafka 연결하기 http://host:9000 으로 접속하면 아래와 같은 화면이 나온다. Cluster 를 클릭한 후 Add Cluster 로 사용중인 kafka 를 연결해주자. Cluster Name, Zookeeper Hosts 등 필수옵션은 채워줘야한다. Enable JMX Polling Enable Logkafka Poll consumer infomation Display Broker and Topic Size 옵션은 모니터링에 유용한 옵션으로 켜주었다. 아래 옵션들은 필수값 이상으로 채워줬다. brokerViewThreadPoolSize, offsetCacheThreadPoolSize..

2021. 1. 19. 17:30
Linux/kafka

Kafka 기본 개념 정리

이번 프로젝트에서 kafka 를 사용해보며 알게된 kafka 기본 개념을 정리하고자 한다. kafka 는 Apache 에서 개발한 Message Broker 이며 개발언어는 스칼라를 사용했다. Message Broker(혹은 Message Queue 라고 부른다) 의 기본개념을 알아보자. 메세지 큐의 장점 - 비동기(Asynchronous): Queue에 넣기 때문에 나중에 처리할 수 있습니다. - 비동조(Decoupling): 어플리케이션과 분리할 수 있습니다. - 탄력성(Resilience): 일부가 실패 시 전체에 영향을 받지 않습니다. - 과잉(Redundancy): 실패할 경우 재실행 가능합니다. - 보증(Guarantees): 작업이 처리된걸 확인할 수 있습니다. - 확장성(Scalable):..

2020. 10. 12. 15:39
Linux/kafka

Apache Kafka Web UI Kafka-Manager 설치하기 (Yahoo CMAK)

Apache Kafka 에는 기본 내장 UI 가 없지만 많은 사람들이 이용하고 있는 UI 가 있습니다. Yahoo 에서 개발한 Kafka-Manager 인데요. 지금은 이름을 CMAK 으로 변경하여 프로젝트를 진행하고 있습니다. 모듈을 다운받아봅시다. $ wget https://github.com/yahoo/kafka-manager/archive/master.zip 다운을 받으면 현재경로에 master.zip 이라는 파일이 생깁니다. 압축을 풀어줍시다. $ unzip master.zip zip 파일을 풀어주면 CMAK-master 라는 폴더가 생깁니다. 빌드를 위해 sbt 를 설치해줍시다. $ curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos..

2020. 4. 28. 16:10
Linux/kafka

CentOS 8 Apache Kafka 설치 (dnf install)

저번 포스팅에서 Kafka 를 Docker 에 설치해봣는데 로컬에 바로 설치하자는 의견이 있어 예제를 만들어봅니다. Apache Kafka 는 자바와 스칼라로 작성되었습니다. 먼저 자바를 설치해봅시다. $ sudo dnf install java-11-openjdk wget vim 설치가 완료되었으면 Apache Kafka 를 다운받아 봅시다. kafka-manager 도 연동하기위해 최신버전은 피해주겠습니다. $ wget http://www-us.apache.org/dist/kafka/2.4.0/kafka_2.12-2.4.0.tgz 저는 우분투에서 위 버전을 테스트 해봤기 때문에 해당 버전으로 선정했습니다. 이제 wget 을 실행했던 경로에 kafka.tgz 파일이 생성되었습니다. 해당 파일을 압축해제해..

2020. 4. 27. 16:46
Linux/kafka

CentOS 8 Apache Kafka Install using Docker-Compose

환경 : CentOS 8 버전 Docker 19.03.8 Docker-compose 1.25.4 root 권한으로 진행. 이미지를 받아봅시다. 이미지는 Docker hub 내에서 많은 사람들이 다운받은 이미지로 선정했습니다. $ docker pull wurstmeister/kafka 작업폴더를 만들고. $ mkdir docker-compose-kafka git 프로젝트를 내려받아줍시다. $ git clone https://github.com/wurstmeister/kafka-docker.git kafka-docker 폴더가 생성되었고. 해당 폴더로 접근해서 실행해봅시다. $ docker-compose up -d 데몬으로 실행시키는 명령이고 zookeeper 를 다운받는 걸 볼 수 있습니다. 뭘 다운받는지..

2020. 4. 23. 17:28