without haste but without rest

카프카 컨테이너로 빠르게 구축하기 with. confluent cp-all-in-one image 본문

Data Engineering & DataOps/Kafka

카프카 컨테이너로 빠르게 구축하기 with. confluent cp-all-in-one image

JinungKim 2021. 5. 13. 15:01

0. 요약


    confluent 사에서 제공하는 도커 컴포즈 파일을 이용해서 카프카 브로커를 빠르게 구축한다. 도커 및 도커 컴포즈를 사용할 줄 안다고 가정한다.

    장점은 곧바로 카프카를 사용할 수 있다는 점이며 도커 컴포즈 파일 기반이기 때문에 포트 번호와 옵션 등을 쉽게 수정할 수 있다. 카프카 클러스터, ksqlDB, 컨트롤 센터, 쥬키퍼 등을 제공한다. 주의할 점은 개발 용도의 파일이라 프로덕션 목적을 금지하고 있다. (커뮤니티 버전이 따로 있긴한데, 해당 파일은 컨트롤 센터가 없다.)


1. cp-all-in-one 파일 다운로드

 

confluentinc/cp-all-in-one

docker-compose.yml files for cp-all-in-one , cp-all-in-one-community, cp-all-in-one-cloud - confluentinc/cp-all-in-one

github.com

 

     confluent 사의 깃헙에서 해당 리포를 다운 받는다. 사용할 도커 컴포즈 파일은 cp-all-in-one 디렉토리에 있다.


2. 실행


    cp-all-in-one 폴더에 있는 docker-compose.yml 파일을 테스팅할 폴더에 다운로드 받은 뒤 아래 명령어를 실행한다.

docker-compose up -d

 

     아래 명렁어로 실행 상태를 확인한다.

docker-compose ps

3. 카프카 컨트롤 센터 접속

localhost:9021

    GUI 환경에서 브로커, 프로듀서, 컨슈머를 모니터링할 수 있으며, 리텐션 옵션까지 쉽게 조절할 수 있다.


 

Comments