without haste but without rest
읽어보면 좋은 카프카 자료 본문
- 카프카 96초당 1TB 데이터 전송하기
https://www.confluent.io/blog/scaling-kafka-to-10-gb-per-second-in-confluent-cloud/
Scaling Kafka to 10+ GB/Second in Confluent Cloud
Behind the magic: how Confluent Cloud scales Kafka to over 10 gigabytes per second in seven clicks, with zero downtime.
www.confluent.io
- 카프카 벤치마크
Benchmarking Kafka vs. Pulsar vs. RabbitMQ: Which is Fastest?
Is Apache Kafka the fastest messaging system in the world? We benchmark each system to determine performance, throughput, and latency at scale.
www.confluent.io
- 카프카에서 주키퍼를 제거하려는 이유와 앞으로의 방향성
https://www.confluent.io/blog/removing-zookeeper-dependency-in-kafka/
Kafka Needs No Keeper - Removing ZooKeeper Dependency
Say goodbye to Kafka ZooKeeper dependency! KIP-500 introduces a new way of storing data in Kafka itself, rather than in external systems such as ZooKeeper.
www.confluent.io
- 주키퍼가 빠진 첫 번째 카프카와 성능
https://www.confluent.io/blog/kafka-without-zookeeper-a-sneak-peek/
Kafka Without ZooKeeper: A Sneak Peek At the Simplest Kafka Yet
Yes, you can run Kafka without ZooKeeper! Scale to millions of partitions, faster failover, run Kafka in a single process, make use a completely new KRaft protocol, and other architectural improvements.
www.confluent.io
주키퍼를 제외한 이유 / 주키퍼는 메타데이터 관리 등 분산 코드가 작동하는 방식에서 굉장히 중요한 역할을 하고 있는데, 카프카의 계층 구조에서 네트워크 계층 및 로그 구현에서 불필요하게 복잡해지는 문제가 있다. confluent는 쿼럼 컨트롤러를 개발하여 주키퍼를 대체했고, 컨트롤러 셧다운 타임과 제어되지 않은 셧다운에서의 회복시간을 기존대비 향상시켰다.
'Data Engineering & DataOps > Kafka' 카테고리의 다른 글
| 로컬 환경에서 카프카 클러스터 구축 (0) | 2021.06.07 |
|---|---|
| 카프카 미러메이커 (0) | 2021.05.24 |
| 카프카 컨테이너로 빠르게 구축하기 with. confluent cp-all-in-one image (0) | 2021.05.13 |
| 파이썬으로 카프카 프로듀서 만들기 (0) | 2020.07.14 |
| 카프카 튜토리얼 자료 (0) | 2020.07.14 |
