읽어보면 좋은 카프카 자료
- 카프카 96초당 1TB 데이터 전송하기
https://www.confluent.io/blog/scaling-kafka-to-10-gb-per-second-in-confluent-cloud/
Scaling Kafka to 10+ GB/Second in Confluent Cloud
Behind the magic: how Confluent Cloud scales Kafka to over 10 gigabytes per second in seven clicks, with zero downtime.
www.confluent.io
- 카프카 벤치마크
Benchmarking Kafka vs. Pulsar vs. RabbitMQ: Which is Fastest?
Is Apache Kafka the fastest messaging system in the world? We benchmark each system to determine performance, throughput, and latency at scale.
www.confluent.io
- 카프카에서 주키퍼를 제거하려는 이유와 앞으로의 방향성
https://www.confluent.io/blog/removing-zookeeper-dependency-in-kafka/
Kafka Needs No Keeper - Removing ZooKeeper Dependency
Say goodbye to Kafka ZooKeeper dependency! KIP-500 introduces a new way of storing data in Kafka itself, rather than in external systems such as ZooKeeper.
www.confluent.io
- 주키퍼가 빠진 첫 번째 카프카와 성능
https://www.confluent.io/blog/kafka-without-zookeeper-a-sneak-peek/
Kafka Without ZooKeeper: A Sneak Peek At the Simplest Kafka Yet
Yes, you can run Kafka without ZooKeeper! Scale to millions of partitions, faster failover, run Kafka in a single process, make use a completely new KRaft protocol, and other architectural improvements.
www.confluent.io
주키퍼를 제외한 이유 / 주키퍼는 메타데이터 관리 등 분산 코드가 작동하는 방식에서 굉장히 중요한 역할을 하고 있는데, 카프카의 계층 구조에서 네트워크 계층 및 로그 구현에서 불필요하게 복잡해지는 문제가 있다. confluent는 쿼럼 컨트롤러를 개발하여 주키퍼를 대체했고, 컨트롤러 셧다운 타임과 제어되지 않은 셧다운에서의 회복시간을 기존대비 향상시켰다.