Kinesis, MSK, Kafka

 

---

1. Kinesis vs MSK

 

 

카프카는 운영적인 측면에서 신경쓸 게 더 많고, 메트릭 모니터링이 더 까다롭다. 반면 키네시스는 운영적인 측면에서 MSK나 카프카에 비해 덜 신경쓸 수 있다. 

내부 아키텍처에서 어떤 차이가 있는지 궁금해서 찾아본 자료인데, 카프카의 경우 오픈소스라 비교적 자세히 설명을 해주지만 키네시스의 경우는 추상적으로만 설명해준다.

 

키네시스에서 카프카의 개념에 대응되는 요소

Streams - Topic

Shard - Partions

 

 

2. Kinesis vs MSK vs Kafka

종합적으로 고려했을 때, 카프카의 경우 오픈소스로 자유도가 가장 높지만 운영 측면에서 난이도가 높다. MSK는 AWS에서 인프라를 관리해주므로 메트릭 모니터링에 집중할 수 있다. 마지막으로 키네시스는 자유도가 가장 떨어지지만 Kafka, MSK 보다 쉽게 운영할 수 있다. 메트릭 지표 중 가장 핵심은 Streams에서 가장 마지막 데이터가 큐에 머물렀던 시간을 모니터링 하고, 이를 기준으로 샤드의 개수를 조정하는 것이라고 한다.  가장 중점적으로 체크해주면 된다. (카프카 Lag 모니터링에 해당하는 듯)