without haste but without rest

Problem aws kinesis firehose를 이용해서 s3에 데이터 저장 시 json 데이터가 모두 한 줄로 적재되는 문제 급하다면 제일 아래 Solved code로 이동.. Detail 그래 이거다. 난 당연히 아래처럼 데이터가 적재될 줄 알았다. 그런데 데이터를 까보니까 위처럼 저장된다. 구글링 해보니까 뭔가 복잡한 방법을 사용하는 것 같다. 그런데 핵심은 payload 끝에 '\n' 을 추가해주면 된다고 한다. Solved aws docs를 보면, python boto3 library를 사용하는 경우 put_record 메서드를 사용해서 키네시스에 데이터를 흘릴 수 있다. 아래 데이터를 키네시스에 쏜다고 가정하자. data = { "uuid": "0000", "datetime": "2000..

1. Kinesis vs MSK 카프카는 운영적인 측면에서 신경쓸 게 더 많고, 메트릭 모니터링이 더 까다롭다. 반면 키네시스는 운영적인 측면에서 MSK나 카프카에 비해 덜 신경쓸 수 있다. 내부 아키텍처에서 어떤 차이가 있는지 궁금해서 찾아본 자료인데, 카프카의 경우 오픈소스라 비교적 자세히 설명을 해주지만 키네시스의 경우는 추상적으로만 설명해준다. 키네시스에서 카프카의 개념에 대응되는 요소 Streams - Topic Shard - Partions 2. Kinesis vs MSK vs Kafka 종합적으로 고려했을 때, 카프카의 경우 오픈소스로 자유도가 가장 높지만 운영 측면에서 난이도가 높다. MSK는 AWS에서 인프라를 관리해주므로 메트릭 모니터링에 집중할 수 있다. 마지막으로 키네시스는 자유도가..