목록firehose (1)
without haste but without rest
aws kinesis firehose - 데이터가 한 줄로 저장되는 문제
Problem aws kinesis firehose를 이용해서 s3에 데이터 저장 시 json 데이터가 모두 한 줄로 적재되는 문제 급하다면 제일 아래 Solved code로 이동.. Detail 그래 이거다. 난 당연히 아래처럼 데이터가 적재될 줄 알았다. 그런데 데이터를 까보니까 위처럼 저장된다. 구글링 해보니까 뭔가 복잡한 방법을 사용하는 것 같다. 그런데 핵심은 payload 끝에 '\n' 을 추가해주면 된다고 한다. Solved aws docs를 보면, python boto3 library를 사용하는 경우 put_record 메서드를 사용해서 키네시스에 데이터를 흘릴 수 있다. 아래 데이터를 키네시스에 쏜다고 가정하자. data = { "uuid": "0000", "datetime": "2000..
Cloud
2022. 4. 5. 21:43