without haste but without rest

HDFS vs S3 HDFS 수평 확장 - 확장 시 직접 노드를 추가해야 한다. 미리 정해진 사이즈가 있다. 스토리지 포맷에 제한이 없다. S3 수직 확장 볼륨 사이즈의 제한이 없다. (미리 정해진 볼륨 사이즈가 없다.) 파일당 최대 크기 제한은 5GB 스토리지 포맷에 제한 - ORC 사용 불가 object storage s3 comes out on top for scalability, durability, persistance, price 확장성, 내구성, 비용 측면에서 s3가 더 좋지만, 레이턴시, 쓰로우풋 같은 퍼포먼스 측면에서는 HDFS가 더 좋다 https://www.integrate.io/blog/storing-apache-hadoop-data-cloud-hdfs-vs-s3/ Storing A..

참조 - https://medium.com/dataseries/copy-hadoop-data-hive-to-s3-bucket-d1ffb59279c8 Copy Hadoop Data — Hive to S3 Bucket WHAT IS S3: S3 stands for “Simple Storage Service” and is offered by Amazon Web Services. It provides a simple to use file object storage… medium.com 짧게 요약한 아티클 참조 - https://docs.cloudera.com/documentation/enterprise/5-8-x/topics/cdh_admin_distcp_data_cluster_migrate.html Copyi..