without haste but without rest
HDFS vs S3 본문
HDFS vs S3
- HDFS
- 수평 확장 - 확장 시 직접 노드를 추가해야 한다.
- 미리 정해진 사이즈가 있다.
- 스토리지 포맷에 제한이 없다.
- S3
- 수직 확장
- 볼륨 사이즈의 제한이 없다. (미리 정해진 볼륨 사이즈가 없다.)
- 파일당 최대 크기 제한은 5GB
- 스토리지 포맷에 제한 - ORC 사용 불가
- object storage
s3 comes out on top for scalability, durability, persistance, price
확장성, 내구성, 비용 측면에서 s3가 더 좋지만, 레이턴시, 쓰로우풋 같은 퍼포먼스 측면에서는 HDFS가 더 좋다
https://www.integrate.io/blog/storing-apache-hadoop-data-cloud-hdfs-vs-s3/
Storing Apache Hadoop Data on the Cloud - HDFS vs. S3
Ken and Ryu are both the best of friends and the greatest of rivals in the Street Fighter game series. When it comes to Hadoop data storage on the cloud though, the rivalry lies between Hadoop Distributed File System (HDFS) and Amazon's Simple Storage Serv
www.integrate.io
'Cloud' 카테고리의 다른 글
| AWS Secret Manager Tutorial (0) | 2022.03.09 |
|---|---|
| Kinesis, MSK, Kafka (0) | 2022.02.25 |
| LocalStack 컨테이너 볼륨 이슈 (0) | 2022.02.04 |
| LocalStack S3를 python boto3로 접근하기 (0) | 2022.01.04 |
| LocalStack - AWS를 로컬 환경에서 사용하기 (0) | 2022.01.04 |
Comments