without haste but without rest

빅데이터를 지탱하는 기술 277~278p Redshift, BigQuery는 데이터 웨어하우스를 위한 클라우드 서비스로 자주 비교되는데, 이 둘의 구조는 완전히 다르다. 가장 큰 차이점은 Redshift가 전용 리소스(dedicated resource)인 것에 비해 BigQuery는 공유 리소스(shared resource)라는 점이다. Redshift는 전통적인 MPP 데이터베이스의 흐름을 이어 왔기에 스토리지와 계산 노드가 일체화된 환경에서 효율적으로 쿼리를 실행하게 되어 있다. Redshift 자원이 전용이라 다른 사용자가 사용할 수 없기 때문에 성능이 안정적이다. 또한, 노드 수를 늘리면 스토리지 용량과 계산 능력이 모두 증가하므로, 데이터 양에 대해 일정한 성능이 유지된다. BigQuery 수천..

토크ON 81차. GCP기반의 데이터 엔지니어링 | T아카데미 T아카데미 온라인 강의- [토크ON세미나] GCP기반의 데이터 엔지니어링 (총6강) ▶ https://tacademy.skplanet.com/live/player/onlineLectureDetail.action?seq=187 [과정 소개] 이번 과정에서는 구글 클라우드 플랫폼(GC... www.youtube.com GCP의 pub/sub은 카프카와 거의 비슷한 역할을 한다. publisher = producer subscriber = consumer 위 강의는 pub/sub을 활용해서 실시간 데이터를 big query 에 적재하는 파이프라인을 간단하게 구현한다. 특히 도커 이미지로 빌드해서 쿠버네티스로 배포하고, 구글 클라우드 function..