[SK Planet T Academy] GCP pub/sub을 활용한 데이터 파이프라인 강의

 

토크ON 81차. GCP기반의 데이터 엔지니어링 | T아카데미

---

 

GCP의 pub/sub은 카프카와 거의 비슷한 역할을 한다.

 

publisher = producer

subscriber = consumer

 

위 강의는 pub/sub을 활용해서 실시간 데이터를 big query 에 적재하는 파이프라인을 간단하게 구현한다.

특히 도커 이미지로 빌드해서 쿠버네티스로 배포하고, 구글 클라우드 function을 이용해서 별도의 로컬 리소스를

요구하지 않기 때문에 무인으로 운영되는 파이프라인이라는 토픽을 주제로 삼은 것 같다.

 

aws 에 비해 gcp는 익숙하지 않은 환경인데 여유로운 속도로 진행을 해주셔서 둘러보기 좋았다.

 

 

sk 플래닛 덕분에 편하게 공부한다.. 최고