without haste but without rest
[SK Planet T Academy] GCP pub/sub을 활용한 데이터 파이프라인 강의 본문
GCP의 pub/sub은 카프카와 거의 비슷한 역할을 한다.
publisher = producer
subscriber = consumer
위 강의는 pub/sub을 활용해서 실시간 데이터를 big query 에 적재하는 파이프라인을 간단하게 구현한다.
특히 도커 이미지로 빌드해서 쿠버네티스로 배포하고, 구글 클라우드 function을 이용해서 별도의 로컬 리소스를
요구하지 않기 때문에 무인으로 운영되는 파이프라인이라는 토픽을 주제로 삼은 것 같다.
aws 에 비해 gcp는 익숙하지 않은 환경인데 여유로운 속도로 진행을 해주셔서 둘러보기 좋았다.
sk 플래닛 덕분에 편하게 공부한다.. 최고
'Scrap' 카테고리의 다른 글
Airflow architecture & Celery executor (0) | 2022.03.04 |
---|---|
iterm 단어 단위로 이동 단축키 설정 (0) | 2021.12.30 |
Spark 자료구조 (0) | 2021.12.27 |
Kudu를 이용한 빅데이터 다차원 분석 시스템 개발 - NAVER D2 (0) | 2021.12.13 |
읽어볼 자료 - Airbnb Minerva (0) | 2021.12.08 |
Comments