without haste but without rest

0. 환경 - 클라우데라 6.3.1 1. mysql driver 설치 클라우데라 환경에서 postgre db는 디폴트로 드라이버를 제공하지만 mysql은 드라이버를 제공하지 않는다. 아래 링크를 이용해서 파일을 다운로드 한다. wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.28.tar.gz 다운로드한 mysql jdbc 드라이버 압축을 푼다. tar xvf mysql-connector-java-5.1.28.tar.gz 압축을 풀고 디렉토리에 접근하면 jdbc 파일을 찾을 수 있다. (확장자는 .jar ) 해당 파일을 /opt/cloudera/parcels/CDH/lib/sqoop/lib 로 복사한다. (postge..

참조 - https://analyticshut.com/kafka-producer-and-consumer-in-python/ Kafka Producers and Consumers in Python | Analyticshut After writing consumers, producers and topics in Java, we will do the same in Python with just 10% lines of code. analyticshut.com 0. 개요 데이터 파이프라인 구축 공부를 위해서 파이썬으로 카프카 프로듀서를 만들었다. 프로듀서를 만든 환경은 윈도우이며 파이참을 사용했다. 카프카 브로커 클러스터는 aws ec2에 구축한 상태이다. 윈도우가 프롬프트 라인에서 ssh를 제공하지만 권한 문제..

https://www.youtube.com/playlist?list=PL9mhQYIlKEheZvqoJj_PkYGA2hhBhgha8 토크ON 77차. 아파치 카프카 입문 | T아카데미 - YouTube www.youtube.com 카프카의 경우 튜토리얼 자료를 찾아보기 어려웠는데 이번에 t 아카데미 강좌에서 데브 원영님이 입문 강좌를 진행해주셨다. 깃헙에 보조 자료들도 꼼꼼하게 챙겨주셔서 편안하게 공부할 수 있었다. 카프카 입문 자료 - 데브원영님 리포지토리 https://github.com/AndersonChoi/tacademy-kafka AndersonChoi/tacademy-kafka t아카데미 카프카 강의를 위한 repository입니다. Contribute to AndersonChoi/tacade..