without haste but without rest

요약 브로커 3대와 주키퍼 1대로 구성된 카프카 클러스터 도커 컴포즈 템플릿 컨테이너의 비정상적인 종료에 따른 데이터 유실을 막기 위해 오프셋 데이터와 로그 디렉토리를 호스트 볼륨에 마운팅 했다. version: "2" services: zookeeper: image: docker.io/bitnami/zookeeper:3.7 hostname: zookeeper ports: - "2181:2181" environment: - ALLOW_ANONYMOUS_LOGIN=yes volumes: - ./zookeeper/bitnami/zookeeper:/bitnami/zookeeper kafka-0: image: docker.io/bitnami/kafka:2.8.1 hostname: kafka-0 restart: ..

Spark Streaming - Spark 3.2.0 Documentation Spark Streaming Programming Guide Overview Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processing of live data streams. Data can be ingested from many sources like Kafka, Kinesis, or T spark.apache.org A Quick Example 특정 포트로 들어오는 텍스트를 분리해서 카운팅 하는 예제 # network_wordcount.py from pysp..

mysql의 binary log path는 리눅스를 기준으로 /var/lib/mysql 경로에 위치한다. 해당 디렉토리에 빈로그는 binlog.000001 과 같은 형태로 저장되어 있다. mysqlbinlog --vv --base64-output=DECODE-ROWS --database=testdb binlog.000001 > log.sql cat log.sql mysqlbinlog 명령어로 binlog.000001 파일에서 testdb 데이터베이스에 해당하는 내용을 log.sql로 변환한다. log.sql의 파일 내용을 읽어서 바이너리 로그가 어떤 형태로 저장되는지 확인할 수 있다.

boto3 docs 어떻게 접근해야할까? boto3 클래스의 클라이언트 메서드는 액세스 키를 이용해서 접근한다. 그런데 로컬스택은 엔드 포인트를 지정해주어야 한다. 다행히 boto3 를라이언트는 엔드 포인트를 지정하는 파라미터가 존재한다. 버킷 리스트 확인 import boto3 # Retrieve the list of existing buckets s3 = boto3.client('s3', endpoint_url="http://localhost:4566") response = s3.list_buckets() # Output the bucket names print('Existing buckets:') for bucket in response['Buckets']: print(f' {bucket["Name..

공식 도큐먼트 깃허브 onexlab LocalStack aws 서비스를 로컬 환경에서 테스팅할 수 있게 해주는 에뮬레이터다. aws cli, localstack을 설치하고 작동을 확인하는 것 까지를 목표로 한다. Requirements MacOS Python 3.6 up to 3.9 pip Docker compose Install # Install aws cli brew install awscli # Install localstack python3 -m pip install localstack docker compose version: "3.8" services: localstack: container_name: "${LOCALSTACK_DOCKER_NAME-localstack_main}" image: ..

https://apple.stackexchange.com/questions/154292/iterm-going-one-word-backwards-and-forwards iTerm - going one word backwards and forwards Would it be possible to configure iTerm 2 to go backwards and forwards one word through the curent text in the command line using a keyboard shortcut? apple.stackexchange.com

RDD, DF, DataSet 내부 로직의 어떤 차이로 인해 속도 차이가 발생하는지 찾아보기 https://www.analyticsvidhya.com/blog/2020/11/what-is-the-difference-between-rdds-dataframes-and-datasets/ Differences Between RDDs, Dataframes and Datasets in Spark Apache spark continues to be the first choice for the data engineers. Understand the difference between RDDs, Dataframes and Datasets in spark www.analyticsvidhya.com https://github..

https://d2.naver.com/helloworld/9099561 네이버 콘텐츠 통계 서비스 개발을 위해 다양한 서비를 직접 리서치하고 테스트한 연대기를 서술해주신 글이다. 깊게 이해는 못하고 있지만, 현업에서 툴을 어떻게 생각하고 어떠한 기준으로 선정하며 설계를 어떻게 하는지 참조하기 좋아보인다.