목록Database (31)
without haste but without rest
version: '3' services: mysql: image: mysql:5.7 platform: linux/amd64 restart: always ports: - "3306:3306" environment: MYSQL_USER: test MYSQL_PASSWORD: test MYSQL_ROOT_PASSWORD: root volumes: - ./data:/var/lib/mysql command: ['mysqld', '--character-set-server=utf8mb4', '--collation-server=utf8mb4_unicode_ci'] 커맨드 명령어로 캐릭터셋 utf8 지정하지 않으면 디폴트가 라틴이라 한글을 지원하지 않는다.
https://stackoverflow.com/questions/11618898/pg-config-executable-not-found pg_config executable not found I am having trouble installing psycopg2. I get the following error when I try to pip install psycopg2: Error: pg_config executable not found. Please add the directory containing pg_config to the ... stackoverflow.com brew install postgresql
allowPublicKeyRetrieval 디비와 통신 중 디비의 패스워드를 보호하기 위해 TLS(Transport Layer Security)를 사용한다. 이때 TLS를 사용하지 못하는 경우 RSA 암호화를 사용한다. 공개키 암호를 사용하려면 해당 옵션은 TRUE 로 설정해주어야 한다. 단 이때 MITM 공격이 가능해지므로 주의가 필요하다. 따라서 기본은 false다. MITM 은 중간 탈취 공격으로 중간에서 암호를 가로채는 해킹 방법이다. MITM https://en.wikipedia.org/wiki/Man-in-the-middle_attack Man-in-the-middle attack - Wikipedia From Wikipedia, the free encyclopedia Jump to navig..
MySQL 컨테이너에 영구 볼륨을 요청해서 배포하는 yaml 파일 템플릿 # PVC apiVersion: v1 kind: PersistentVolumeClaim metadata: name: mysql-claim spec: accessModes: - ReadWriteOnce storageClassName: standard resources: requests: storage: 10Gi --- #Service apiVersion: v1 kind: Service metadata: name: mysql-service spec: type: NodePort selector: app: mysql ports: - name: mysql protocol: TCP port: 3306 --- # Deployment apiVer..
mysql의 binary log path는 리눅스를 기준으로 /var/lib/mysql 경로에 위치한다. 해당 디렉토리에 빈로그는 binlog.000001 과 같은 형태로 저장되어 있다. mysqlbinlog --vv --base64-output=DECODE-ROWS --database=testdb binlog.000001 > log.sql cat log.sql mysqlbinlog 명령어로 binlog.000001 파일에서 testdb 데이터베이스에 해당하는 내용을 log.sql로 변환한다. log.sql의 파일 내용을 읽어서 바이너리 로그가 어떤 형태로 저장되는지 확인할 수 있다.
ClickHouse ClickHouse는 SQL 쿼리의 온라인 분석 처리(OLAP)를 위한 컬럼 지향 DBMS다. 전통적인 데이터베이스 보다 100~1000배 더 빠르게 작동하고 서버당 초당 수억에서 수십억 행과 수십 기가바이트의 데이터를 처리한다. 제한 사항 트랜잭션 미지원 UPDATE / DELETE 구현이 부족 벤치마크 결과 Clickhouse가 Hadoop 스택 기반의 Hive와 MySQL 보다 빨랐다. 열지향 디비가 많이 있지만 클릭하우스가 왜 더 빠른지는 더 찾아봐야겠다. 아래 영상의 제목은 당신이 들어보지 못한 가장 빠른 데이터 웨어하우스란 제목의 웨비나 https://www.youtube.com/watch?v=fGG9dApIhDU
OLTP and OLAP: a practical comparison OLTP와 OLAP는 유사해보이지만 다른 종류의 시스템이다. Online Transaction Processing(OLTP)는 트랜잭션을 실시간으로 캡쳐, 저장, 처리한다. Online Analytical Processing(OLAP)는 OLTP 시스템에서 집계된 기록 데이터에 복잡한 쿼리를 사용해서 분석하는 시스템이다. OLTP OLTP 시스템에서는 데이터를 자주 읽고, 쓰고, 업데이트되기 때문에 빠른 처리에 중점을 둔다. 그리고 트랜잭션이 실패하면 빌트인 로직이 데이터의 무결성을 보장한다. 백엔드 디비에서 유저의 요청을 처리하거나 결과를 반영하는 시스템이 이에 해당한다. OLAP 데이터 마이닝, 분석, BI(Business Intel..
빅데이터를 지탱하는 기술 277~278p Redshift, BigQuery는 데이터 웨어하우스를 위한 클라우드 서비스로 자주 비교되는데, 이 둘의 구조는 완전히 다르다. 가장 큰 차이점은 Redshift가 전용 리소스(dedicated resource)인 것에 비해 BigQuery는 공유 리소스(shared resource)라는 점이다. Redshift는 전통적인 MPP 데이터베이스의 흐름을 이어 왔기에 스토리지와 계산 노드가 일체화된 환경에서 효율적으로 쿼리를 실행하게 되어 있다. Redshift 자원이 전용이라 다른 사용자가 사용할 수 없기 때문에 성능이 안정적이다. 또한, 노드 수를 늘리면 스토리지 용량과 계산 능력이 모두 증가하므로, 데이터 양에 대해 일정한 성능이 유지된다. BigQuery 수천..