목록Home (246)
without haste but without rest
WSL2 기반 docker 사용시 vmmem 프로세스 메모리 소모량 줄이기 목차 WSL2의 문제 새로운 노트북을 구입하였기에 개발 세팅을 하였다. 그리고 오늘 외출할 일이 있어 배터리만으로 사용을 하였는데 배터리 소모가 너무 빨랐다. 스펙상 17시간을 곧이곧대로 믿 meaownworld.tistory.com C:/user/user_name # .wslconfig 파일 생성 [wsl2] memory=6GB swap=0 메모리 16GB 환경에서 위 설정 적용하니 메모리 사용률 40% 내외로 유지된다.
터미널 관리자 권한으로 실행 # on bcdedit /set hypervisorlaunchtype auto # off bcdedit /set hypervisorlaunchtype off # 재부팅 필수
core-site.xml 파일에 아래 프로퍼티를 추가해준다. "your-hadoop-user-name"에는 하둡을 실행 중인 유저의 이름을 적어주면 된다. 해당 설정 추가하고 하둡 재시작. hadoop.http.staticuser.user your-hadoop-user-name
도커파일에 "ENV TZ=Asia/Seoul" 라인을 추가했는데도 시간이 UTC에서 변경이 되지 않는다. 리서치 해보니 alpine 이미지를 사용하는 경우 별도로 패키지를 업데이트 해줘야한다. 첫 번째 라인의 'tzdata' 패키지를 업데이트 해주고 타임존을 설정해주면 타임존 설정이 적용된다. # Dockerfile RUN apk add --update tzdata ENV TZ=Asia/Seoul How can I set the timezone please? · Issue #136 · gliderlabs/docker-alpine I tried many methods, but it still showed UTC. I tried three methods as follows: 1 RUN ln -sf /usr/..
Quick start — Airflow Documentation airflow.apache.org 에어플로우 퀵스타트에서 제공하는 도커 컴포즈 파일을 그대로 실행하면 'No Module name 'airflow' 라는 로그를 띄우며 airflow-init 이미지가 실행이 안 된다. 리눅스의 경우 퀵 스타트에서 아래와 같이 권한 설정을 해주는 부분이 있다. mkdir ./dags ./logs ./plugins echo -e "AIRFLOW_UID=$(id -u)\nAIRFLOW_GID=0" > .env 아래 명령어로 AIRFLOW_UID와 AIRFLOW_GID 를 확인했을 때, AIRFLOW_UID가 50000이 아닌 경우 50000으로 수정하고 재실행한다. (그룹은 안 바꿔줘도 실행에 지장 없다.) ca..
import calendar last_day = calendar.monthrange(year, month)[1]
import json def remove_id(bson): result = [] for col in bson: if col == '_id': continue result.append(col) return result def preprocess_bson(bson, column_list): result = {} for column in column_list: result[column] = bson[column] return result def extract_record(bson_dummy) -> list: result = [] for bson in bson_dummy: column_list = remove_id(bson) record = preprocess_bson(bson, column_list) resu..