목록airflow (6)
without haste but without rest
DAG Runs — Airflow Documentation airflow.apache.org 에어플로우 스케줄러는 마지막 데이터 간격 이후에 실행되지 않았거나 지워진 데이터 간격부터 DAG를 실행한다. 이 컨셉을 Catchup이라고 부른다.
Official Docs - Airflow architecture overview Architecture Overview — Airflow Documentation airflow.apache.org Medium Article How to Setup Airflow Multi-Node Cluster with Celery & RabbitMQ What is Airflow? medium.com Goal Airflow의 아키텍처를 파악한다. Celery Executor가 무엇인지 파악한다. Overview 스케쥴러는 워크플로우를 익스큐터에 전달한다. 익스큐터는 적합한 워커에 작업을 분배한다. 이때 작업은 곧 바로 워커에 전달하는 것이 아니라 메시지 큐에 전달 한다. 스케쥴러와 익스큐터는 DAG Directory에 ..
빅데이터를 지탱하는 기술, 니시다 케이스케 Workflow Management 데이터 관리를 자동화하고 안정된 배치 처리를 실행하기 위해 워크 플로우 툴을 사용한다. 워크 플로우 툴은 정기적으로 태스크를 실행하고 비정상적인 상태를 감지하여 해결을 돕는 것이 목적이다. 워크로드 오류로부터 복구하는 방법 2가지 재시도 - 단순한 재실행 백필(backfill) - 일정 기간의 플로우를 연속해서 실행하는 구조 백필은 주어진 날짜 파라미터를 기준으로 일정 기간의 플로우를 다시 실행한다. 오류로 인해 태스크를 재실행 해야하거나 혹은 새롭게 만든 워크플로를 과거로 거슬러 올라가 실행해야할 때 사용한다. 만약 태스크가 업데이트가 되어서 한 달 전 데이터 부터 오늘 만든 새로운 태스크를 적용해야 한다고 가정해보자. 이전..
에어플로우 재시작이 안되는 문제
에어플로우 로그에 시간이 안 찍혀서 최신 로그인지 감이 오지는 않는데... 로그 상에서 이미 프로세스 아이디가 존재한다는 내역을 확인했다. airflow home 디렉토리에 있는 airflow-webserver.pid, airflow-webserver-monitor.pid, airflow-scheduler.pid 파일을 제거하고 다시 실행하니까 정상적으로 실행이 된다. 에어플로우를 데몬으로 실행하고 정상적으로 종료하지 않아서, 이미 프로세스가 실행 중으로 간주되어 발생하는 이슈다. 에어플로우를 안전하게 종료하는 방법을 찾아보자.
Running Airflow in Docker — Airflow Documentation airflow.apache.org Update History 2022.03.04 Apple Silicon - Airfow 2.0.2 버전에서 에러 발생 2.2.4 버전으로 수정 1. 설치 mkidr Airflow-Demo # step 1. yaml 파일 다운로드 curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.2.4/docker-compose.yaml' # step 2. 기본 설정 적용 docker compose up airflow-init # step 3. 도커 컴포즈 실행 docker compose up -d # step 4. 실행 확인 docker co..
Quick start — Airflow Documentation airflow.apache.org 에어플로우 퀵스타트에서 제공하는 도커 컴포즈 파일을 그대로 실행하면 'No Module name 'airflow' 라는 로그를 띄우며 airflow-init 이미지가 실행이 안 된다. 리눅스의 경우 퀵 스타트에서 아래와 같이 권한 설정을 해주는 부분이 있다. mkdir ./dags ./logs ./plugins echo -e "AIRFLOW_UID=$(id -u)\nAIRFLOW_GID=0" > .env 아래 명령어로 AIRFLOW_UID와 AIRFLOW_GID 를 확인했을 때, AIRFLOW_UID가 50000이 아닌 경우 50000으로 수정하고 재실행한다. (그룹은 안 바꿔줘도 실행에 지장 없다.) ca..