without haste but without rest

빅데이터를 지탱하는 기술, 니시다 케이스케 Workflow Management 데이터 관리를 자동화하고 안정된 배치 처리를 실행하기 위해 워크 플로우 툴을 사용한다. 워크 플로우 툴은 정기적으로 태스크를 실행하고 비정상적인 상태를 감지하여 해결을 돕는 것이 목적이다. 워크로드 오류로부터 복구하는 방법 2가지 재시도 - 단순한 재실행 백필(backfill) - 일정 기간의 플로우를 연속해서 실행하는 구조 백필은 주어진 날짜 파라미터를 기준으로 일정 기간의 플로우를 다시 실행한다. 오류로 인해 태스크를 재실행 해야하거나 혹은 새롭게 만든 워크플로를 과거로 거슬러 올라가 실행해야할 때 사용한다. 만약 태스크가 업데이트가 되어서 한 달 전 데이터 부터 오늘 만든 새로운 태스크를 적용해야 한다고 가정해보자. 이전..