luigi (1) 썸네일형 리스트형 Python WMS(Workflow Management System) 도구들 WMS가 필요한 이유 데이터를 옮기고 변경시켜서 어떤 작업을 수행하는데 있어 각종 작업을 자동화하여 프로그램을 만든 다음 cron(일정시간이 되면 특정 명령어를 실행하는 도구)같은 거에 실어서 주기적으로 실행하게 합니다. 그러다 이걸로도 충분하지 않은 상황이 된다면(복잡해지거나, 테스크가 변경되거나 등) 이런 시점에 WMS가 필요해집니다. WMS도구 중 가장 유명한 2개 비교 ( Luigi & Airflow) Luigi 는… pipeline에 기반하였고, 각 task의 input/output은 정보를 공유하고 서로 연결된다. Target기반 접근(Target은 Task의 결과물-통상 파일-) UI는 꼭 필요한 기능만 단순하게 구현되었고, 프로세스를 실행하거나 하는 기능은 없다. 내장된 Trigger가 없.. 이전 1 다음
