福哥答案2020-08-14：

知乎答案

最基础的是 crontab 定时任务。
考虑到分布式分片定时任务和高可用，可以用elastic-job这样的框架。但是这样的框架无法处理复杂的任务依赖关系。
大数据处理框架一般用的是DAG（有向无环图）工作流类调度系统，通过DAG图描述任务之间的复杂的依赖关系。在Spark作业调度系统中，就是基于DAG描述rdd之间的依赖关系。