体育新闻

开源调度系统:liteflow控制台功能_科技频道_东方资讯

liteflow整体分为两个模块,控制台以及执行者;其中控制台负责任务的关系以及执行的调度,执行者负责任务的具体执行。控制台中主要的功能围绕在任务以及任务流。

一、主要功能介绍

1.任务

1)任务创建需要根据任务的周期(分、时、天等)来设置,同时需要指定任务执行的cron表达式;其中任务周期是用来任务上下游间关联的依据,例如用来计算一周的pv总量(即上游任务为天,下游任务为周),这时会依据周期,下游任务会自动关联上上游任务周一到周日的任务,只有上游的七个任务都执行成功后下游才会执行,这样就能保证数据不会出现漏掉的情况

2)选择任务运行的插件,即任务执行类型(hive、python、shell等),任务的执行插件主要是执行者来实现,通过容器、插件、任务详情来实现任务的执行,这个后续会有具体介绍

从表单中可以看出,任务需要指定是否可以并发,并发指的是同一时间同一个任务的不同任务版本是否可以同时运行,如果为否,需要指定运行策略。1)忽略:即忽略正在运行的任务,将其设置为成功状态,然后当前任务版本再执行,这种情况适合任务运行一次和多次没有区别的情况,例如统计统计某网站当天的pv数时。2)等待:需要等待上一个任务版本执行完成后,再执行当前任务,这种情况适合任务执行以来上一次任务执行后产生的数据,例如统计每个小时环比变化数据时。

二、任务流