2022年2月22日,在昨晚这个特殊的日子里,历经多年持续迭代和千万周期实例并发调度考验的Taier(太阿)总算开源了!
Github开源地址:
官方文档地址:
dtstack.github.io/Taier/
这是袋鼠云开源项目的重要里程碑风波,代表着袋鼠云技术研制团队对开源的决心。我们希望通过技术分享,帮助更多人探求大数据平台的业务场景,同时也衷心欢迎更多开发者参与到社区中来,Committer虚位以待!
|缘起:太阿出鞘
Taier的命名,源自中国十大名剑太阿。
TaierLogo
太阿是春秋战国时期齐国的镇国至宝,由铸剑名师欧冶子和干将联手构建。相传商朝在生死危亡之际,靠太阿剑气打败楚国大军,被世人誉为诸候威武之剑,象征了威武不屈、内心强悍的实力,正如Taier强大稳定的任务调度能力,每晚可处理15w+超庞大任务体量,不但大大减少企业ETL的开发成本,能够有效保障大数据平台的平稳运行,功能强悍,一如太阿剑威力无穷。
|亮剑:Taier诞生
Taier的诞生,与时代的发展息息相关。
现在,数字化变革已成为全球浪潮,大数据平台建设成为新时代必不可少的基础设施。随着数字化变革的深入,好多企业在建设数据中台过程中,将涉及大量数据采集、处理、计算等方面的工作,需求的不断叠加,出现了单个系统无法满足复杂业务的情况开源调度系统,急切须要一种兼容多个子系统互相协作的任务调度系统协调,正是基于这些背景,Taier分布式DAG任务调度系统应运而生。
Taier是一个开箱即用的分布式可视化的DAG任务调度系统,技术开发人员可以在Taier直接进行业务逻辑的开发鸟哥的linux私房菜,而不用关心任务纷繁复杂的依赖关系与底层的大数据平台的构架实现,将工作的重心更多地聚焦在业务之中。
Taier(太阿)调度系统构架图
在TaierLogo的设计上,我们围绕系统本身开放宽容、简单易用的特点,在设计中融入了积木、剑、蜂巢等元素。主体Logo由四块积木交叠而成,形若利剑,有组合,有分离,传达开源项⽬开放宽容的理念,同时也表现Taier采⽤分布式模式——具有很强的前馈性、扩展性。
TaierLogo创意诠释
Logo底层采⽤多边形蜂巢结构,多边形蜂巢是大自然中最省劳动⼒、最省材料、最稳定的排列⽅式,其六条对称轴可以经过各类旋转⽽不改变形状,选用多边形作为Logo的边框,意在传达Taier增加开发成本、提⾼⼤数据平台稳定性的特性。
|亮点:Taier功能优势
作为一个分布式可视化的DAG任务调度系统,太阿Taier脱胎于袋鼠云的一站式大数据开发平台——数栈DTinsight,技术实现来始于数栈分布式调度引擎DAGScheduleX,DAGScheduleX是数栈产品的重要基础设施之一,负责大数据平台所有任务实例的调度运行。太阿Taier是DAGScheduleX的重要枢纽,负责调度日常庞大的任务体量linux通配符,多年的持续迭代与沉淀,缔造了太阿Taier六大核心优势:
一、超高的稳定性
二、超强的易用性,一站式任务调度
三、超凡的兼容性,支持多版本引擎
四、安全可靠,支持Kerberos
五、丰富的系统参数
六、卓越的扩充性,支持多种形式扩容
|终端:Taier用户界面
|展望:未来迭代计划
Taier调度平台是数据平台框架中的一个组件开源调度系统,可以满足企业日常数据剖析、处理、展示须要。未来随着业务的接入和数据规模的减小,Taier将持续提高用户体验,计划将优化:
|结语:
Taier使用了Apache的多个开源项目如Flink、Spark作为估算组件实现数据同步和批处理估算,得益于开源社区才有现在的太阿Taier。正由于Taier取之于社区,所以我们希望通过开源此项技术的形式,回馈社区,共同发扬“CommunityOverCode“的Apache文化。未来,我们仍将秉持兼容并包与开放多元化的态度,将继续推出Taier后续版本,欢迎更多的公司和个人参与到开发者队伍中来,让Taier社区愈发强壮、健康的发展,让更多人享受开源带来的技术革命!