在数仓及中台研发过程中,研发人员经常需要在不同任务中维护相同或类似代码,不仅费时费力,并且代码迭代后也面临不同业务单元逻辑性不一致的问题,对运维管理形成挑战。
(相关资料图)
一般来说,研发人员往往通过代码模板来解决这一问题。具体而言,在核心数据处理逻辑相同的情况下,研发人员通过代码模版传入不同的任务参数,解决核心数据处理逻辑复用的问题,使得后续任务可以批量化,满足实时调用需求。
目前,任务模板已是火山引擎DataLeap研发治理能力之一,主要用于管理常用的任务逻辑,以此降低常用代码的运维成本。在产品功能上,DataLeap任务模板支持丰富的引擎能力,包括LAS/EMR HSQL 、LAS/EMR Java Flink、LAS/EMR Flink SQL、shell任务,满足离线实时任务的不同需求。此外,DataLeap还支持历史版本管理,即保存或更新模板后,记录各个版本更新情况,方便查看代码设置及参数。
在使用层面上,研发人员只需要三步骤即可完成任务模板创建,便捷复用核心数据处理逻辑。
第一步:选中支持的任务类型
· 在模板列表右侧的“+”(更多)按钮中,新建子目录或新建任务模板。
· 在新建任务模板窗口中,输入以下参数,并新建模板。
第二步:代码编写参数设置
· 在任务模板的代码开发编辑界面,通过 DDL 和 DML 编写通用 SQL。
· 表名、字段名分别可以用参数表示,以下以 LAS Flink SQL的逻辑处理,保存为test02模板。
第三步:在任务开发中引用
研发人员可以通过以下2种方式引用test02模板:
· 方法1:在模板列表中,选择模板并点击后即可快速引用。
· 方法2:在代码编辑界面右上角选择任务模板,选择模板后,按需选择是否最新版本的模板,在对参数设置之后,预览代码最终生成效果(如图)。
火山引擎DataLeap任务模板能力可应用于以下场景:
· 场景1:将预先设计好的离线、实时任务模板保存后,即可在多个任务中引用此类型模板,快速实现代码复用。
· 场景2:将shell任务代码制作为前置判断条件,在数据分析前的触发检测运行条件是否满足。
除了任务模板之外,作为大数据研发治理套件,火山引擎DataLeap还可以提供数据集成、开发、运维、治理、资产、安全等能力,帮助用户提升数据研发效率、降低管理成本,加速推动企业的数字化转型。(作者:宋岩)
标签:
仓储物流“成渝圈”如何乘势而上? 12月3日,连接昆明和万象的中老铁路全线开通运营,被惠及的显...
两件西周青铜簋时隔三千年成功配对 考古工作者介绍,这个铜簋的盖、身分别时隔40余年出土,纹饰...
“医保砍价”不是一个人在战斗 晁星 “我眼泪都快掉下来了”“每一个小群体都不该被放弃”…...
“购物成瘾”真的是一种病 刘艳 牛雅娟 本周日即将迎来“双十二”促销季,很多人又开始摩拳...
因迷恋山间风景,一男子在甘孜州稻城县海拔4000多米的无人区迷失方向,随后与同伴失联。12月的稻城...
嫌疑人DNA信息比中后,成都市公安局刑侦支队技术处DNA实验室民警白小刚一下坐在凳子上,恍惚迟疑间...
一批反映南京大屠杀历史的新书发布 新华社南京12月7日电(记者邱冰清、蒋芳)“以史为鉴,开创未来...
我在现场·照片背后的故事|电影《亲爱的》里面没有的结局,在我眼前“上映” 12月6日,在深圳市...
冥想?泡脚?不如听听助眠音乐 晚上睡不着,白天睡不醒,成为最贴合都市人群的“睡眠画像”。随...
养老话题 老年教育面临缺口 “终身教育”潜力无限 【现实挑战】“新老年”群体愿意在培养兴...
孙海洋被拐14年儿子如何找到的? 警方侦办另一宗拐骗儿童案时发现线索,通过人像比对、DNA确认找...
北京天文馆、圆明园将对未成年人免费开放 12月6日,北京天文馆发布通知称,12月8日起试行对未成...
今年全国粮食总产量再创新高 连续7年保持在1 3万亿斤以上 根据对全国31个省(区、市)的抽样调...
斑块软的很危险 硬的就无碍? 血管里的“垃圾”分类 赶快学起来! 一项最新研究显示:中国...
诺西那生钠注射液大幅降价 聚焦医保谈判背后脊髓性肌萎缩症家庭 医保目录公布那天 好多家长都...
抖音“窗花剪剪”遭抄袭 被判获赔20万元 法院认为“窗花剪剪”的这种表达方式理应受到《著作权...
公安机关近日侦破3起拐卖儿童案件 失散十几年 3组家庭终于团圆了 北京青年报记者12月6日从公...
2021年度十大网络用语发布 本报讯(记者 路艳霞)作为年度“汉语盘点”活动最具网络特色的组成部...
北京天文馆向未成年人免费开放 本报讯(记者 牛伟坤)北京天文馆对票价免费及优惠政策作出调整:1...
2021北京百个网红打卡地发布 本报讯(记者 李洋)2021北京网红打卡地推荐榜单昨晚正式发布。自然...