• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

关于python:DataWorks功能实践速览-参数透传

python 搞代码 3年前 (2022-02-20) 76次浏览 已收录 0个评论

简介: DataWorks性能实际系列,帮忙您解析业务实现过程中的痛点,进步业务性能应用效率!

往期回顾:

DataWorks 性能实际速览01期——数据同步解决方案:为您介绍不同场景下可选的数据同步计划。

DataWorks 性能实际速览02期——独享数据集成资源组:为您介绍进行数据同步时,可应用的资源组与网络连通计划、注意事项。

DataWorks 性能实际速览03期——生产开发环境隔离:为您介绍DataWorks通过规范模式提供开发环境与生产环境隔离及不同环境的权限要求。

通过往期的介绍,您曾经理解到在DataWorks上进行工作运行的最要害的几个知识点,接下来为您逐渐介绍如何通过DataWorks的工作节点实现最常见的数据开发场景。本期为您介绍如何在DataWorks上实现参数透传,即把上游工作的参数透传到上游工作。

性能举荐:赋值节点与参数节点

在阿里云DataWorks中,一个数据开发工作最终是拆解为多个节点工作,并通过设置节点间上下游关系最终造成一个残缺的数据开发业务流程,如下图所示。

以上为一个简略的示例,在理论利用时,咱们通常会碰到这样的状况,拆解进去的上游节点工作会生成一些参数,或上游节点的运行后果,须要在上游节点工作中利用到,这就须要数据开发工作可能实现参数/节点运行后果在各个节点间的透传,依据不同的透传需要,DataWorks提供了两种非凡节点能够实现:赋值节点与参数节点。

Part1:赋值节点 – 实现工作后果透传

当您须要将上游节点工作的后果提供给上游节点应用时,您可应用赋值节点,实现工作后果在节点间传递。赋值节点反对ODPS SQL、SHELL和Python三种赋值语言,且依据赋值规定,主动为您增加赋值参数(outputs参数),便于其余节点援用。

应用赋值节点进行透传参数时,需关注以下三个要点。

1.1赋值节点与上下游节点间的依赖关系

如上图所示,应用赋值节点透传参数时:

赋值节点(fuzhi_python、fuzhi_sql、fuzhi_shell)需作为援用赋值节点参数节点(down_compare)的上游节点,上游节点须要与赋值节点设置间接依赖关系(赋值节点为上游节点的一层父节点)。
赋值节点作为上游与其它节点配合应用时,请务必先提交赋值节点,以便上游节点在配置时能够解析出参数。

1.2赋值节点与上游节点的上下文参数透传关系

如下图所示,通过赋值节点与援用节点的调度配置中的上下文参数配置,造成参数透传援用关系:

赋值节点(fuzhi_python、fuzhi_sql、fuzhi_shell)需将待赋值给上游的参数增加为节点上下文中的本节点输入参数。

上游援用赋值参数的节点需将待援用的赋值参数增加为节点上下文中的本节点输出参数。

阐明:

赋值节点参数传递只反对传递给一层子节点,不反对跨节点传递。

1.3赋值语言与赋值后果

援用赋值节点后果时,赋值节点的参数输入格局与上游节点援用参数形式有关系,不同语言的赋值参数(outputs参数)赋值阐明如下。

更多赋值节点的介绍可进入帮忙核心查看文档配置赋值节点。

Part2:参数节点 – 实现参数透传

参数节点是一种非凡的虚构节点,用于治理业务流程中的参数和实现参数在工作节点中传递,反对常量参数、变量参数和透传上游节点的参数,须要援用参数的节点间接依赖参数节点即可。

参数节点实质上是一种虚构节点,不会运行数据计算工作产生数据,次要用于跨节点传参、参数治理的场景。

2.1跨节点传参

当数据开发的业务流程中,某个上游节点的工作须要获取多个、多级上游节点的输入参数时,您能够应用参数节点,将上游节点须要获取的所有参数对立增加至参数节点中,后续上游节点可间接挂在参数节点之下,即可获取到所有所需参数。

以上图为例,sql_7节点须要获取sql_1、sql_3、sql_4节点的输入参数,此时您能够新增一个参数节点,作为sql_1、sql_3、sql_4的上游节点,并将所有sql_7所需参数增加至参数节点中,将sql_7的挂在此参数节点上游,则sql_7可间接通过参数节点获取到所有所需参数。

2.2参数治理

当数据开发的业务流程中,上游节点的工作须要应用某些常量参数、变量参数时,您能够应用参数节点,将上游节点须要应用的参数均增加至参数节点中,需应用参数的上游节点间接挂在参数节点之下,即可获取应用所需参数,便于整个业务流程中对所有应用的参数进行对立治理。

以上图为例,sql_3、sql_4、sql_5、sql_7节点均需应用参数,此时您能够新增一个参数节点,将各个上游节点应用的参数都增加至参数节点中,将须要应用参数的节点挂在此参数节点上游。

更多参数节点的介绍可进入帮忙核心查看文档创立参数节点。

Part3:赋值节点与参数节点的比照

原文链接
本文为阿里云原创内容,未经容许不得转载。


搞代码网(gaodaima.com)提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected],我们会在看到邮件的第一时间内为您处理,或直接联系QQ:872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:关于python:DataWorks功能实践速览-参数透传

喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址