
DataWorks实践
文章平均质量分 90
soso1968
这个作者很懒,什么都没留下…
展开
-
DataWorks数据安全治理最佳实践
DataWorks基于数据安全治理的常见思路,针对资产梳理、技术体系建设和运营体系建设,提供了一系列数据安全产品能力,您可通过“基础防护建设、数据安全防护措施及策略增强建设、数据安全持续运营”三个阶段在DataWorks上落地数据安全治理项目。参考本文启动数据安全治理项目前,建议您先了解DataWorks数据安全产品相关能力了解DataWorks数据安全产品能力后,您可参考如下三个阶段在DataWorks上落地数据安全治理项目。原创 2024-12-02 08:15:00 · 988 阅读 · 0 评论 -
大数据安全治理实践--DataWorks产品安全能力
为充分契合数据安全治理的核心理念与通用思路,DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力,基于“I(Identify)P(Protect)D(Detect)R(Respond)”理论框架,从资产识别、安全防护、行为检测、风险事件响应等多个方面,系统性构建了一套完整且高效的数据安全保障体系。步骤二完成后,您已经完成了一次性的安全防护,但这样仍然不够。:支持对DataWorks的高危操作自定义扩展程序,来识别风险,并针对风险行为配置实时审批、阻断、消息告警。原创 2024-12-03 08:15:00 · 1987 阅读 · 0 评论 -
【DataWorks最佳实践】表管理OpenAPI基础实践
DataWorks提供了丰富的OpenAPI,您可以根据需要使用DataWorks的OpenAPI等开放能力实现各种业务场景。本文以元数据表管理为例,为您介绍如何串连元数据的OpenAPI来达成查询列表、查询表详情、血缘图展示与创建表等操作。 实践1:查询表列表以下实践将介绍如何使用OpenAPI来实现查询表列表,获得MaxCompute项目下的所有表的列表,并做分页查询,实践的主要流程如下。在MetaServiceProxy中编写一个GetMetaDBTableList方法,处理前端参数并发送请求到O原创 2024-11-27 09:14:21 · 898 阅读 · 0 评论 -
【DataWorks实践】使用Copilot+增强分析实现一站式智能数据查询与可视化
在日常工作中,我们需要将本地文件中的数据一次性上传至计算引擎中进行大量的数据计算或与其他在线数据一起进行联合分析。您可参考下文步骤操作:在已打开的SQL查询页面,单击左上角的图标,选择。原创 2024-12-03 07:30:00 · 1182 阅读 · 0 评论 -
DataWorks自定义权限策略实践
在基于RAM的访问控制体系中,自定义权限策略是指在系统权限策略之外,您可以自主创建、更新和删除的权限策略。自定义权限策略的版本更新需由您来维护。创建自定义权限策略后,需为RAM用户、用户组或RAM角色绑定权限策略,这些RAM身份才能获得权限策略中指定的访问权限。已创建的权限策略支持删除,但删除前需确保该策略未被引用。如果该权限策略已被引用,您需要在该权限策略的引用记录中移除授权。自定义权限策略支持版本控制,您可以按照RAM规定的版本管理机制来管理您创建的自定义权限策略版本。原创 2024-11-30 07:30:00 · 745 阅读 · 0 评论 -
【DataWorks最佳实践】文件管理OpenAPI基础实践
本篇文章将详细介绍DataWorks OpenAPI从初始化客户端、创建业务流程以及节点发布上线,再到删除节点和业务流程,帮助您快速上手使用DataWorks OpenAPI。原创 2024-11-29 08:00:00 · 754 阅读 · 0 评论 -
【DataWorks最佳实践】实现开发生产等多套环境隔离
使用DataWorks进行大数据开发时,支持对开发、测试、生产等环境进行隔离,当您联合使用了其他阿里云产品时,也可根据环境隔离诉求进行对应业务的环境设置与隔离,本文以DataWorks联合EMR、OSS等产品为例,为您介绍如何实现开发生产等多套环境隔离。原创 2024-12-01 08:00:00 · 954 阅读 · 0 评论 -
【DataWorks实践】账单数据订阅及查询分析
您可在费用与成本中订阅不同类型的账单数据,例如,计费项明细账单、计费项账单按天汇总等。订阅成功后,账单数据将会定时同步至MaxCompute,您可使用DataWorks的数据分析功能查询并分析账单数据,将分析结果生成可视化图表卡片及报告,同时,也可将您的阿里云消费分析报告分享给其他用户。订阅并分析账单数据前,请先了解如下产品:费用与成本:提供用户上云所涉及到的企业财务经营管理全链路能力,用于查看账单并进行成本分析。原创 2024-12-09 08:15:00 · 1064 阅读 · 0 评论 -
【DataWorks实践】Github实时数据同步与分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项目、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项目、编程语言等多个维度了解GitHub实时数据变化情况。我能学到什么学会通过DataWorks实时同步数据。熟悉使用DataV大屏进行可视化操作。操作难度易所需时间55分钟使用的阿里云产品实时数仓Hologres云原生大数据计算服务 MaxCompute专有网络VPC。原创 2024-12-08 08:15:00 · 943 阅读 · 0 评论 -
【DataWorks最佳实践】权限及安全-RAM用户仅从特定IP登录
使用RAM管理员登录RAM控制台。在左侧导航栏,选择权限管理权限策略。在权限策略页面,单击创建权限策略。在创建权限策略页面,单击脚本编辑页签。在代码编辑区域使用脚本配置您的自定义权限。自定义权限的完整内容如下所示。"acs:SourceIP"后填写的IP,便是您允许访问DataWorks的IP(支持设置多个IP)。自定义权限配置项说明请参见Policy基本元素。],],说明如果要限制某个RAM用户只能从特定IP登录DataWorks,则必须在RAM Policy中使用的方式配置。原创 2024-12-08 08:15:00 · 862 阅读 · 0 评论 -
【DataWorks最佳实践】权限及安全-实现指定用户访问特定UDF最佳实践
本文为您介绍如何实现将资源(表、UDF等)设置为仅能被指定的用户访问。此方法涉及数据的加密解密算法,属于数据安全管控范畴。原创 2024-12-07 07:45:00 · 846 阅读 · 0 评论 -
【DataWorks最佳实践】权限及安全-数据安全方案
在大数据领域,阿里云为企业用户提供了一整套数据安全方案,包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例,为您介绍DataWorks on EMR场景下的数据安全方案。原创 2024-12-07 08:15:00 · 889 阅读 · 0 评论 -
【DataWorks最佳实践】权限及安全-风险识别规则响应案例
DataWorks通过OpenEvent能力为您提供消息订阅能力,您可以将服务程序注册为DataWorks的扩展程序,通过扩展程序来捕捉并响应订阅的事件消息,以此实现对特定事件进行消息通知与流程管控。本文以“实时阻断或审批超过1000条数据的下载行为”事件为例,为您介绍风险识别规则从开发到验证的全流程。数据下载在企业风险管控中举足轻重。通常情况下,只有企业数据开发人员和分析人员可以在数据平台上浏览和使用数据,而不允许将详细数据下载到本地进行分析。一旦数据导出到本地,就无法对其使用行为进行审计。原创 2024-12-06 08:15:00 · 767 阅读 · 0 评论 -
【DataWorks最佳实践】权限及安全-权限管理与规范化数据开发
DataWorks工作空间类型分为“简单模式”、“标准模式”两种,两种类型在权限管理上有细分区别。本实践将基于DataWorks标准模式空间完成从“数据建模”到“数据生产”的基本流程,帮助您快速掌握规范化的数据体系建设流程,提升在数据开发过程中的规范性、安全性、稳定性。您在将RAM用户添加到DataWorks工作空间时,可以选择添加为当前工作空间的。原创 2024-12-06 07:00:00 · 1158 阅读 · 0 评论 -
【DataWorks最佳实践】数据服务对接DataV最佳实践
当今社会数据收集的方式不断丰富,行业数据大量积累,导致数据规模已增长到传统软件行业无法承载的海量级别。MaxCompute服务于批量结构化数据的存储和计算,已经连续多年稳定支撑阿里巴巴全部的离线分析业务。过去,如果您想要通过DataV展示海量数据的分析结果,需要自建一套离线数据计算自动导入MySQL的任务流程,过程繁琐且成本高。现在通过DataWorks为您提供的数据集成 > 数据开发 > 数据服务的全链路数据研发平台,结合MaxCompute即可快速搭建企业数仓。DataWorks数据服务提供了快原创 2024-12-05 07:30:00 · 884 阅读 · 0 评论 -
【DataWorks最佳实践】数据安全治理的必要性
数据安全治理采用体系化的方式保障数据安全,要求妥善处理各类人员对组织资产的行为,以避免发生数据安全事件。数据安全治理的目标是协助企业树立数据安全相关的法律意识,确保企业经营合法合规,同时展现企业的社会责任,保护企业的核心利益。原创 2024-12-05 08:00:00 · 722 阅读 · 0 评论 -
【DataWorks最佳实践】大数据安全治理的难点
您需要了解哪些资产需要被保护、资产存在的风险、企业/组织是否合规、如何处理内放攻防、如何落地安全运营等关键问题,才能有效落地数据安全治理。同时,大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点,存在诸多安全治理难点。原创 2024-12-04 08:30:00 · 1001 阅读 · 0 评论 -
【DataWorks最佳实践】数据安全治理的常见思路
基于泄露风险(机密性)、篡改风险(完整性)、不可用风险(可用性)梳理技术风险点,产出《技术风险报告》。梳理合规风险点,对标法律法规进行差距分析,产出《合规风险报告》。管理风险评估:基于组织架构、流程、规范,调研管理现状。基于法律法规对管理的要求梳理管理风险点,产出《管理风险报告》。管理体系建设:着重对组织人员、制度流程、职责权力、资源分配、能力培训进行建设,最终产出各类机构、各类管理办法与规范。技术体系建设:基于数据全生命周期的识别、检测、防护、响应等安全技术设施,按实际需求部署各类安全防护产品。原创 2024-12-04 08:00:00 · 555 阅读 · 0 评论