DataWorks
关注
分享
扫一扫
文章平均质量分 74
欢迎来到我的阿里云 DataWorks 专栏！在这里，我们将深入探讨阿里云的数据开发与治理平台——DataWorks。无论你是数据分析新手，还是资深数据工程师，这里都为你提供详尽的技术文章、实战案例、最佳实践及最新动态。专栏内容涵盖数据集成、开发、质量管理、任务调度与监控等。
Luckyforever%-
微信公众号：BigDataWise，欢迎大家关注，大数据相关问题可以及时沟通，一起DayDayUp
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
在dataworks 中开发 pyodps作业使用 weasyprint 将html 转换成 PNG
等关键信息通过。原创 2024-09-23 15:00:14 · 648 阅读 · 0 评论 -
DtataWorks spark报错:Parse exception - full qualified name ‘xxx.`default`.tablename‘ is not supported
在平台上开发spark任务时，选择版本，Python language，配置如下：历史记录都是成功的，但是在2024-08-28在 MaxCompute 上升级存储之后就突然报错，而我升级的目的其实是想通过创建外部schema 来进行联邦查询，具体可见。原创 2024-09-03 15:37:51 · 659 阅读 · 0 评论 -
终于有人把DataWorks中数据质量、智能监控、数据推送说清楚了
总结一下，监控 表级/字段级完整性准确性有效性一致性唯一性和及时性等数据质量并且能够及时阻止脏数据进入下游选择DQC；监控具体任务资源运行状况选择智能监控，选择个性化推送某些轻量数据的选择数据推送。原创 2024-08-23 17:09:06 · 1463 阅读 · 0 评论 -
阿里云 SLS 日志数据同步 MaxCompute 实操
赋权，详细赋权操作内容可见。原创 2024-08-21 19:22:31 · 691 阅读 · 0 评论 -
DataWorks 离线同步数据至 Kafka 实操
以上就是完整的操作步骤，相信大家感受到实际操作非常简单便捷，阿里云生态建设的很完善，这极大地减轻了开发压力，有任何疑问欢迎大家在评论区留言。原创 2024-08-21 12:10:30 · 755 阅读 · 0 评论 -
Dataworks离线同步MaxCompute数据至Hologres案例
创作者激励计划需要计算用户收益。目前，由开发人员在测试环境中使用假数据进行测试，数仓中完成计算并通过消息或接口反馈结果。为了解决这些问题，我们组内沟通后决定尝试将数据同步至Hologres中。这样开发人员可以直接读表，Hologres作为 HSAP 数据库，不仅支持分析和线上服务，其性能也优于 MySQL。原创 2024-08-20 17:00:22 · 812 阅读 · 0 评论