新闻舆情分析整合阿里云大数据平台流程分析

最新推荐文章于 2025-09-25 22:25:38 发布

原创

最新推荐文章于 2025-09-25 22:25:38 发布 · 847 阅读

2 ·

CC 4.0 BY-SA版权

本文详细介绍了新闻舆情分析的业务流程，包括数据从MySQL到DataHub的同步，DataHub作为实时计算平台的数据源，实现实时处理，再到MaxCompute的数据输出，最终同步至MySQL。涉及的主要步骤包括购买数据同步作业，配置DataHub与MySQL的同步，使用Flink SQL在阿里云实时计算平台进行数据处理，以及MaxCompute到MySQL的同步方案。此外，还探讨了DataHub的函数计算及其弃用原因。

新闻舆情分析
目录
新闻舆情分析 1
一．业务整体流程步骤 1
二．DatatHub对接Mysql数据源（购买同步作业方案） 2

操作步骤 2
2.相关Questions: 5
3.官方文档关于附加列的说明 6
三. 实时计算操作 8
关于阿里云实时计算平台的操作 8
2.阿里云实时计算平台上的Flink SQL 8
3.其他方案(DataHub自身的函数计算) 11
四．配置MaxCompute同步到Mysql中 14
方案一：直接在DataWorks控制台配置 14
方案二：写脚本同步任务 15
Question 17
五． Python相关 17
MaxCompute的Python相关 17
DataHub的Python相关 18
对于实时计算中的Python相关 18

一．业务整体流程步骤
新闻舆情分析大致流程如下：

(1)数据从Mysql配置同步到DataHub;
在阿里云上通过购买数据同步作业，然后进行配置MySQL与DataHub同步，将MySQL的相关表的把数据同步到DataHub的表中。
(2)DataHub作为数据源表将里面的数据流入到实时计算平台；
在阿里云的实时计算平台上，创建与之前DataHub中表结构一致的数据源表，这里需要加上with参数（进行一些与DataHub相关的参数配置）。
(3)数据在实时计算平台做实时处理，数据处理过程如下：
在阿里云实时计算平台上，申请购买相应的计算资源（Flink集群），有两种方式进行相应的数据处理计算。
1.在阿里云实时技术平台web客户端控制台进行编写相应的SQL语句用与相应的业务逻辑计算。

2.通过java代码编写Flink Datastream,提交任务jar包到阿里云的Flink集群进行相应的逻辑技术(推荐)。
(4)将结果从实时计算平台输出到MaxCompute数据结果表；
在阿里云实时计算平台上创建数据结果表，同样带上With参数，将数据
结果实时的输出到MaxComputer中。
(5)从MaxCompute数据同步到Mysql。
直接在DataWork（MaxCompute Web控制台）的数据集成模块中的离线同步，
进行相关的数据同步配置。

二．DatatHub对接Mysql数据源（购买同步作业方案）

操作步骤
1.在阿里云上购买数据同步作业。
2.登录数据传输控制台。（在左侧导航栏，单击数据同步。在同步作业列表页
面顶部，选择数据同步实例所属地域。）

3.定位至已购买的数据同步实例，单击配置同步链路。
配置同步作业的源实例及目标实例信息。

4.单击页面右下角的授权白名单并进入下一步。
此步骤会将DTS服务器的IP地址自动添加到源RDS实例的白名单中，用
于保障DTS服务器能够正常连接源RDS实例。
5.配置同步策略和同步对象。

可选：将鼠标指针放置在已选择对象框中待同步的表名上，单击对象后出现的编辑，然后在弹出的对话框中设置Shardkey（即用于分区的key）。

上述配置完成后，单击页面右下角的预检查并启动。
在数据同步作业正式启动之前，会先进行预检查。只有预检查通过后，才能成功启动数据同步作业。如果预检查失败，单击具体检查项后的，查看失败详情。根据提示修复后，重新进行预检查。
在预检查对话框中显示预检查通过后，关闭预检查对话框，同步作业将正式开始。
等待同步作业的链路初始化完成，直至处于同步中状态。

6.配置完数据同步作业后，可以对同步到DataHub实例中的数据执行计算分析。

对于dataHub对接MySQL数据源时，官方给出了一些功能上的限制。基本上就是在数据同步的时候，不能对表结构做出相应的调整。

2.相关Questions:

对于官方给出的支持同步SQL的三种操作，并没有做更进一步的解释说明。以下是个人一的一些理解：
1.对于所给的三种sql操作，应该