weixin_46449024的博客

AI智能体（工作流/多智能体）都以来大量的工具才能高效完成计算密集及结果确定的任务。知名的notebook/jupyterlab是不错的选择。这里有个综合能力强且开源的python在线开发部署一体平台DataFlux-Func，同时具有python微服务开发/部署，定时任务调度，可弹性扩容，安全鉴权，虚拟路径等生产级能力，可以作为接口平台/数据处理平台，满足小规模的产品应用需求。开源。

python -m pip install apache-flink==1.20.1启动成功：Paimon的本地数据文件：1. Flink2.0 + Paimon//没有配套的Paimon库，会报Sink不匹配异常。

两款流行的大数据计算引擎都在流批计算方面不断进化；看来流批一体是趋势。两者都将SQL发挥的淋漓精致，开发效率将来必然会有更大的提升。

生产流式数据消费流式数据

3. 遇到【错误记录】Python 中使用 PySpark 数据计算报错 ( SparkException: Python worker failed to connect back. )运行3.12后, dataframe创建失败, python与java直接的序列化反序列化错误.1. 打开任务就basic.py, IDEA 会提示安装pythonSDK。打开project配置，模块下创建Python 3.10执行环境。2. 工作目录设置为project根目录，否则找不到resources下的数据文件.

通过API方式可以灵活的实现业务需求，复用现有代码，搭建自定义的应用框架，有其不可替代的应用场景。在API的基础上，日常的简单的业务需求应该通过更加高效的方式实现, SPARK SQL。（*各大厂商通过SQL已经成功改变了大数据的开发范式）

df1.show()ds1.show()list += p})})ds3.show()

git中文乱码 原因 解决方法 解释

Git Daily Commandgit clone URI //download the repository from server into current foldergit init --bare //initialize local folder as a new Git Repository, --bare: without working tree--------...

IDEA

【代码】MYSQL8 时序信号事件触发及持续时长。

在IDEA 中直接运行spark任务，需要勾选 Add dependencies with "provided" scope to classpath.