- 博客(95)
- 收藏
- 关注
RSS订阅原创 Anaconda3 常用命令及配置
系统环境：windows10Anaconda版本：Anaconda3-2024.02-1-Windows-x86_643、复制虚拟环境5、进入虚拟环境2.2、包管理1、查看安装包2、安装python包3、更新安装包4、卸载安装包2.3、镜像源管理1、查看已配置的镜像源conda config --add channels url3、删除镜像源conda config --remove channe
2024-06-24 09:53:18
946
原创 《数据仓库入门实践》
1、问什么要写这篇博客？随着自己在`数仓`岗位工作的年限增加，对数仓的理解和认知也在发生着变化所有用这篇博客来记录工作中用到的`知识点`与`经验`2、这篇博客主要记录了那些内容？主要会记录一些`数仓建设方法论`和工作技巧。
2023-11-20 18:28:48
651
原创 2.2 如何使用FlinkSQL读取&写入到文件系统(HDFS\Local\Hive)
如何使用FlinkSQL读取&写入到文件系统(HDFS\Local)
2023-10-17 18:35:25
5649
1
原创 hive、spark、presto 中的增强聚合-grouping sets、rollup、cube
如何在 hive、spark、presto 中使用增强聚合-grouping sets、rollup、cube
2023-09-19 12:40:50
1771
原创 6、如何将 Flink 中的数据写入到外部系统(文件、MySQL、Kafka)
如何将 Flink 中的数据写入到外部系统(文件、MySQL、Kafka)
2023-09-14 15:48:31
417
原创 5、flink任务中常用的转换算子（Transformation）
使用用户定义的 Partitioner 将元素分发到下游算子的分区中去// 1.获取执行环境/** 功能说明：* 自定义分区器，根据输入的数据获取分区编号* 泛型说明：* @K ： key的数据类型* */@Overridereturn 0;return 1;/** 功能说明：* key提取器，根据输入的数据，获取key* 泛型说明：* @IN ： 输入数据类型* @KEY ： 输出数据类型(key)* */
2023-08-18 17:24:27
629
原创 4.2、Flink任务怎样读取文件中的数据
读取文件时可以设置哪些规则呢？1. 文件的格式(txt、csv、二进制...)2. 文件的分隔符(按\n 分割)3. 是否需要监控文件变化(一次读取、持续读取)基于以上规则，Flink为我们提供了非常灵活的 读取文件的方法。
2023-08-09 18:29:22
2653
原创 4.4、Flink任务中如何使用DataGeneratorSource生成测试数据源
Flink任务中如何使用DataGeneratorSource生成测试数据源
2023-06-29 17:07:53
2178
1
原创 4、如何在flink任务中读取外部数据源（DataStream API）
用一个例子告诉你 怎样在Flink DataStream API 中读取数据源(Scala API)
2023-03-31 15:26:39
2632
原创 1、 怎样使用Java代码来编写Flink流式计算任务
1. 获取 flink应用程序 的执行环境对象(Execution Environment)3. 定义基于数据的转换操作(Transformations)4. 定义计算结果的输出位置(Sink)2. 指定读取数据源(Source)5. 触发程序执行(Execute)
2023-03-29 20:11:14
1232
原创 Flink 读取HDFS 报错: Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by NoResta
Flink 读取HDFS 报错: Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy
2023-03-29 15:31:53
1177
原创 hdfs API 上传文件报错: File /dawang/3.txt could only be written to 0 of the 1 minReplication nodes.
使用 HDFS 的Java API 上传文件时，报错:File /dawang/3.txt could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are excluded in this operation. 无法与 DataNode服务 通信，导致写流程报错1. 开放 9866 端口 2. 在 IDEA 项目的resources目录下添加 hdfs
2023-03-28 18:25:40
551
1
原创 hdfs 创建目录报错: Permission denied: user=worker01, access=WRITE
hdfs 创建目录报错: Permission denied: user=worker01, access=WRITE
2023-03-28 17:28:01
615
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人