
BigData
文章平均质量分 54
写虫师
ما هو الله
展开
-
Spark - saveAsTable + rename = 坑
目录一、背景二、环境及测试场景①、环境②、测试场景三、复现历程①、场景探索②、测试用例(写数据)1. rename表(hive引擎)2. 观察rename后表结构3. 记录下rename后的目录状态4. jar包 insertInto写入第二批数据③、测试用例(读数据)1. hive引擎读新路径(location)的旧数据2. spark引擎读旧路径(path)的新数据四、隐患①、隐患:数据写入和查询混乱②、隐患:数据管理和治理困难五、修正方案............原创 2022-05-19 18:32:30 · 1354 阅读 · 0 评论 -
Kafka - Linux搭建本地Kafka环境
下载官网下载安装配置启动原创 2021-10-16 19:20:18 · 177 阅读 · 0 评论 -
Flink - Linux搭建本地Flink环境
下载官网下载 - 历史版本下载安装配置启动原创 2021-10-16 15:56:23 · 544 阅读 · 0 评论 -
BigData - 学习资料
文章目录模块 链接 源头Scala 尚硅谷大数据之韩顺平Scala 哔哩哔哩Apache Flink Apache Flink官网中文版 Flink下载Apache Flink Ververica的哔哩哔哩UP号 哔哩哔哩Apache Flink Ververica的优快云博客 优快云Apache Flink flink-china/flink-training-course GitHub原创 2019-07-04 14:21:48 · 500 阅读 · 1 评论 -
Deepin - Linux配置Maven环境(Windows雷同)
目录1. 下载2. 配置2.1 创建安装目录2.2 copy2.3 解压2.4 修改settings.xml(重点)2.5 配置环境变量2.6 坑结束语提前安装好JDK1. 下载官网下载,找到自己系统对应的版本历史版本下载我用的是Deepin,所以下载的是 ** ……-bin.tar.gz**# 下载安装包wget http://mirror.bit.edu.cn/apache/ma...原创 2019-06-25 12:50:05 · 1526 阅读 · 0 评论 -
Deepin - Linux配置Scala环境(Windows雷同)
目录Linux1. 下载2. 配置2.1 创建安装目录2.2 copy2.3 解压2.4 配置环境变量!坑WindowsLinux1. 下载官网下载 ,找到自己系统对应的版本下载历史版本我用的是Deepin,所以下载的是 ____.tgz# nangy @ nangy-vm in ~/Downloads [13:41:59] $ wget https://downloads.ligh...原创 2019-06-25 14:03:22 · 796 阅读 · 1 评论 -
Flink - Apache Flink 中文视频课程
文章目录资料:https://github.com/flink-china/flink-training-course原文链接视频备注Apache Flink 零基础入门(三):开发环境搭建和应用的配置、部署及运行配套视频...转载 2019-08-26 10:06:24 · 503 阅读 · 1 评论