大数据组件hadoop、flink等学习
关注
分享
扫一扫
文章平均质量分 65
涉及大数据组件hadoop、flink、hive等的部署、疑难问题记录等
风路丞
这个作者很懒，什么都没留下…
展开
-
python算法调用方案
python算法调用原创 2023-09-08 12:01:09 · 605 阅读 · 0 评论 -
hive的特殊函数named_struct、inline及特殊类型map＜string, array＜string＞＞
named_struct、inline、map原创 2023-02-13 15:56:44 · 1287 阅读 · 0 评论 -
spark sql + 算法批量预测
spark sql获取指定区间的数据集原创 2022-11-15 10:18:33 · 1039 阅读 · 0 评论 -
hive、spark 窗口滑动获取数据集
hive、spark 窗口滑动获取数据集原创 2022-09-20 10:36:11 · 1224 阅读 · 0 评论 -
hive 常用函数
hive常用函数转载 2022-09-02 15:11:15 · 122 阅读 · 0 评论 -
SparkSQL执行时参数优化
spark参数调优转载 2022-07-28 10:17:46 · 842 阅读 · 0 评论 -
pyspark模型训练
1、pyspark启动正常情况pyspark shell的启动成功后的界面：[admin@datacenter4 ~]$ pysparkPython 2.7.5 (default, Nov 16 2020, 22:23:17)[GCC 4.8.5 20150623 (Red Hat 4.8.5-44)] on linux2Type "help", "copyright", "credits" or "license" for more information.Welcome to ...原创 2022-03-30 17:18:20 · 3201 阅读 · 0 评论 -
sqoop export 数据覆盖更新
一、Sqoop export简介 Sqoop export工具被用来将文件集合从HDFS中导入到关系型数据库中。目标表必须事先已经在数据库中创建好。输入文件根据用户指定的分隔符被读取解析成记录集。Sqoop默认的是将这些操作转换成“INSERT模式”，向目标数据库中注入数据记录。在“更新模式”中，Sqoop将会产生更新语句替换数据库中已经存在的记录。在“调用模式”中，Sqoop会为每个记录产生一个存储过程调用。1、“INSERT模式”：Sqoop默认将每条记录以转换成INSERT语句，添加到数据库表中.转载 2022-03-23 15:13:26 · 1447 阅读 · 0 评论