- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark的shuffle算子
Spark的shuffle算子转载转载https://blog.youkuaiyun.com/gegeyanxin/article/details/85038525
2021-03-05 09:56:03
247
1
原创 到底什么是MapReduce的shuffle过程？
需要搞清楚的问题什么是shuffle ？为什么会有shuffle？shuffle过程怎么实现的？什么是shuffle？map阶段之后，reduce阶段之前的数据处理过程称之为shuffle。为什么会有shuffle？shuffle过程怎么实现的？...
2020-04-16 10:56:00
425
原创 Spark的Yarn Cluster部署模式的工作流程
Spark 部署模式YARN Cluster模式中所涉及的概念功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入YARN...
2020-04-09 17:47:27
719
原创 java.lang.String is not a valid external type for schema of int
java.lang.String is not a valid external type for schema of intsparksession.sql()出现java.lang.RuntimeException: Error while encoding: java.lang.RuntimeException: java.lang.String is not a valid externa...
2019-10-04 22:02:56
6118
原创 Runtime 执行较复杂指令
String cmd = “要执行的指令”;如果cmd较为复杂（比如：cmd = “fastload < /usr/local/TTU/script/e1.fl”），则需要对cmd作处理如下：String[] cmd_1 = new String[]{“sh”,"-c",cmd};最终，Runtime.getRuntime().exec(cmd_1)可执行成功。...
2018-11-07 23:11:24
300
原创 CentOS使用yum指令显示"ImportError: No module named site"错误。
CentOS使用yum指令显示"ImportError: No module named site"错误。1.打开终端2.输入指令unset PYTHONPATHunset PYTHONHOME3.错误消失
2018-11-07 15:15:32
6749
4
mv findspark-msxf.tar.gz /workspaces/vscode-python-manager/
2024-11-08
DDDDDDDDDDDDDDDDDDDDDFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFSS
2025-06-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人