
大数据
fine_rain
这个作者很懒,什么都没留下…
展开
-
MapReduce中的数据倾斜简介及部分解决方案
阅读了网上别人整理写作的博客,了解了数据倾斜的一些大概情况。查阅论文了解一下比较前沿的算法解决思路。(看了好几篇论文,找了几个有意思的解决方案和大家分享一下)查阅Apache官方论坛,了解一些实际中的解决应用。专业名词:data skew、partitioning skew、reduce skew、data locality发现大概有两种优化思路,一种是在shuffle阶段做优化,使得re...原创 2019-10-28 13:04:56 · 710 阅读 · 0 评论 -
ubuntu16系统下使用Intellij IDEA配置hadoop使用(无坑版)
文章目录创建hadoop工程配置依赖环境编译环境配置测试配置成功与否运行步骤运行结果创建hadoop工程创建一个新的工程,选择JAVAEE Application添加自己本地目录下的JAVA SDK到project中输入项目名称,点击finish创建项目创建javaClass配置依赖环境打开Project Structure点击左侧“Libraries”添加ha...原创 2019-07-03 15:22:25 · 3046 阅读 · 0 评论