lzw2016的博客

看很多资料，很少有讲怎么去操作读写csv文件的，我也查了一些。很多博客都是很老的方法，还有好多转来转去的，复制粘贴都不能看。下面我在这里归纳一下，以免以后用到时再费时间去查通过sc.textFileval input = sc.textFile("test.csv")val result = input.map { line => val reader = new CSVRea..

转自：http://langyu.iteye.com/blog/992916个人感觉这篇讲shuffle过程对于初学者来说，确实很详尽，不得不推荐一番。你可以点击下载该篇文章的PDFShuffle分为分区(Partition)、排序(Sort)、分组(Group)、结合(Combine)四个过程，这篇文章文字较多感觉有些地方讲的不是很清楚，后续我也打算结合代码写一篇我自己对shuffle过程的...

title: 【MapReduce详解及源码解析（一）】——分片输入、Mapper及Map端Shuffle过程date: 2018-12-03 21:12:42tags: Hadoopcategories: 大数据toc: true点击查看我的博客：Josonlee’s Blog版权声明：本文为博主原创文章，未经博主允许不得转载（https://blog.youkuaiyun.com/lzw20...

title: Hadoop及Spark学习路线及资源收纳date: 2018-11-18 16:19:54tags: Hadoopcategories: 大数据toc: true点击查看我的博客：Josonlee’s Blog前言本人大数据专业方向，收集学习一些相关文章，汇总如下。有些资源来源网络，出处不明，如有错误请告知，谢谢资源不断更新中。。。Hadoop18.11.1...

文章目录一、MapReduce编程实例1.自定义对象序列化需求分析报错：Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.17.10:9000/workspace/flowStatistics/output, expected: file:///解答一、正常处理即可，不过在...

title: Spark本地安装及Linux下伪分布式搭建date: 2018-12-01 12:34:35tags: Sparkcategories: 大数据toc: true个人github博客：Josonlee’s Blog文章目录前期准备本地安装基于hadoop伪分布式搭建启动spark安装过程可能遇到的问题spark完全分布集群搭建前期准备spark可以在Linux上...

title: Hadoop伪分布式集群搭建date: 2018-11-14 15:17:20tags: Hadoopcategories: 大数据点击查看我的博客: Josonlee’s Blog文章目录前言准备伪分布式特点JDK 下载和环境配置配置虚拟机网络环境配置Hadoop的环境下载Hadoop上传并解压安装配置Hadoop环境变量修改hadoop配置文件配置hadoop用户免...

title: 推荐系统理论初探date: 2018-12-20 20:32:55tags: 推荐系统toc: truecategories: ML我的博客: Josonlee’s Blog推荐系统理论推荐系统所需的元数据要推荐物品或内容的元数据，例如关键字，基因描述等；系统用户的基本信息，例如性别，年龄等用户对物品或者信息的偏好，根据应用本身的不同，可能包括用户对物品的评...