该博客基于之前搭建的Hadoop对爬取的招聘数据进行分析。先对数据集进行展示、去标题行、预处理等操作，再上传到HDFS并导入数据库。之后对数据进行计数，还从学历要求、城市分布、公司人数、发布公司、职位分类等方面展开分析，发现计算机/互联网职位前景不错。
作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363
前言：
根据之前博客搭的hadoop，对之前爬取出来的数据进行分析。
操作：
1.将爬取的数据集abcde.csv展示出来：
2.去掉标题行：
3.对数据集文件进行预处理操作，并生成abcde.txt文件：
4.启动hadoop集群，启动HDFS：
5.将数据集上传到hdfs：
6.创建数据库并导入数据：
7.对导入的数据进行计数，有4980条数据：
8.对学历要求进行分析，发现不限：1677，本科：2415，硕士：253，博士：5
8.对城市分布进行分析发现北京占数最多，为1642，上海次之，为935，广州第三，593
9.对公司人数进行分析，500以上人数的公司约占四分之一，50人以下的公司占404，说明实习僧招聘的公司规模的人数不算少。
10.对发布的公司进行分组排序，发现帮范儿招聘职位最多，高达64，可能为猎头公司。
11.对职位分类进行了分析，发现计算机/互联网相关的分类占数最多，仍未饱和，前景不错：
扫一扫
1437
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
