Abcdewwh的博客

在电影库中查找演员评分最高的5部电影 说在前面的话：其实这个题目有四种办法可以完成，只具体说明两种分别是： 使用Hdfs的Hbase就可以实现。具体是idea这边写代码将数据写入Hbase（要先定义好表结构），java有提供api用于数据的插入，再去虚拟机进入Hbase使用命令就可以查看数据，此方法要求有一定的编程基础与前面几章的认真熟练 使用Hive。这个对数据进行初步处理再带入Hive，Hive有提供类似于sql语句的查询。此方法简便 利用pig sqoop？ 如果是自学很欢迎，如果是课程需要请关

spark关于DataFrame在复杂数据筛选的使用小记 【实验说明】 1，people.csv 中的数据是中国第五次人口普查（2000年）和第六次人口普查（2010年）的数据。以下为数据列的说明 列序号 说明 1 地区名称 2 户口地区类型，分别为 城市/镇/乡村 3 户口集体类型，分别为 家庭户/集体户 4 统计年份 5 性别 6 人数 【实验要求】 取2000年普查数据对比2010年普查数据，统计所有人口减少的地区，按减少数量从高到低排列。结果表头格式如下表所示