Kuicer的博客

Spark-GraphX 相关操作

据文件2016phonelocation，编写程序实现功能：运行程序，用户输入任意省份，输出这个省份号码段的个数，电信、移动、联通各占多少个。读取文件 & 嵌套Map使用/** * 输入省份查找对应省份 电信联通移动三家运营商数据 * 缺点：虚拟运营商找不到，每次都需加载数据时空消耗大 * @param pro */ def findPhone(pro: String): Unit = { var a: Int = 0 var b: Int = 0

求区间和、平方和、立方和函数def sum(a: Int, b: Int) = (a + b) * (b - a + 1) / 2def cal2(a: Int) = a * (a + 1) * (2 * a + 1) / 6def sum2(a: Int, b: Int) = cal2(b) - cal2(a - 1)def sum3(a: Int, b: Int) = sum(a, b) * sum(a, b)求GCDdef GCD(a: Int, b: Int): Int = {

Hive是一个基于Hadoop的数据仓库工具，可以对存储在Hadoop文件中的数据集进行数据整理，特殊查询和分析处理。Hive提供了类似关系数据库SQL的查询语言：HiveQL当采用MapReduce作为执行引擎是，Hive可以通过HiveQL语句快速实现简单的MapReduce作业，Hive自身可以将HiveQL语句快速转换成MapReduce作业进行运行，而不必开发专门的MapReduce作业数据仓库的体系结构：数据源数据存储和管理数据服务数据应用传统数据仓库面临的挑战无法满足快

利用ImportTsv将CSV文件导入将文件上传到hdfs上hadoop fs -put /hbasePut.csvhbase中创建一张表然后退出 hbase shell ，输入下面命令将 csv 数据导入表中hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Dimporttsv.columns=HBASE_ROW_KEY,info:sno,info:sname,info:plt,in

将用户手机号同用户访问网站两个属性合在一起作为 key 值，其余和 wordcount 差不多，改改即可，不再赘述import com.amazonaws.services.dynamodbv2.xspec.S;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apach

安装参考文档：https://mongodb.net.cn/manual/tutorial/install-mongodb-on-debian/

一、实验目的通过实验掌握基本的MapReduce编程方法；掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。二、实验平台操作系统：LinuxHadoop版本：2.6.0三、实验步骤（一）编程实现文件合并和去重操作对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。输入文件A的样例如下： 20170101 x 20

一、实验目的理解HBase在Hadoop体系结构中的角色；熟练使用HBase操作常用的Shell命令；熟悉HBase操作常用的Java API。二、实验平台操作系统：Linux（建议CentOS）；Hadoop版本：2.6.1；JDK版本：1.7或以上版本；Java IDE：IDEA。实验内容（1）编程实现以下指定功能，并用Hadoop提供的HBase Shell命令完成相同任务：①列出HBase所有的表的相关信息，例如表名；②在终端打印出指定的表的所有记录数据；③向已经创

1#!/bin/bashread -p "Please select flie path you want to output: " filenamehadoop fs -test -e $filename if [ $? -eq 0 ]; then hadoop fs -test -d $filename if [ $? -eq 0 ]; then echo $filename "is a directory!" else hadoop fs -cat $filename f.

遇到点问题，正在修改