- 博客(15)
- 收藏
- 关注
RSS订阅转载 Spark
一.实验目的1． 了解Spark SQL所能实现的功能；2． 能够使用Spark SQL执行一些sql语句。二.实验要求1． 能在实验结束之后完成建立数据库，建立数据表的数据结构；2． 建立数据表之后能在Spark SQL中执行SQL语句进行查询；3． 练习怎么向Spark SQL中导入数据。三.实验原理Spark SQL用于以交互式方式编写并执行Spark SQL，且书写语法为类...
2019-05-25 21:56:02
200
转载 Hadoop之MapReduce实验报告
一、实验题目编写MapReduce程序Dictionary。二、实验目的Dictionary遍历dictionary.txt文件，读取数据，并把其中的英文词汇转化为法语或意大利语。文档格式：每行空格前为英语，空格后为法语或意大利语，中括号中为词性。三、任务分解首先，先观察待处理文档，由于windows下与linux中回车符的表示不同（一个为\r\n,一个为\n）。所以同一个文档在不同...
2019-05-25 21:50:09
2861
原创 安装配置Hive NOSQL及其JDBC驱动实验报告
NOSQL安装①官网下载mysql-server（yum安装）wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm若wget不可用，下载安装wget：yum -y install wget②解压rpm -ivh mysql-community-release-el7-5.noarch.rpm③安装yu...
2019-05-25 21:46:08
369
原创 Hbase安装配置
HBase安装配置①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录）官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载。②将压缩包从Windows传输到Linux当前目录下SecureCRT 【File】→【Co...
2019-05-25 21:44:01
2175
原创 HDFS的Java程序
一、HDFSMKdir.java新建HDFS目录/aadir二、HDFSUpload.java写入/上传 本地文件c:\hdfs\aa.txt 到HDFS的/aadir目录下。加载包三、HDFSDownload.java读/下载 HDFS的根目录文件/bb.txt 到本地c:\hdfs目录下加载包四、HDFSFileIfExist.java查看HDFS文件/bb.txt是否存在实验...
2019-05-24 15:34:43
337
原创 hdfs的shell命令
hdfs的shell命令，有三种形式，用前面两个。hdfs dfs√hadoop fs√hadoop dfs×常用的hdfs的shell命令：hdfsdfs -ls / 查看hdfs根目录下文件和目录hdfsdfs -ls -R / 查看hdfs根目录下包括子目录在内的所有文件和目录hdfsdfs -mkdir /aa/bb在hdfs的/aa目录下新建/bb...
2019-05-24 15:27:58
1506
转载 在Eclipse里新建Maven Project
在Eclipse里新建Maven Project输入com.bla，项目名称HDFSTest自动生成Maven项目，新建包hdfs.files，包里新建class：4个java文件编程过程使用Eclipse快捷键Alt+/ 自动补全单词Ctrl+1自动修正，自动添加包、异常...
2019-05-24 15:11:57
1084
转载 安装配置JDK+Eclipse+Maven
步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用。）1.安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downl...
2019-05-24 15:08:43
227
转载 Hadoop安装说明（四）
SecureCRT新建Session、修改外观Hostname输入下下图安装CentOS时的以太网IP地址Session name可以任意双击新建Session，输入root用户密码，选择【Save password】连接成功修改外观：【Options】→【Session Options】→【Appearance】→【Font】选择字体【Character encoding...
2019-05-24 15:01:53
127
转载 Hadoop安装说明（三）
安装SecureCRT】点击【Linux(L)】输入虚拟机名称，选择安装位置点击【下一步】点击【下一步】点击【使用网络地址转换(NAT)(E)】10.选择【LSI Logic(L)】点击【下一步】11.选择【SCSI(S)】点击【下一步】1...
2019-05-20 11:58:06
114
转载 Hadoop安装说明（一）
Hadoop安装说明（一）第一次接触大数据技术与应用VMWare的安装点击【下一步】开始安装2.点击【更改】，选择安装路径，点击【下一步】取消勾选，点击【下一步】点击【安装】点击【许可证】粘贴激活码文件里的激活码，点击【输入】点击【完成】，安装完成...
2019-05-20 11:21:05
176
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人