- 博客(13)
- 收藏
- 关注
RSS订阅原创 Spark与Scala的安装配置（环境变量）以及运行wordcount
Spark与Scala的安装配置（环境变量）以及运行wordcount一、Spark与Scala版本兼容问题：二、scala的安装配置三、spark的安装配置四、Spark-shell 一、Spark与Scala版本兼容问题： Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使...
2019-05-23 22:26:04
1811
原创 Hive的安装配置以及运行wordcount
Hive的安装配置以及运行wordcount一、MySQL安装卸载MySQL二、Hive安装与配置三、MySQL Connector/J安装四、启动hive五、Hive应用实例：wordcount学习资料 一、MySQL安装 ①官网下载mysql-server（yum安装） wget http://dev.mysql.com/get/mysql-community-release-el7-5.no...
2019-05-23 09:49:42
426
原创 redis安装
redis安装 1、从官网：https://redis.io/ 下载对应版本的 Redis（redis-3.2.6.tar.gz）安装包 2、上传到虚拟机根目录下 SecureCRT 【File】→【Connect SFTP Session】开启sftp操作 put e:/redis/redis-3.2.6.tar.gz 3、解压到对应的安装目录 tar -zxvf ~/redis-3.2.6....
2019-05-22 17:07:21
293
原创 HBase安装配置（伪分布模式）以及HBase数据库的简单操作
HBase安装配置（伪分布模式）以及HBase数据库的简单操作一、HBase安装二、HBase配置（伪分布式模式）三、进入HBase数据库四、HBase架构原理五、Hbase Java API警告 一、HBase安装 ①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录） 官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbas...
2019-05-22 16:25:26
1794
原创 MapReduce运行wordcount程序
MapReduce运行wordcount程序 1、Eclipase里面在Maven项目下编写两个java程序代码： ①主程序代码： public class WordCount { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { ...
2019-05-22 15:50:29
325
原创 Eclipse新建Maven项目并运行（打包）java程序实现hdfs与本地之间的上传或下载文件
Eclipse新建Maven项目并运行（打包）java程序实现hdfs与本地之间的上传或下载文件一、在Eclipse里新建Maven Project二、输入com.bla，项目名称HDFSTest，如果项目要运行到web的话在package处选择war，我们这里选择jar的形式。3、自动生成Maven项目，新建包hdfs.files，包里新建class：4个java文件。四、可直接运行四个java...
2019-05-22 15:29:22
1373
原创 Windows里安装配置JDK+Eclipse+Maven
安装配置JDK+Eclipse+Maven 步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用。） 1.安装配置JDK ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe： https://www.oracle.com/technetwork/java/java...
2019-05-22 14:51:50
325
原创 Hadoop完全分布式模式配置并运行wordcount
Hadoop完全分布式模式配置并运行wordcount 一、新建另外两台Linux虚拟机 完全分布式模式共三台虚拟机，前述伪分布式的虚拟机（bigdata128）作为master主节点，克隆另外两个虚拟机（bigdata129、bigdata131）作为slaves子节点，克隆机自带安装JDK、Hadoop及配置文件。 注：此配置是为学习所用，且电脑资源有限，因此照搬伪分布式配置，将NameNod...
2019-05-22 11:29:34
1012
原创 如何克隆虚拟机
如何克隆虚拟机 1、先关闭被克隆虚拟机，【虚拟机(M)】→【管理(M)】→【克隆©】 然后点击下一步。 2、选择–＞虚拟机中的当前状态（c），点击下一步 3、选择–＞创建完整克隆（F），点击下一步。 4、输入克隆的虚拟机的名称，和当前虚拟机要保存的位置。 然后点击完成即可创建克隆虚拟机。 ...
2019-05-22 11:18:32
2063
原创 Hadoop伪分布式模式配置并运行wordcount
Hadoop伪分布式模式配置并运行wordcount 只有一台虚拟机bigdata128，既是namenode又是datanode。 一、基础安装配置 首先要完成jdk+hadoop的安装配置； 点击以下链接完成配置。 https://blog.youkuaiyun.com/Wxp_csdn/article/details/90439386 二、修改以下5个配置文件 在与之间添加如下property： ①co...
2019-05-22 11:04:01
1024
原创 JDK+Hadoop安装配置
JDK+Hadoop安装配置 1.关闭防火墙 firewall-cmd --state 显示防火墙状态running/not running systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙 systemctl disable firewalld 禁止防火墙服务。 2.传输JDK和HADOOP压缩包 SecureCRT 【File】→【Connect SFT...
2019-05-22 10:44:56
492
原创 虚拟机不能显示ip地址的解决问题
虚拟机不能显示ip地址的解决问题在root用户根目录下输入：dhclient -v 在root用户根目录下输入：dhclient -v ### 输完命令确定就可以看到虚拟机的ip地址了！ ...
2019-05-22 10:21:22
2483
原创 大数据学习路线
大数据大数据定义大数据学习路线名词解释 大数据定义 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [2] 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据...
2019-03-04 18:23:26
407
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人