- 博客(10)
- 收藏
- 关注
RSS订阅原创 hadoop配置详情
一 完全分布式集群(单点） Hadoop官方地址：http://hadoop.apache.org/ 1 准备3台客户机 1.1防火墙,静态IP,主机名 关闭防火墙，设置静态IP，主机名此处略，参考 Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。因此我们在主机的/...
2020-04-02 14:03:25
587
原创 maven仓库环境搭建和测试
环境准备 （1）JDK 环境必须是 1.8 及以上，传送门：jdk1.8.191 下载 （2）后面要使用到 Maven 管理工具 3.2.5 及以上版本，所以会先介绍 Maven 的安装与配置 （3）开发工具建议使用 IDEA，也可以 MyEclipse，为了实现一站式服务，传送门： IDEA 破解（原文是PyCharm的，步骤完全一样，Webstorm 也可以破解） MyEclipse 2018...
2020-01-27 16:15:29
1755
原创 spark配置
Linux安装Spark集CentOS7+Spark2.1.1 1 安装Spark依赖的Scala Scala的下载和解压缩可以参考下面博文的对应章节，步骤和方法一模一样：http://blog.youkuaiyun.com/pucao_cug/article/details/72353701 1.2 为Scala配置环境变量 编辑/etc/profile这个文件，在文件中增加一行配置： export ...
2019-05-21 20:35:58
3381
原创 MapReduce演练
mapper类实现： /* KEYIN：输入kv数据对中key的数据类型 VALUEIN：输入kv数据对中value的数据类型 KEYOUT：输出kv数据对中key的数据类型 VALUEOUT：输出kv数据对中value的数据类型 */ public class WordCountMapper extends Mapper<LongWritable, Text, Text, ...
2019-05-21 20:13:25
241
原创 HADOOP下的HDFS演练
hadoop环境搭建好后，运行第wordcount示例 1.首先启动hadoop:start-all.sh 2.进入到hadoop的安装目录下（我的是/root/opt/module/hadoop-2.7.3） 3.新建hadoop hdfs文件系统上的input文件夹（输入文件存放）：hadoop fs -mkdir /input 4.在当前目录下新建test.txt文件,传入测试文件: ha...
2019-05-21 20:12:24
129
原创 hadoop集群环境搭建
一、基础环境 Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。 Hadoop需要通过SSH来启动salve列表中各台主机的守护进程，因此SSH也是必须安装的，即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。对于伪分布式，Hadoop会采用与集群相同的处理方式，即依次序启动文件conf/slaves中记载的主机上的进程，只不过伪分...
2019-05-21 20:11:20
133
原创 hive配置与wordcount实例
hive的安装与配置 默认环境中jdk已经正常安装，hadoop集群正常启动 MySQL安装 1.1官网下载mysql-server（yum安装） wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm 若wget不可用，下载安装wget：yum -y install wget 1.2:解压rpm -ivh my...
2019-05-21 20:04:01
738
原创 NOSQL下的Redis和MongoDB的安装和配置
安装MongoDB 下载MongoDB提供了linux平台上32位和64位的安装包，你可以在官网下载安装包下载地址：http://www.mongodb.org/downloads 安装 下载完成后，在你安装的目录下解压zip包。 创建数据库目录 MongoDB的数据存储在data目录的db目录下，但是这个目录在安装过程不会自动创建，所以你需要手动创建data目录，并在data目录中创建db目录。...
2019-05-21 19:37:32
330
原创 Centos7上HBase的安装和配置简单Eclipse+Maven
hbase 版本 hadoop2.7.3 版本 hbase-1.2.7 Hadoop启动 start-hbase.sh 进入HBASE hbase shell 以下为HBASE安装过程 #解压文件到指定目录 tar -zxvf /hbase-1.2.7-bin.tar.gz -C /usr/lib/ #配置 hbase-site.xml 文件 /root/opt/module/hbase-1.2....
2019-05-21 19:21:57
441
原创 大数据技术与应用
第一章：大数据概论 1.1:大数据简介 1.1.1:IT产业的发展简史 1.1.2:大数据的只要来源 1.信息管理系统 2.网络信息系统 3.物联网系统 4.科学实验系统 1.1.3:数据生成的三种主要方式 1.1.4:大数据的主要特点 1.1.5:大数据的处理流程 1.数据汲取与集成 2.大数据分析 3.数据可视化 ...
2019-03-04 19:53:38
631
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人