大数据
关注
分享
扫一扫
文章平均质量分 92
yyangqqian
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
ElasticSearch 之学习
文章目录安装下载地址单节点安装HEAD 插件安装分布式安装安装 Kibana 安装 下载地址 ElasticSearch： https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=D logstash： https://mirrors.huaweicloud.com/logstash/?C=N&O=D kibana： https://mirrors.huaweicloud.com/kibana/?C=N&O=D elasticsear原创 2021-03-07 17:46:16 · 374 阅读 · 0 评论 -
Zookeeper 之入门及分布式集群的搭建
文章目录Zookeeper简介Zookeeper能做什么Windows安装Zookeeper3.4.9（单机模式）Zookeeper 3.4.9安装单机模式（Standalone）伪分布式集群模式（Fake Distributed）完全分布式集群模式（Full Distributed）Zookeeper服务操作命令zoo.cfg配置文件说明Zookeeper使用使用客户端命令操作zookeeper使用Java API操作zookeeper Zookeeper简介 Zookeeper是一个分布式服务框架，是A原创 2019-10-26 11:06:52 · 773 阅读 · 0 评论 -
Hadoop 之HDFS客户端API操作
文章目录1、HDFS客户端环境准备2、HDFS的API操作 1、HDFS客户端环境准备 根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径，例如：D:\Develop\hadoop-2.7.2。 配置HADOOP_HOME环境变量。 配置Path环境变量。 导入相应的依赖坐标+日志添加。 <dependencies> <dependency> ...原创 2019-08-27 13:35:54 · 298 阅读 · 0 评论 -
Hadoop 之shell常用命令
文章目录查看目录递归查看目录下的所有文件包括子文件夹里面的文件创建文件夹级联创建文件夹上传文件从本地剪切文件到HDFS上下载文件合并下载查看文件内容复制移动删除删除文件或文件夹强制删除 查看目录 hdfs dfs -ls / 递归查看目录下的所有文件包括子文件夹里面的文件 hdfs dfs -ls -R / 创建文件夹 hdfs dfs -mkdir /test 级联创建文件夹 hdfs dfs ...原创 2019-08-22 14:34:06 · 287 阅读 · 0 评论 -
Hadoop 之WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
注：升级glib库解决问题请参加链接：https://blog.youkuaiyun.com/l1028386804/article/details/88420473 问题描述 配置完Hadoop集群并启动成功，但是在使用hdfs命令查看hdfs文件系统数据的时候出现如下警告信息： WARN util.NativeCodeLoader: Unable to load native-hadoop library...原创 2019-08-16 17:31:55 · 447 阅读 · 1 评论 -
MapReducer 之基于mapreduce框架编写第一个MR程序
文章目录需求导入依赖map业务逻辑reducer业务逻辑mr程序运行的main主类MR程序运行方式集群运行模式本地运行模式MapReduce的输入和输出 需求 统计文件中一个相同单词的数量。 导入依赖 <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId&g...原创 2019-08-25 21:50:22 · 354 阅读 · 0 评论 -
Hadoop 之完全分布式模式搭建
1、虚拟机环境准备 1、准备三台CentOS虚拟机系统 2、修改主机名（node1、node2、node3）视具体情况而定 3、 静态ip（192.168.56.61、192.168.56.62、192.168.56.63）视具体情况而定 4、关闭防火墙 5、创建一个普通用户并具有ROOT权限（centos）视具体情况而定 6、在/opt目录下创建文件夹 # 在/opt目录下创建module、so...原创 2019-08-14 23:24:23 · 305 阅读 · 0 评论 -
Hadoop 之运行环境搭建
1、虚拟机环境准备 准备三台Linux虚拟机系统 修改主机名 关闭防火墙 创建一个普通用户并具有ROOT权限 在/opt目录下创建文件夹 （1）在/opt目录下创建module、software文件夹 $ sudo mkdir /opt/module $ sudo mkdir /opt/software （2）修改module、software文件夹的所有者 $ sudo chown nod...原创 2019-08-10 16:07:31 · 730 阅读 · 0 评论 -
HBase 的安装部署
文章目录版本说明下载地址Hadoop2.x安装 版本说明 JDK1.7以上 hadoop-2.5.0-cdh5.3.0.tar.gz zookeeper-3.4.5-cdh5.10.0.tar.gz hbase-0.98.6-cdh5.3.0.tar.gz 下载地址 hadoop： http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5...原创 2019-08-03 17:58:15 · 525 阅读 · 0 评论 -
HBase 入门
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.3.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hadoop...转载 2019-08-03 13:35:31 · 122 阅读 · 0 评论