Hadoop
关注
分享
扫一扫
文章平均质量分 53
Little Rain～
我热爱的都是我赖以生存的，要努力呀
展开
-
查找Hadoop-2.7.3版本的默认配置文件
1.core-default.xml:【hadoop-common-2.7.3.jar】2.hdfs-default.xml:【hadoop-hdfs-2.7.3.jar】3.mapred-default.xml:【hadoop-mapreduce-client-core-2.7.3.jar】4.yarn-default.xml:【hadoop-yarn-common-2.7.3.ja...原创 2018-08-05 13:09:12 · 1482 阅读 · 1 评论 -
Eclipse集成Hadoop插件详细过程
1.HDFS:hadoop分布式文件系统--> 两种表现形式：1.hadoop fs shell命令：【hadoop fs -commond】 2.java API方式访问: 【DistributedFileSystem】对应的HDFS2.搭建IDE a. 查找hadoop的依...原创 2018-08-05 14:26:40 · 699 阅读 · 0 评论 -
Hadoop HDFS API操作-----附案例
通过FileSystem API访问读取HDFS数据/** * 通过FileSystem API访问读取HDFS数据 * $>hadoop fs -cat /spaceQuota/text.txt * @throws IOException */@Testpublic void readByFS() throws IOException{Configurat...原创 2018-08-06 21:37:46 · 887 阅读 · 0 评论 -
Hive 1.2.1安装--详细过程
1.安装java2.安装Hadoop3.安装hive $>cp /mnt/hgfs/2.安装环境/download/apache-hive/apache-hive-1.2.1-bin.tar.gz ~/soft/ $>tar -zxvf apache-hive-1.2.1-bin.tar.gz $>ln -s apache-h...原创 2018-08-06 21:42:21 · 1289 阅读 · 0 评论 -
手动安装MySQL--超详细
1.验证Centos是否安装MySQL $>yum list installed | grep mysql2.删除MySql $>yum –y remove mysql-libs.X86_64 或 $>yum erase mysql-libs.x86_643.验证删除是否成功！ $>yum list...原创 2018-08-06 21:44:21 · 1196 阅读 · 0 评论 -
在线安装Mysql ---虚拟机必须联网状态
1.验证Centos是否安装MySQL $>yum list installed | grep mysql2.删除MySql $>yum –y remove mysql-libs.X86_64 或 $>yum erase mysql-libs.x86_643.验证删除是否成功！ $>yum lis...原创 2018-08-06 21:46:10 · 800 阅读 · 0 评论 -
Hive 的工作流程
1.(执行查询操作)Execute Query 命令行或Web UI之类的Hive接口将查询发送给Driver(任何数据库驱动程序，如JDBC、ODBC等)以执行。2.(获取计划任务)Get Plan Driver借助查询编译器解析查询，检查语法和查询计划或查询需求3.(获取元数据信息)Get Metadata 编译器将元数据请求发送到Metas...原创 2018-08-06 21:48:54 · 3380 阅读 · 0 评论 -
Hive 架构
1.hive是数据仓库，在Hadoop基础上处理结构化数据；它驻留在hadoop之上，用户对数据的统计、查询和简单的分析操作；2.hive不是： a.关系型数据库； b.OLTP c.实时查询和行级更新操作3.hive特点： a.表模型存储在database(关系型)中，处理的数据存储在HDFS上； b.设计模式遵循OLAP...原创 2018-08-06 22:10:24 · 498 阅读 · 0 评论 -
HBase与MapReduce整合--附案例
1.编写mapper类public class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> { Text word = new Text(); IntWritable one = new IntWritable(1); /** * map函数：处理行，有几行处理几行。如test1....原创 2018-08-06 22:13:40 · 610 阅读 · 0 评论 -
你值得了解的HBase基础
1.Configuration描述： HBase采用hadoop中的Configuration对象来加载配置文件信息；2.HMaster作用： a.监控集群中所有的regionserver； b.对元数据操作进行管理； c.通常情况下，HMaster和NameNode在一个节点上； d.管理regionserver的故障转移...原创 2018-08-06 22:16:09 · 204 阅读 · 0 评论 -
HBase Shell常用的表操作在MyEclipse上集成
HBase在MyEclispe上执行各种API的操作 如：命名空间的创建，删除，和查询表空间 表的创建，插入数据（分为单行和多行），删除，查询（分为单行和多行，和区间查询）， 切分：分为regionname 和table 过滤：过滤满足条件的数据public class ...原创 2018-08-06 22:22:03 · 207 阅读 · 0 评论 -
Hive搭建流程
Hive搭建的前提是MySQL已经安装完毕，并且能够正常运行。1.安装MySQL，参照第一天；2.修改hive的配置文件 a.{HIVE_HOME/conf}目录下，复制hive-env.sh.template $>cp hive-env.sh.template hive-env.sh $>gedit hive-env.sh ...原创 2018-08-07 18:55:18 · 517 阅读 · 0 评论 -
Hive命令行基本操作
1.定义变量： $>hive -d name=hyxy; //进入到客户端，并定义了变量为name，值为hyxy；作用域在hivevar下 查看设置后的属性值： hive> set name; hive> set hivevar:name; 查看系统默认的所有属性项： h...原创 2018-08-07 18:56:16 · 3915 阅读 · 0 评论 -
Hadoop HDFS Commond常用命令详解
1.appendToFile追加文件至目标文件末尾；(开yarn进程) $>hadoop fs -appendToFile text111.txt /spaceQuota/text.txt2.getmerge:合并文件 $>hadoop fs -getmerge -nl /spaceQuota textmerge.txt3.setrep: 设置文件或目录的复...原创 2018-08-05 14:20:44 · 284 阅读 · 0 评论 -
Hadoop完全分布式搭建流程---超详细
1.克隆两个节点2.修改静态IP3.修改主机名：【master(主)，slave1(从)，slave2(从)】4.修改IP和主机名的映射：【/etc/hosts】5.SSH无密登录：a.修改hostname$>su root$>gedit /etc/sysconfig/network【HOSTNAME=master】b.修改hosts文件$&...原创 2018-08-05 14:05:45 · 546 阅读 · 0 评论 -
HDFS体系结构----checkpoint检查点机制相关属性
1.checkpoint周期，默认为1小时。 <property> <name>dfs.namenode.checkpoint.period</name> <value>3600</value> <description> 两个定期检查点之间的秒数。 </description...原创 2018-08-01 19:21:37 · 733 阅读 · 0 评论 -
HDFS相关概念解析
1.hdfs设计原理 负载均衡、考虑分布式计算 -->block机制2.block默认大小为128m【hadoop2.0版本以上】 原因：默认传输效率100M/s 寻址时间占传输时间的1% 寻址时间为10ms block默认设置参数： <property> <name>dfs.bloc...原创 2018-08-01 19:00:01 · 354 阅读 · 0 评论 -
Hbase Shell常用命令--附实例
1.进入Hbase shell命令 $>hbase shell2.建议参照“help”命令3.shell命令 create创建表指令： hbase(main):021:0> create 'customer','baseinfo','address' put插入数据： hbase(ma...原创 2018-08-01 17:54:52 · 512 阅读 · 0 评论 -
Hadoop-HA搭建流程
1.创建软连接：指向hadoop_cluster_HA2.修改【hdfs-site.xml】<property> <name>dfs.nameservices</name> <value>mycluster</value></property>//指定两个namenode的唯一标识：注意一...原创 2018-07-26 16:31:17 · 313 阅读 · 0 评论 -
Hadoop MapReduce自关联（单表关联）-案例
案例：获取孙子和祖父母的列表 【单表关联.txt】 child parent Tom Lucy Tom Jack Jone Lucy Jone Jack Lucy Mary Lucy ...原创 2018-07-24 22:46:26 · 520 阅读 · 0 评论 -
Hadoop MapReduce多表关联查询-案例
案例：将工厂名和所在地点输出 原始数据为factory.txt工厂库和address.txt地址库 【factory.txt】如下： factoryname addressId Beijing Red Star 1 Shenzhen Thunder 3 Guangzhou Honda 2...原创 2018-07-24 22:42:11 · 2029 阅读 · 0 评论 -
手动操作checkpoint
1.安全模式：【开启状态】$>hdfs dfsadmin -safemode enter //进入$>hdfs dfsadmin -safemode leave //离开$>hdfs dfsadmin -safemode get //获取当前安全模式状态$>hdfs dfsadmin -safemode wait //等待2.保存名字空间$>h...原创 2018-06-08 10:21:39 · 2321 阅读 · 0 评论 -
HDFS的体系结构
HDFS的体系结构-------------------------1.namenode[守护进程]作用：管理文件系统名称空间；【fsimage元数据镜像文件】管理客户端对文件的访问。【edits操作文件】NameNode执行文件系统命名空间操作，如打开，关闭和重命名文件和目录【edits操作文件】确定block到DataNode的映射（注意：心跳机制:status和blo...原创 2018-06-08 10:21:00 · 833 阅读 · 0 评论 -
Hadoop伪分布式搭建流程
1.通过挂载上传软件至/home/hyxy/soft$>cp jdk.1.8.x.tar.gz ~/soft$>cp hadoop.2.7.3.tar.gz ~/soft2.解压相关软件$>tar -zxvf jdk.1.8.x.tar.gz$>tar -zxvf hadoop.2.7.3.tar.gz3.创建软连接$>ln -s jdk....原创 2018-05-20 15:58:08 · 188 阅读 · 0 评论 -
Hadoop单独启动/停止守护进程命令
分别启动守护进程：1.启动namenode进程： $>hadoop-daemons.sh --config ~/soft/hadoop/etc/hadoop_pseudo start namenode2.启动datanode进程： $>hadoop-daemons.sh --config ~/soft/hadoop/etc/hadoop_pseudo...原创 2018-08-05 13:31:21 · 2369 阅读 · 0 评论 -
Hadoop start-dfs.sh 的执行流程
【start-dfs.sh】-->【hdfs-config.sh】(说明：加载各种配置信息) -->【hadoop-daemons.sh】(说明：执行slaves和daemon) -->【hadoop-daemon.sh】(说明：根据command调用HDFS。执行相关操作) -->【hdfs】(说明：执行相关操作，加载CLASS文件) ...原创 2018-08-05 13:34:17 · 4190 阅读 · 0 评论 -
Hadoop--HDFS数据存放路径
1.{hadoop.tmp.dir}:/tmp/hadoop-${user.name}修改路径到当前用户目录下： 【/home/hyxy/tmp/hadoop】 注意：理解格式化的含义{创建/home/hyxy/tmp/hadoop/dfs/name/current/fsimage和edit文件,针对namenode守护进程}开启namenode守护进程失败：a.重新格式化，...原创 2018-08-05 13:44:13 · 13985 阅读 · 0 评论 -
Hive的数据类型详细解释
1.基本数据类型 hive类型 说明 java类型 实例 1).tinyint 1byte有符号的整数 byte 20 2).smalint 2byte有符号的整数 short 20 3).int 4byte...原创 2019-12-04 17:06:16 · 681 阅读 · 0 评论