这里是Code猿学习的地方

1创建工程点击project——Maven——next2通过maven导入项目依赖jar包（1）设置maven自动导入依赖jar包勾选 Import Maven projects automatically,点击apply(2)配置pom.xml文件pom.xml配置文件如下：<?xml version="1.0" encoding="UTF-8"?><...

解决方法：System.setProperty(“HADOOP_USER_NAME”,“hadoop2.7”);Hadoop2.7是有权限的永华

1主机名和IP配置1.1主机名1.首先使用root用户名和root密码分别登录三台服务器2.分别在三台虚拟机上执行命令:hostnamectl set-hostname node1hostnamectl set-hostname node2hostnamectl set-hostname node33.分别在三台服务器上执行logout1.2 IP设置systemctl rest...

错误如下：解决办法：标注的地方替换如下配置export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin:/opt/bigdata2.7/hbase-1.2.1/lib/*

1、region 拆分机制region中存储的是大量的rowkey数据 ,当region中的数据条数过多的时候,直接影响查询效率.当region过大的时候.hbase会拆分region , 这也是Hbase的一个优点 .HBase的region split策略一共有以下几种：1、ConstantSizeRegionSplitPolicy0.94版本前默认切分策略...

HBase的数据备份1.1 基于HBase提供的类对表进行备份使用HBase提供的类把HBase中某张表的数据导出到HDFS，之后再导出到测试hbase表中。(1) 从hbase表导出到HDFS[hadoop@node01 shells]$ hbase org.apache.hadoop.hbase.mapreduce.Export myuser /hbase_data/myus...

HBase集成HiveHive提供了与HBase的集成，使得能够在HBase表上使用hive sql 语句进行查询、插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到Hbase中1、HBase与Hive的对比1.1、Hive数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。...

1、Hive导出数据有几种方式？如何导出数据（1）insert导出本地：insert overwrite local directory ‘本地路径’ select * from 表名;导出到HDFS：insert overwrite directory ‘hdfs路径’ select * from 表名;（2）hadoop命令hdfs dfs -get /user/hive/war...

1、HBase的数据存储原理一个HRegionServer会负责管理很多个region一个**region*包含很多个store一个列族就划分成一个store**如果一个表中只有1个列族，那么每一个region中只有一个store如果一个表中有N个列族，那么每一个region中有N个store一个store里面只有一个memstorememstore是一块内存区域，写入的...

1. 数据仓库基本介绍英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。2. 数据仓库的定...

1、Hbase基础语法1.1 进入HBase客户端命令操作界面node01执行以下命令，进入HBase的shell客户端首先配置hbase的环境变量cd /etc/prpfile输入:hbase shell1.2 help 帮助命令hbase(main):001:0> help1.3 list 查看有哪些表查看当前数据库中有哪些表hbase(mai...

1、创建maven工程自动导包（需要从cloudera仓库下载，耗时较长，耐心等待）如下内容作为maven工程中pom.xml的repositories的内容 <repositories> <repository> <id>cloudera</id> <url&gt...

1. Sqoop是什么Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具导入数据 import将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统导出数据 export从Hadoop的文件系统中导出数据到关系数据库[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-...

需求：编写mapreduce程序实现将hbase中的一张表的数据复制到另一张表中要求：读取HBase当中user这张表的f1:name、f1:age数据，将数据写入到另外一张user2表的f1列族里面去==***第一步：创建表**注意：**两张表的列族一定要相同/** create 'user','f1' put 'user','rk001','f1:name','tony' pu...

1. HBase是什么1.1 HBase的概念HBase基于Google的BigTable论文，是建立的HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。在需要实时读写随机访问超大规模数据集时，可以使用HBase。1.2 HBase的特点海量存储可以存储大批量的数据列式存储HBase表的数据是基于列族进行存储的，列族是在列的方向上的划分。...

1、Flume概述在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架。Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统Flume支持在日志系统中定制各类数据发送方，用于收集数据...

报错的原因是：明显是metastore数据库read only，没有写权限解决办法：#修改hive安装目录的所属用户和组为hadoop2.7:hadoopchown -R hadoop2.7:hadoop /opt/bigdata2.7/apache-hive-1.2.2-bin/#4.修改hive安装目录的读写权限chmod -R 755 /opt/bigdata2.7/apach...