
大数据
大数据相关组件
JYWWABF
I'm willing to do anything but ordinary.
展开
-
protobuf-2.5.0.tar.gz的下载与安装
1、此处选择编译安装protobuf-2.5.0,官网貌似已经不能下载。https://pan.baidu.com/s/1yyFLL623d2cZ_OswWeuEtg提取码 o0pn2、上传tar包到自己的文件夹下。解压tar -zvxfprotobuf-2.5.0.tar.gz3、进入到解压好的tar 包下。cd protobuf-2.5.04、编译。可以指定编译输...原创 2019-09-04 16:15:35 · 453 阅读 · 1 评论 -
hive 基本操作之数据的导入导出、分区分桶
目录Hdfs操作:Hive 操作:1、创建表(1)加载本地文件到hive(2)加载HDFS上数据(3)加载数据覆盖表中已有的数据2、通过查询语句向表中插入数据(Insert)(1)创建一张分区表(2)基本插入数据(3)基本模式插入(根据单张表查询结果)(4)多插入模式(根据多张表查询结果)(5)查询语句中创建表并加载数据(as select)3、...原创 2019-03-04 17:15:51 · 1013 阅读 · 2 评论 -
hive修改表名、列名、各种注释、增删列、属性、分区名、分区字段类型
hive 表总共分为四类,分别内部表、外部表、分区表、桶表未被external修饰的是内部表(managed table),被external修饰的为外部表(external table);区别:内部表数据由Hive自身管理,外部表数据由HDFS管理;内部表数据存储的位置是hive.metastore.warehouse.dir(默认:/user/hive/warehouse),外...原创 2019-03-01 18:44:21 · 25742 阅读 · 0 评论 -
使用importTsv方式导数据从Hdfs到HBase
首先说一下.tsv的文件扩展名。TSV文件格式的全称是“制表符分隔值”,而这些制表符分隔值文件被创建和使用的许多电子表格应用程序导数之前、首先确保hadoop和hdbase是开启的。第一步:创建hbase 表命令行执行hbase shell 进入到hbase shell创建表 create 'importTsvHbase' ,'col1','col2'第二步:进入...原创 2019-10-31 16:30:40 · 1069 阅读 · 0 评论 -
Hbase知识点总结
目录一、HBase介绍1.1基本概念1.2Hbase组件1.2.1Hmaster 1.2.2RegionServer1.2.3其他组件二、Hbase数据结构2.1 Row key 2.1.1 设计原则2.2Columns Family2.3Time Stamp三、HBase shell 操作3.1 基本操作1) 进入HBa...原创 2019-04-16 18:27:07 · 1076 阅读 · 0 评论 -
phoenix的安装
1、准备工作JDK1.8.0 HBase1.2.+ Hadoop 2.6.0-cdh5.7.+这里的HBase 使用的是apache版本,所以,phoenix这里使用apache-phoenix-4.14.1-HBase-1.2下载地址:http://mirrors.hust.edu.cn/apache/phoenix/这里的前提是hadoop、hbase、zookeepe...原创 2019-04-18 10:23:46 · 294 阅读 · 0 评论