- 博客(17)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Linux常见问题
问题1:CenOS6.7无法上网解决方法: (该解决方法是设置为NAT模式)1.将网络连接模式设置成NAT模式,不能设置成仅主机模式2.查看IP网段与网关网段是否一致, 如果不一致:将IP网段设置成与网管网段一致3.将ONBOOT设置成yes4.将网关设置成与非虚拟机不同的网关地址, 如:非虚拟机地址为192.168.179.1,那么虚拟机的地址应改为192.168.179.2(除192.16
2017-02-21 14:10:35
958
原创 Hive扩展功能(九)--Hive的行级更新操作(Update)
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这三部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc
2017-02-21 12:34:03
2985
原创 Hive扩展功能(八)--表的索引
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这三部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc
2017-02-21 12:29:07
686
原创 Hive扩展功能(七)--Hive On Spark
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc
2017-02-21 12:03:42
526
原创 Hive扩展功能(六)--HPL/SQL(可使用存储过程)
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc
2017-02-21 11:50:34
1247
原创 Hive扩展功能(五)--HiveServer2服务高可用
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc
2017-02-21 11:47:50
495
原创 Hive扩展功能(四)--HiveServer2服务
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc
2017-02-21 11:43:07
424
原创 Hive扩展功能(三)--使用UDF函数将Hive中的数据插入MySQL中
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc
2017-02-21 11:38:25
461
原创 Hive扩展功能(二)--HWI接口
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc
2017-02-21 11:33:28
379
原创 Hive扩展功能(一)--Parquet
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc
2017-02-21 11:30:33
692
原创 搭建Hive所遇过的坑
一.基本功能:1.启动hive时报错java.lang.ExceptionInInitializerError at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:190) at org.apache.hadoop.hive.ql.stats.jdbc.J
2017-02-21 11:27:05
8823
1
原创 搭建Spark所遇过的坑
一.经验1.Spark Streaming包含三种计算模式：nonstate .stateful .window2.kafka可通过配置文件使用自带的zookeeper集群3.Spark一切操作归根结底是对RDD的操作4.部署Spark任务，不用拷贝整个架包，只需拷贝被修改的文件，然后在目标服务器上编译打包。5.kafka的log.dirs不要设置成/tmp下的目录，貌似tmp目录有文件数和磁盘容量
2017-02-21 10:36:12
3278
原创 搭建Hadoop所遇过的坑
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc
2017-02-21 10:19:57
514
原创 从Hive1.0升级到Hive2.0(删除hive1.x中的元数据, 并不是数据迁移)
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc
2017-02-21 10:04:16
1048
原创 Hive2.1.1集群搭建
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc
2017-02-21 10:00:45
500
原创 Spark on Yarn集群高可用搭建
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc
2017-02-21 09:31:58
1997
原创 Hadoop2.6.5高可用集群搭建
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3, m4, m5这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 192.168.179.204: m4 192.168.179.
2017-02-20 16:21:41
1597
空空如也
Hive on Spark下无法处理Parquet表
2017-01-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人