- 博客(12)
- 收藏
- 关注
RSS订阅原创 Hive底层优化
博客地址： https://hortonworks.com/blog/100x-faster-hive/ https://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/ https://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/ 五个调优hive的建议： 1.使用TEZ引擎 使用TEZ引擎代替原有的MR引擎，提高计算速度(什么是TE
2021-03-24 01:51:28
293
原创 CDH5集群配置lzo
一、安装lzo 1、下载与集群版本相对应的parcel包 parcels下载 我CDH版本是5.11.0，所以下载如下三个文件 [root@hadoop002 lzo]# ll total 2440 -rw-r--r-- 1 root root 2476671 Jan 12 10:24 GPLEXTRAS-5.11.0-1.cdh5.11.0.p0.30-el6.parcel -rw-r--r-- 1 root root 41 Jan 12 10:23 GPLEXTRAS-5.11.0-1.cdh
2021-03-24 01:42:38
271
原创 集群迁移采坑记
1.Clouder Manager 集群迁移 迁徙前先停止服务，停止顺序如下： 先在界面上停止CM以及各个组件的服务 停止CM 停止Hadoop组件服务 停止机器上的cloudera-scm-server/db/agent service 先停止cloudera-scm-server 上的服务 service cloudera-scm-sever-db stop sevice cloudera-scm-server stop service cloudera-scm-agent stop 停止每台cli
2021-03-24 01:37:17
242
原创 CDH集群中关于HBase的优化
1. 垃圾回收优化 1）首先是设置新生代大小的参数，不能过小，过小则导致年轻代过快成为老生代，引起老生代产生内存随便。同样不能过大，过大导致所有的JAVA进程停止时间长。-XX:MaxNewSize=256m-XX:NewSize=256m这两个可以合并成为-Xmn256m这一个配置来完成。 2）其次是设置垃圾回收策略：-XX:+UseParNewGC -XX:+UseConcMarkSw
2017-10-13 13:43:57
8668
原创 SQL优化心得
索引相关: 1.尽量不用null判断,因为null的话会全表遍历，而不是使用索引，如果是字符串可以 >’',id可以>0 2.避免在where条件用or，如果一个有索引一个没有可以分开查用union，否则会变成全表查询 3.有些情况可以用exists替换in，exists会先循环外部，在查子查询，in 是做hash连表查询，如果外部表比子查询的表小很多，exists会比较快
2017-10-11 11:18:56
666
原创 Postgresql如何使得查询语句输出到文件
文本 查询结果输出到文件: \o /tmp/a.txt select * from table; \o 导出成csv COPY (select * from table) to '/u02/tmp/tmp.csv' with csv header;
2017-10-11 10:34:13
4491
原创 Postgresql的数据迁移
postgresql数据库改变data目录 文档 例:把目录改变至/data中 0.准备工作 停掉 pg server service postgresql stop 1.修改配置文件/etc/postgresql/9.3/main/postgresql.conf (记得备份) data_directory = '/data/postgresq
2017-10-11 10:32:33
871
原创 Postgresql的语句学习
1.对时间的操作: 在PostgreSQL中可以直接对时间进行加减运算：、 SELECT now()::timestamp + '1 year'; --当前时间加1年 SELECT now()::timestamp + '1 month'; --当前时间加一个月 SELECT now()::timestamp + '1 day'; --当前时间加一天 SELEC
2017-10-11 10:28:46
313
原创 如何源码编译Livy
首先下载Livy 前置条件： Xcode command line toolsOracle's JDK 1.7+Maven (Homebrew)Python 2.6+R 3.xLivy requires at least Spark 1.6 and supports both Scala 2.10 and 2.11 builds of Spark, Livy will automatica
2017-10-10 20:02:28
1889
原创 如何源码编译对应CDH版本的Spark2.X
前置要求： 1）Building Spark using Maven requires Maven 3.3.9 or newer and Java 7+ 2）export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" mvn编译命令： ./build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.versi
2017-10-10 19:52:50
2168
原创 如何源码编译zeppelin
1.下载源码包 git clone https://github.com/apache/zeppelin.git 2.编译对应的CDH的版本 mvn clean package -Pspark-1.6 -Dhadoop.version=2.6.0-cdh5.11.0 -Pyarn -Ppyspark -Phadoop-2.6 -Pvendor-repo -DskipTests 3.编译ze
2017-10-10 19:49:44
1747
原创 基于Ubuntu环境下的CM+kylin搭建
本次采用离线安装的方式 软件准备： 官方安装文档：http://www.cloudera.com/documentation/enterprise/5-6-x/topics/installation.html 相关包的下载地址： Cloudera Manager地址：http://archive.cloudera.com/cm5/cm/5/ 这里选择5.5.6 cloudera
2017-10-10 18:12:40
582
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人