
cdh
丹江怒潮
这个作者很懒,什么都没留下…
展开
-
cdh安装依赖环境清单
https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_jdk原创 2017-06-28 17:10:10 · 884 阅读 · 0 评论 -
How-to: Quickly Configure Kerberos for Your Apache Hadoop Cluster
Use the scripts and screenshots below to configure a Kerberized cluster in minutes.Kerberos is the foundation of securing your Apache Hadoop cluster. With Kerberos enabled, user authentication is requ...转载 2018-03-06 14:50:18 · 653 阅读 · 0 评论 -
kerberos
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22835https://note.louyj.com/blog/post/louyj/Kerberos%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AE转载 2018-03-01 15:34:26 · 241 阅读 · 0 评论 -
cdh博客系列
博客1:http://mp.weixin.qq.com/s?__biz=MzI4OTY3MTUyNg==&mid=2247487429&idx=1&sn=b29e28937ef2cbbd3360f1ef4183a1be&chksm=ec2adfccdb5d56dafd3a3671aa5a7436ac2642b351ee7470d8a33235e2c04e14397bd8c7206b&mpsha原创 2018-02-05 10:43:27 · 219 阅读 · 0 评论 -
如何在CDH中启用Spark Thrift
1.文档编写目的CDH 自带的Spark 不支持Spark Thrift,因为spark-assembly jar中缺少Hive thrift相关的依赖包,导致CDH用户没法使用JDBC的方式连接Spark并使用Spark SQL。Apache Spark 1.6之后spark-assembly jar 中包含了 Hive 相关的依赖包了,而恰好 CDH5.13 的转载 2018-02-05 09:59:09 · 1682 阅读 · 0 评论 -
cdh添加第三方服务
以自己写的一个java程序为例1. 制作parcel包1.1 我的程序结构如下:[root@cdh3 nameaddress-1.0]# cd nameaddress/[root@cdh3 nameaddress]# ll总用量 9420drwxr-xr-x 2 root root 4096 2月 1 16:54 bindrwxr-xr-x 2 root root原创 2018-02-01 18:23:12 · 1942 阅读 · 3 评论 -
cdh的agent无法启动
查看supervisord的日志有如下错误:[root@cdh1 ~]# cat /opt/cm-5.10.0/log/cloudera-scm-agent/supervisord.out /opt/cm-5.10.0/lib64/cmf/agent/build/env/lib64/python2.7/site-packages/supervisor-3.0-py2.7.egg/supe原创 2017-11-13 18:13:59 · 2346 阅读 · 0 评论 -
YARN动态资源池使用配置
动态资源池是用来做资源配置和调度策略管理,动态资源池中可以运行YARN应用和Impala查询任务。动态资源池允许用户在运行YARN应用或Impala查询任务的时候指定特定的池并调度池中可用的资源。一个典型的应用场景就是当我们通过Oozie调度Pig任务的时候,如果我们同时提交大量的Oozie任务,Oozie任务在启动launch的时候是需要占用资源的,可能就会导致资源占满而使后续的Pig任务无法执转载 2017-08-18 17:43:15 · 1919 阅读 · 0 评论 -
cdh集成kafka,spark2
参考文章:http://blog.cloudera.com/blog/2016/09/apache-spark-2-0-beta-now-available-for-cdh/https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html在CDH官网中关于Ka转载 2017-07-13 14:12:09 · 1671 阅读 · 0 评论 -
kafka创建话题遇到的错误
确定Kafka安装和启动正确,ZooKeeper可以查到所有的Brokers,但执行:kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic遇到如下错误:java.net.SocketException: N转载 2017-07-17 14:13:26 · 8854 阅读 · 0 评论 -
centos7/rhel7 和cdh5.10安装
centos7+cdh5.10.0搭建一、选择环境:1.说明本次部署使用台机器,3台用于搭建CDH集群,1台为内部源。内部源机器是可以连接公网的,可以提前部署好内部源,本次部署涉及到的服务器的hosts配置如下:192.168.10.114 sp-04192.168.10.115 sp-05192.168.10.116 sp-06转载 2017-06-28 17:15:39 · 3099 阅读 · 0 评论