wflh323的专栏

cdh orc bug

cdh默认都是使用FairScheduler调度，cdp后改为Capacity Scheduler。Capacity Scheduler支持标签调度，可以将不同类型任务调度到不同物理服务器上，进行隔离。1.登录cm管理控制台，选择CapacityScheduler2. 在“容量调度程序配置高级配置代码段（安全阀）”配置队列xml配置如下：<configuration><property><name>yarn.scheduler.capacit...

升级到CDH6.3.2 发现hue中使用oozie有些问题，在运行页面无法直接点击查看日志。定位问题后，从github hue 源码中找到最新的代码，对比一下发现了差异。按照最新代码修改，重启后异常修复。修复方法：hue/apps/oozie/src/oozie/templates/dashboard/list_oozie_workflow_graph.mako第90行修改为：var actionName = actionId.toLowerCase().substr(actionId.l.

hue hive sql查询下载结果出现如下异常，给官方提了个issues说后面的新版本修复了，看了下源码那段确实修改了。通过查看hue后台日志找到异常代码。我用的是cdh5.14.4解决方法，修改/opt/cloudera/parcels/CDH/lib/hue/desktop/core/src/desktop/lib/export_csvxls.py python文件如图：...

hive执行 sql 语句 select * from table where c in (....) 出现异常，异常日志如下： java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row at...

hive 在离线分析，数仓中是最常用的工具，业务人员不需要熟悉mr，编程基础就可以通过sql操作数据。hive 的性能及稳定性在生产中必须保证。hive可以通过HAPROXY进行多节点负载均衡来达到目的。 hive Metastore 开启HA 1. 进入hive服务配置， 搜索DBTokenStore，选择 org.apache.hadoop.hive.thrif...

impala是MPP查询引擎，可以实现秒级响应，并发性能受机器数量，内存影响。impala 与hive共享元数据，hive表可以无缝切换到impala查询(impala不支持hive json, 3.1版本开始支持orc文件格式，建议还是使用parquet文件格式)。 impala 启用负载均衡: 1. 安装haproxy yum insta...

Hue是开源的大数据工作平台,集成了hive，impala，spark,hadoop，sentry ,oozie，hbase等常用大数据服务，基本能满足绝大部分公司的业务日常使用。作为公司对业务开放的开发平台必须稳定，高性能。我们使用haproxy作为负载均衡器，其默认就支持tcp，http协议负载，其它服务使用haproxy 四层负载，统一负载引擎，方便维护管理。1. 前面已安装ha...

resource manager关系整个集群的任务运行，在生产上必须保证高可靠。resource manager和hdfs namenode的一样自身实现了HA，只需开启，出现异常时会自动切换到正常的resourcemanger。通过cloudera manger管理界面启用resource manager HA。1. 在yarn界面操作，选择启用HA 2..选择另一个节点...

cdh集群oozie调度器通过 cloudera manager 启用HA。oozie启用HA，需要先安装负载均衡器，我使用的是haproxy。1.安装harpoxyyum install -y haproxy2. 在oozie 操作界面选择启用HA3.选择需要安装oozie角色实例的节点4.配置负载均衡器地址，可以在装完后再配置5. 按照向导执行完成6....

cdh集群sentry主用用来进行hive数据权限认证，sentry服务失败后会影响访问hive库的任务。sentry ha的功能是在cdh5.13之后才有的。开启sentry HA 1. 进入sentry 操作，选择启用HA 2. 选择主机安装另一个sentry实例3.根据向导，执行完成...

hdfs namenode的健康关系整个集群是否能正常运行，生产为了集群的高可用必须开启HA。社区版需要手动修改配置文件进行开启。使用cloudera manager只需在界面根据向导执行即可。操作步骤:1. 在hdfs - 操作 -选择启用HA2. 填写nameservice名称3.选择另外一台服务器安装namenode ，三个或5个节点安装journalnod...

遇到几次有人在安装cdh的时候将hostname 配置成了带下划线 "_"，而导致agent安装失败，无法启动agent ，/var/log下无异常日志。异常配置如下：192.168.1.1 cluster_01.example.com cluster_01host 采用全域名标准配置，不要使用大写和 "_"下划线示例:192.168.1.1 cluster-01.example....