- 博客(297)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 Centos7单机安装Tableau2018
先将服务器防火墙80级8850端口打开临时关闭SELinux/防火墙setenforce 0iptables -F重点 重点 不能用root用户安装 不能用root用户安装 第一步先创建一个安装用户登录root用户添加组#添加组groupadd tableau#添加安装用户useradd admin -g tableau#设置用户密码并激活passwd ...
2018-11-28 11:58:50
1372
原创 安装CDH5.7.1集群
Hadoop版本选择目前Hadoop比较流行的主要有2个版本，Apache和Cloudera版本。Apache Hadoop：维护人员比较多，更新频率比较快，但是稳定性比较差。Cloudera Hadoop（CDH）：CDH：Cloudera公司的发行版本，基于ApacheHadoop的二次开发，优化了组件兼容和交互接口、简化安装配置、增加Cloudera兼容特性。 准备工作以...
2016-11-03 17:35:18
1439
原创 hadoop2.7.1HA集群部署
1.修改文件/etc/hostname里的值即可，修改成功后用hostname命令查看当前主机名是否设置成功。[root@masternode centos]# cat /etc/hosts#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4#::1 localho
2016-09-22 15:23:44
1295
原创 ranger集成starrock报错
复制驱动到合适的目录：把下载的 JAR 文件复制到 StarRocks 或者 Ranger 能够访问的目录，通常可以放在 $STARROCKS_HOME/lib 或者 $RANGER_HOME/lib 目录下。临时添加类路径：在启动 StarRocks 或者 Ranger 服务时，临时添加 JDBC 驱动的 JAR 文件到 Java 类路径中。永久添加类路径：如果使用的是系统服务启动方式，可以修改服务启动脚本或者配置文件，将 JDBC 驱动的 JAR 文件添加到类路径中。# 启动 Ranger 服务。
2025-03-12 16:36:12
826
原创 starrocks批量启停脚本
定义 StarRocks 安装目录。# 定义 StarRocks 安装目录。# 定义 FE 和 BE 节点列表。# 定义 FE 和 BE 节点列表。# 根据组件类型停止相应节点。# 根据组件类型停止相应节点。# 检查操作是否为停止。# 检查操作是否为停止。
2025-03-12 15:56:14
470
原创 ranger-kms安装
使install.properties生效，在$RANGER_HOME/ranger-kms/ews/webapp/WEB-INF/classes/conf下生成kms-site.xml和dbks-site.xml具体配置文件。hadoop.security.key.provider.path 指定的是密钥提供者的类路径，是 Hadoop 通用安全配置的一部分。之后授权给hadoop权限,需要mkdir /etc/ranger 之后chown hadoop.hadoop /etc/ranger。
2024-11-13 13:54:46
823
原创 kafka开启kerberos
配置zookeeper的kerberos验证，切换到配置文件目录下cd conf，添加zoo.cfg配置文件，cp zoo_sample.cfg zoo.cfg打开zoo.cfg配置文件，添加配置，修改Zookeeper的配置文件cat zoo.cfg 启用SASL认证，并指定认证提供者。在Zookeeper的启动脚本中添加JVM参数，指定JAAS配置文件的路径。在Kafka的启动脚本中添加JVM参数，指定JAAS配置文件的路径。注意修改principal和keyTab路径以匹配实际环境。
2024-08-16 16:27:13
1688
1
原创 hive抽取mysql里的表，如果mysql表没有时间字段如何做增量抽取数据
2.根据数据创建时间进行增量抽取：如果MySQL表中存在记录创建时间的字段（如create_time），你可以记录上一次抽取数据时最大的创建时间（即上一次抽取数据的结束时间），然后从该时间点开始继续抽取新数据。需要注意的是，以上两种增量抽取方式都需要有一个依据来记录上一次抽取数据的位置或时间，以便于在下一次抽取数据时只获取新增的数据而不会重复获取已经抽取过的数据。-- 假设id为自增主键。
2023-10-10 10:55:10
723
原创 什么是大数据运维？大数据运维的职责
大数据运维是指管理、监控和维护大规模数据存储和处理平台的过程。它包含了对数据存储、处理、传输等方面的管理和维护，同时负责确保数据的安全性、可靠性和高效性。以上是大数据运维的主要职责。一个高效的大数据运维团队可以实现整个大数据系统的高可用、安全、稳定地运行，确保业务的持续性和可靠性。
2023-10-09 15:22:54
3108
原创 如何监控ping 某个主机不同发送钉钉报警
#! /bin/bash. /home/dd.shcount=`ping -c 7 -W 3 192.168.9.10|grep "time="|egrep -v "DUP" |wc -l`echo ${count}function output_notify {text=$1result=$(send_notify $text)echo "$(date) : $result" >> /home/ip.log}if [ $count -lt 3 ]then
2022-03-28 17:28:17
609
原创 安装walle2.0
1.下载安装包git clone https://github.com/meolu/walle-web.git2.安装依赖yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel3.安装python3wget https:/...
2021-09-27 11:59:59
661
原创 Hue中添加hive自定义函数
hue目前因为开启sentry 后不能add jar语句，目前只能用永久函数解决该问题。具体方法如下：首先把文件上传hdfshdfs dfs -put授权beeline> !connect jdbc:hive2://10.5.xx.xx:2500GRANT ALL ON URI 'hdfs://xxx:8020/tmp.db/function/Dmo.jar' TO ROLE read;创建函数create function tmp.Dmo as 'com.Dmo' usi...
2020-08-25 16:46:14
781
原创 求助 hue下载csv文件时报错 ERROR The query result cannot be downloaded，Invalid query handle:
hiveserver2 ERROR The query result cannot be downloaded.Traceback (most recent call last):File "/opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/lib/hue/desktop/libs/notebook/src/notebook/con...
2020-01-08 18:03:36
1436
1
原创 求助 tableau 在计划刷新时报错如下
com.tableausoftware.nativeapi.exceptions.DataSourceException:PQstatus:1,couldnotconnecttoserver:ConnectionrefusedIstheserverrunningonhost"localhost"(127.0.0.1)andacceptin...
2019-12-31 18:32:52
1212
3
原创 ipa: ERROR: No valid Negotiate header in server response（求助）操作系统centos7.6ipa版本4.6.5
版本ipa --versionVERSION: 4.6.5, API_VERSION: 2.231执行如下命令报错ipa -v user-find --allipa: INFO: trying https://bigdata3.upwanfeng.com/ipa/jsonipa: INFO: [try 1]: Forwarding 'schema' to json serve...
2019-12-19 17:30:55
1042
2
原创 安装ipa-client报错
ipa-client-install --uninstallIPA client is configured as a part of IPA server on this system.Refer to ipa-server-install for uninstallation.The ipa-client-install command failed.先卸载如下语句ipa-ser...
2019-12-09 18:17:30
1541
原创 ipaserver.install.bindinstance: ERROR DNS server 127.0.0.1: query '. SOA': The DNS operation time
安装ipa-server-install --setup-dns--setup-dns报错ipaserver.install.bindinstance:ERRORDNSserver127.0.0.1:query'.SOA':TheDNSoperationtimedoutafter10.0006110668secondsipapython.admintool...
2019-12-09 18:15:07
1547
原创 superset 普通用户开启白名单后报错如下
Traceback (most recent call last): File "/usr/hdp/3.1.0.0-78/superset/lib/python3.4/site-packages/flask_appbuilder/security/manager.py", line 635, in auth_user_ldap if not self._bind_ldap(ld...
2019-11-22 18:30:47
484
原创 更hdfs副本数测试
hdfsdfs-du-h/warehouse/hxy.db/23.3G69.8G /warehouse/hxy.db/store__order_detail_tmp第一次插入数据23.3G46.5G warehouse/hxy.db/store__order_detail_tmp更改副本后的数据hdfsdfs-du-h /warehouse/hxy...
2019-11-21 17:11:49
228
原创 hdp界面全部失去心跳Components Heartbeat Lost
hdp界面全部失去心跳Components Heartbeat Lost原因是修改了/etc/hosts 安装完毕后修改了hosts里面的添加第2列10.56.10.123 bigdata1.up.com bigdata110.56.10.140 bigdata2.up.com bigdata210.56.10.163 bigdata3.up.com bigdata3...
2019-11-20 12:08:56
494
原创 Timeline Service V2.0 Reader 启动不了
解决方法是：将yarn配置文件中的is_hbase_system_service_launch和use_external_hbase勾选最终成功启动
2019-11-20 12:07:51
2342
原创 hdp开启kerberos报错如下Failed to execute the command: Cannot run program "ipa": error=2, No such file or d
ERROR [ambari-client-thread-753] CreateHandler:74 - Caught a system exception while attempting to create a resource: An internal system exception occurred: Failed to execute the command: Cannot run pr...
2019-11-20 12:06:33
716
原创 缺少A记录 STDERR: ipa: ERROR: Host 'bigdata2.up.com' does not have corresponding DNS A/AAAA recor
解决办法手动添加A记录ipa dnsrecord-addRecord name: bigdata2Zone name: uptest.comPlease choose a type of DNS resource record to be addedThe most common types for this type of zone are: A, AAAADNS ...
2019-11-20 12:03:38
785
原创 ipa 常用命令简单介绍
ipactl restart # 重启ipa --version # 查看版本ipa user-add # 添加用户（以下命令先不操作，待主从配置好后，再操作)ipa user-add etl --first=etl --last=etl --shell=/bin/bash --homdir=/home/etl # etl 组用户，用于“数据抽取”ipa user-add test --f...
2019-11-08 15:51:11
3643
原创 freeipa4.2 HA模式安装的kerberos新添加的票据为何每次使用都需要初始化密码，求解决方法
kinithadoopadminPasswordforhadoopadmin@UP.COM:Passwordexpired.Youmustchangeitnow.Enternewpassword:Enteritagain:kinit:Passwordhasexpiredwhilegettinginitialcredentials每次都是这...
2019-11-08 15:46:26
899
原创 hdp界面全部失去心跳Components Heartbeat Lost
原因是修改了/etc/hosts 安装完毕后修改了hosts里面的添加第2列10.5.50.123 bigdata1.up.com bigdata110.5.50.140 bigdata2.up.com bigdata210.5.50.163 bigdata3.up.com bigdata3解决办法1. 进 ambari 控制台，关闭 ambari 管理...
2019-11-08 15:43:45
607
原创 airflow ImportError: No module named hive_metastore
pythonPython 2.7.5 (default, Oct 30 2018, 23:45:53)[GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux2Type "help", "copyright", "credits" or "license" for more information.>>> import airfl...
2019-10-15 11:32:51
954
原创 安装elasticsearch7+kibana7+watch
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.4.0-linux-x86_64.tar.gz.sha512wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.0-linux-x86_64.tar.gzwget ht...
2019-10-11 16:32:49
2171
原创 Spark Streaming调优
操作场景SparkStreaming作为一种mini-batch方式的流式处理框架，它主要的特点是：秒级时延和高吞吐量。因此SparkStreaming调优的目标：在秒级延迟的情景下，提高SparkStreaming的吞吐能力，在单位时间处理尽可能多的数据。说明：本章节适用于输入数据源为Kafka的使用场景。操作步骤一个简单的流处理系统由以下三部分组件组成：数据源 + ...
2019-10-10 15:20:12
399
转载 大数据运维的工作职责
一.集群管理 大数据需要分布式系统，也就是集群：Hadoop，Hbase，Spark，Kafka，Redis等大数据生态圈组建。二.故障处理 1>.商用硬件使用故障是常态。 2>.区分故障等级，优先处理影响实时性业务的故障。三.变更管理 1>.以可控的方式，高效的完成变更工作； 2>.包括配置管理和发布管理；四.容量管理...
2019-10-09 15:56:40
5071
2
原创 ES 安装sentinl 告警配置
下载软件wget https://github.com/sirensolutions/sentinl/releases/download/tag-6.6.0-0/sentinl-v6.6.0.zip[root@host- kibana-6.6.0-linux-x86_64]# ./bin/kibana-plugin install file:///opt/kibana-6.6.0-linux...
2019-09-09 18:02:20
772
原创 elastaltert 配置企业邮箱告警
配置企业邮箱告警wget https://github.com/Hello-Linux/elastalert_wechat_plugin/archive/v1.0.1.zipunzip v1.0.1.zipmv elastalert_wechat_plugin-1.0.1/ elastalert_wechat_plugincp -r elastalert_wechat_plugin/*...
2019-09-09 16:40:48
1287
原创 安装phpLDAPadmin
① 安装和配置httpdyum -y install httpdrm -f /etc/httpd/conf.d/welcome.confvim /etc/httpd/conf/httpd.conf //修改下面几行内容ServerName www.example.com:80 //第96行Allow...
2019-08-27 17:22:30
1274
1
原创 安装ldap
① 安装部署服务端和相应程序包yum -y install openldap compat-openldap openldap-clients openldap-servers openldap-servers-sql openldap-devel migrationtools② 关闭防火墙sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' ...
2019-08-27 17:20:39
355
原创 storm2.0分布式安装部署
1.下载软件wget http://us.mirrors.quenda.co/apache/storm/apache-storm-2.0.0/apache-storm-2.0.0.tar.gz2.解压软件cd /opttar -zxf apache-storm-2.0.0.tar.gz3.配置配置文件cat /opt/apache-storm-2.0.0/conf/sto...
2019-08-19 16:36:22
992
原创 return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Replacing columns cSerDe may be incompati
删除表字段会报数据不一致，报错如下INFO : Executing command(queryId=hive_20190806170220_4bd826b5-21cc-4a31-9fe4-3fa14ada0ede): ALTER TABLE flume.biprod replace columns ( title string comment '影片名称',show_nums int comm...
2019-08-06 17:57:51
6748
原创 FreeIPA
FreeIPA客户端：安装：yum install ipa-client -y客户端注册：ipa-client-install -p admin -w 'xxxxxxxx' --mkhomedir -U卸载freeipa客户端：ipa-client-install --uninstall重新注册客户端：ipa-client-install --force-joinFreeIP...
2019-07-22 14:59:53
2523
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人