weixin_41877582的博客

原创 unable to load in-cluster configuration, KUBERNETES_SERVICE_HOST and KUBERNETES_SERVICE_PORT must be

https://blog.51cto.com/goome/2167920 参考这个网址。相关配置完成以后，执行systemctl start kube-proxy。二进制安装k8s，在安装kube-proxy的时候出现问题。发现执行失败，查看/var/log/messes日志。原因是有一个配置文件里面缺少一个空格。把这个空格加上就可以运行的了。

原创 No CIDR for service cluster IPs specified. Default value which was 10.0.0.0/24 is deprecated and wi

Jul 9 14:33:15 k8smaster kube apiserver:W0709 14:33:15.804996 5567 services.go:37]未指定服务群集IP的CIDR。不赞成使用10.0.0.0/24的默认值，并将在将来的版本中删除。你应该使用不同的授权人。Jul 9 14:33:15 k8smaster kube apiserver:I0709 14:33:15.805131 5567 server.go:656]未指定外部主机，使用192.168.88.10。

原创 mysqld: Table ‘mysql.plugin‘ doesn‘t exist

背景是：安装mysql，之前rpm过mysql,然后卸载了2022-01-23T04:49:31.611319Z 0 [Note] Binlog end2022-01-23T04:49:31.611344Z 0 [Note] Shutting down plugin ‘ngram’2022-01-23T04:49:31.611347Z 0 [Note] Shutting down plugin ‘partition’2022-01-23T04:49:31.611349Z 0 [Note] Shutt

原创 INFO hive.HiveImport: Missing Hive Execution Jar: /home/admin/install/hive/lib/hive-exec-*.jar

sqoop在从mysql导入到hive表之中的时候出现错误sqoop-evn.shhive路径错误正常路径

原创 Centos7安装msyql8、简单安装

rpm -qa | grep -i -E mysql|mariadbrpm -qa | grep -i -E mysql|mariadb | xargs -n1 sudo rpm -e --nodepssudo yum remove mysql-libssudo yum install libaiosudo yum -y install autoconfsudo rpm -ivh mysql-community-common-8.0.27-1.el7.x86_64.rpmsudo rpm -iv

原创 msyql8 Your password does not satisfy the current policy requirements

alter user user() identified by "FGsd_jfdlaflk455-+";set global validate_password.policy=LOW;set global validate_password.length=6alter user user() identified by "123456";![在这里插入图片描述](https://img-blog.csdnimg.cn/5448b4197e3445afa216c7c1578e82ee.png?x-

原创 java.lang.RuntimeException: Unable to fence NameNode at hadoop1/192.168.43.100:8020

2021-11-23 15:13:08878警告org.apache.hadoop.ha.NodeFencer:围栏方法org.apache.hadoop.ha.SshFenceByTcpPort（null）未成功。2021-11-23 15:13:08878错误org.apache.hadoop.ha.NodeFencer:无法通过任何配置的方法限制服务。2021-11-23 15:13:08879警告org.apache.hadoop.ha.ActiveStandbyElector:处理选举获胜的.

原创 Multiple shared edits directories are not yet supported

https://www.cnblogs.com/aquester/p/11783542.html

原创 sqoop从msyql抽取数据导入hive,并创建表，分区

bin/sqoop import \--connect jdbc:mysql://sfbg101:3306/gmall \--username root \--password 123456 \--table activity_info \--num-mappers 1 \--hive-import \--hive-overwrite \--hive-drop-import-delims \--hive-database test \--hive-table ods_activity_i

原创 hive转化内部表和外部表

外部表转内部表alter table activity_info set tblproperties('EXTERNAL'='false');内部表转外部表alter table activity_info set tblproperties('EXTERNAL'='true');

原创 hive anonymous Permission denied: user=anonymous, access=EXECUTE, inode=“/tmp/hadoop-yarn/staging“:u

hive anonymous hive是以匿名用户来登录的通过beeline -u jdbc:hive2//master:10000连接时没有指定用户怎么指定？beeline -n hdfs -u jdbc:hive2://IP:10000-n 后面指定用户，-n hdfs 那么当前登录的就是hdfs用户

原创 Failed while trying to construct the redirect url to the log server. Log Server url may not be confi

指定yarn的日志<!--指定yarn.log.server.url所在节点--> <property> <name>yarn.log.server.url</name> <value>http://hadoop102:19888/jobhistory/logs</value> </property>

原创 Mismatched address stored in ZK for NameNode at 101/192.168.43.100:8020: Stored protobuf was nam

配置的hadoop高可用，将namenode9000端口修改成8020就报以上错误原因是在zookeeper里面保存的ha信息是之前zkfc初始化的信息1、连接zk客户端，删除hadoop-ha2、重新初始化zkfchdfs zkfc -formatZK3、启动hadoop集群，查看9870的web页面，状态为active成功...

原创 查询mysql元数据转换成hive语句

create view test2 ASSELECT a.*,b.TABLE_COMMENTFROM (SELECT TABLE_SCHEMA, TABLE_NAME, COLUMN_NAME, ORDINAL_POSITION, DATA_TYPE, CASE DATA_TYPE WHEN 'bigint' THEN 'bigint' WHEN 'int' THEN 'bigint' WHEN 'smallint' THEN 'bigint' WHEN 'tiny

转载 ERROR [Listener at 0.0.0.0/45995] org.apache.hadoop.mapreduce.v2.app.client.MRClientService: Webapps

yarn.resourcemanager.webapp.address.rm1xxx1:8088 yarn.resourcemanager.webapp.address.rm2 xxx2:8088 https://blog.youkuaiyun.com/qq_38337823/article/details/80580422参..

转载 查看mysql某张表数据量

#查看张表的数据量SELECT table_schema as '数据库',table_name AS '表',round(((data_length) / 1024 / 1024), 2) '数据量大小(MB)',round(((index_length) / 1024 / 1024), 2) '索引量(MB)'FROM information_schema.TABLESwhere table_schema = 'gmall' '数据库'and table_name = 'favor_inf

原创 mysql连接报错问题

记录一次Linux上的mysql在windows上使用Navicat Premuim连接报错，不能连接的问题首先是mysql的远程权限已经开启，然后使用navicat来连接，报错，不能连接上，Linux的ssh的端口已经修改，没有使用默认端口22。具体操作以上的操作成功之后，在通过常规连接去连接mysql，然后连接成功那么为什么会这样呢？以上图，可以看出Navicat是直接连接数据库的https://blog.youkuaiyun.com/qq_40018938/article/details/907

原创 host sfbg101 is not allowerd to connect to this mysql server

host sfbg101 is not allowerd to connect to this mysql serverGRANT ALL PRIVILEGES ON . TO ‘root’@‘sfbg101’ IDENTIFIED BY ‘123456’ WITH GRANT OPTION;

原创 ERROR org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller.

用jps查看java进程，发现没有DFSZKFailoverController进程格式化zk,在zookeeper上创建hadoop-ha节点（就是目录）hdfs zkfc -formatZK启动zkfc（在所有namenode节点上）hadoop-daemon.sh start zkfc刷新namenode，会自动选出activehdfs haadmin -failover nn1 nn2https://blog.youkuaiyun.com/houzhizhen/article/details.

原创 ssh端口配置

Ssh是一个安全的远程登录协议，它的端口号默认是22端口vim /etc/ssh/sshd_configfirewall-cmd --zone=public --add-port=2202/tcp --permanent 开放端systemctl restart firewalld.service 重启防火墙（注意）sed -i ‘s#SELINUX=enforcing#SELINUX=disabled#g’ /etc/selinux/config （需要重启）如果需要当时验证就临时关闭seten

原创 ping: baidu.com: 未知的名称或服务

记录一次因为DNS没有配置好出现的问题DNS写成了NDShttps://blog.youkuaiyun.com/xinwenhuayu/article/details/82966724?spm=1001.2101.3001.6650.2&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-2.no_search_link&depth_1-utm_source=distribute.pc_r

原创 DFSClient_NONMAPREDUCE_1537781734_1 on 192.168.43.222 because DFSClient_NONMAPREDUCE_1537781734_1 is

https://www.cnblogs.com/ucarinc/p/8064447.html 参考这个了解

原创 kafka.common.InconsistentBrokerIdException: Configured broker.id 3 doesn‘t match stored broker.id 4

[2021-10-30 12:18:20,730] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentBrokerIdException: Configured broker.id 3 doesn’t match stored broker.id 4 in meta.properties. If you moved your

原创 hbase:meta,,1 is not online on sfbg101,16020,1635497350221

hbase没有这张表，我其实已经删除hdfs里面的数据，在hive的元数据里面还保存有这个表的元数据那么就删除hive里面的这个表的元数据信息重新建hbase表还是报错查看 tailf hbase-root-regionserver-sfbg101.log报错在hase-site.xml里面配置错误把：改成逗号，分发各个节点然后重启hbase集群这次查看tailf hbase-root-regionserver-sfbg101.log 没有报错信息tailf hive.lo...

原创 ERROR [e1a0579b-66cc-4ada-82f5-a79990f47c69 main] client.SparkClientImpl: Timed out waiting for clie

![在这里插入图片描述](https://img-blog.csdnimg.cn/45a95c1b77da4e50a0ad70c5a1b4bf9d.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiB参数，之前是100000修改成了1000000,，然后就成功运行了

原创 java.lang.NoClassDefFoundError: org/apache/spark/AccumulatorParam

报这个错误是因为在spark3.0.0里面没有这个类但是使用的是公司的提供的hive，需要这个类，我就替换掉了公司提供的hive，从官网上下载了hive3.1.2，然后就没有报错了

原创 配置spark日志

spark.yarn.app.container.log.dir = /opt/install/spark-2.3.0/logslog4j.rootLogger=INFO, filelog4j.appender.file=org.apache.log4j.RollingFileAppenderlog4j.appender.file.append=truelog4j.appender.file.file=${spark.yarn.app.container.log.dir}/spark.loglog

原创 org/apache/hbase/thirdparty/com/google/common/cache/CacheLoader

Caused by: java.lang.NoClassDefFoundError: org/apache/hbase/thirdparty/com/google/common/cache/CacheLoaderHbase-shaded-miscellaneous放到hive的lib下面新问题出来了Caused by: java.lang.NoClassDefFoundError: org/apache/hbase/thirdparty/com/google/protobuf/RpcControl

原创 maven下载jar包使用maven打包缺失jar包解决

Dfile=C:\Users\Administrator\Desktop\company\lib\hive-hbase-handler-3.1.2.jar -DgroupId=org.apache.hive -DartifactId=hive-hbase-handler -Dversion=3.1.2 -Dpackaging=jar

原创 ‘build.plugins.plugin.version‘ for org.apache.maven.plugins:maven-compiler-plugin is missing. @ line

解决：版本号缺失问题加上架包的版本号https://blog.youkuaiyun.com/qq_38410795/article/details/88299500 参考地址

原创 配置hive运行日志

原创 Hadoop3.x Permission denied: user=dr.who, access=READ_EXECUTE

通过页面的方式去访问hadoop的垃圾回收站，提示权限错为什么？因为在访问这个文件夹的时候的用户是user=dr.who网上的答案是这个用户是hadoop中的http的静态用户名，总之就是通过页面的方式去访问文件夹，它的用户名是dr.who,这个文件的所有者是root，所有dr.who没有权限去访问这个文件夹，这个文件夹的其他用户权限没有开启，所以访问报错如果通过hadoop fs -ls /user/root/.Trash 命令行的方式可以访问，前提是当前LInux的登录用户和该文件夹的用户能够.

原创 Linux面试题

1、Linux系统中如何获取pid为100的进程所监控的tcp端口ntpstat -nlpt|grep 1002、查找/home目录下大小为10k的文件find /home -size +10k3、在test.java中关键字keywords出现的位置，并将结果追加到aa.txtsed -A -B “keyword” test.java >> test.txt4、压缩文件夹testfile为testfile_01.tar.gztar czvf testfile_01.tar.gz

原创 Cannot create directory /tmp/hive/root/...... Name node is in safe mode

因为hadoop的安全模式导致dbeaver不能连接hive报错Cannot create directory /tmp/hive/root/… Name node is in safe mode什么原因导致hadoop集群启动安全模式Df -hFilesystem Size Used Avail Use% Mounted ondevtmpfs 32G 0 32G 0% /devtmpfs

原创 azkaban权限报错

azkaban权限报错23-06-2021 21:25:15 CST job_1_1 ERROR - java.io.IOException: Cannot run program “/opt/huayao/job/” (in directory “/opt/huayao/executions/3”): error=13, Permission deniedjava.io.IOException: Cannot run program “/opt/huayao/job/” (in directory “/

原创 Linux权限

Linux权限的意义是限制每个用户对当前文件的访问是可读可写可执行，来达到对重要文件的安全性的保障。1、认识文件的访问权限该权限表示对文件的访问，一般有当前用户，当前用户所在组，其他用户如何查看一个文件的权限首先要明白rwx是什么意思r表示可读，w表示可写，x表示可执行d开头的是目录，-开头的是文件drwxr-xr-x. 3 root root 80 5月 22 22:01 software-rw-r–r--. 1 root root 185515842 5月 12 07:40 jdk-

原创 mysql函数的min函数或者max函数在使用的时候,字段是字符串会结果不对的问题，需要改成数值类型

mysql函数的min函数或者max函数在使用的时候，数据库字段的的类型应该是数值性，如果是字符串类型，会有转换成其他的执行，这样min函数或者max函数的执行结果就是不正确的

原创 java.lang.ClassNotFoundException: org.apache.hive.jdbc.HiveDriver

没有HiveDriver的jar包 <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-jdbc --> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId>

原创 Error: Could not open client transport with JDBC Uri

Error: Could not open client transport with JDBC Uri: jdbc:hive2://farm1:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: root is not al

原创 hive配置日志路径

1、进入到hive的conf目录下2、hive-log4j2.properties.template 文件修改 hive-log4j2.properties3、vim 打开文件4、property.hive.log.dir = /opt/module/hive/logs（日志文件路径）