chun的博客

报错:Lost executor 33 on xx.xx.xx.152: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages.原因：由于spark某节点可用内存不足导致整个任务失败，在执行日志中找到可以上面的报错信息。我这里应该是提交了多个任务后内存占用超过了spark可用内存，导致报

搜不全真是坑坏我了，修改业务后，差点就卷铺盖走人了…修改配置打开help -> Find Action输入registry后搜索(点击框内任意一行后，直接输入就是搜索) page.size将100的值改大，一步到位100000

kylin启动报错hbase-common lib not found

1.版本：es：6.5.1curator：5.8.4 下载地址：https://www.elastic.co/guide/en/elasticsearch/client/curator/current/yum-repository.html#_signing_key_22.连接不上网站怎么办？出现无法访问此网页的话，去修改下本地dns具体方法：https://blog.youkuaiyun.com/weixin_43736084/article/details/1217756763.下载我这里用

HDFS上有一些每天增长的文件，目前使用的是Snappy压缩，突然某天OOM了1.原因:因为snappy不能split切片，也就会导致一个文件将会由一个task来读取，读取后解压，数据又会膨胀好多倍，如果文件数太大而且你的并行度也挺大，就会导致大量full gc，最终OOM因为前人实现的，不太好改，为了程序能快速跑起来，只好将最后入HDFS前reparation(500),修改为1000，增加文件数，减少每个文件数据量。但是他不是长久之计，更换压缩方式LZO，但是没实现过还需要建立索引，需要规划一下，

出现问题的原因Hadoop中报错，集群中某节点的一块磁盘损坏了，运维修复后，hbase出现了region不一致的情况。修复1.首先查看web ui中被lock的region，对其进行bypass -or pid 再bypass -o id2. 查看home界面拿到regionId，对其重新分配assigns -o3. 最后还是会剩余一些region无法修复，因为原因是磁盘损坏了，所有查看HDFS文件是否坏块hdfs fsck -list-corruptfileblocks，发现有大量的损坏，过滤一

spark任务中入hbase任务全部失败了，查看日志发现hbase出现问题报错日志：在hbase的log中看到报错Call queue is full on xxxx,16000,1611197476326, too many items queued修改了配置文件，增加了队列数量参数说明：https://hijiazz.gitee.io/hbase-callqueue-isfull/并且zookeeper好像挂掉了，后来重启zk。然后重启hbase后出现了region不一致的情况。尝试

这两天集群扩容后，出现的一系列问题，某个节点数据的VERSION不对，最终没解决掉，最后导致HBase数据丢失以下是所使用到的博客，记录一下以后再次出现好进行解决主要使用HBCK2https://www.modb.pro/db/54575https://developer.aliyun.com/article/683107https://zhuanlan.zhihu.com/p/83237810https://www.daimajiaoliu.com/daima/4edb28b64900404

首先我根本https://blog.youkuaiyun.com/weixin_41599103/article/details/115403332这个博客试了下并没有成功，所以应该是被侵入的程序不一样先去阿里云里看一下详情明确告诉了是通过docker被攻击了，先将wordpress容器停止并删除容器和镜像kill掉进行，如果有定时任务和文件就删掉(命令上面博客里有)我直接将安全组端口先都关闭了，留下22，然后重启后就好了。...

同一个包下的public类使用报错，应该是idea的bug：file -> Invalidate Caches / Restart

windows下启动nginx报错:nginx: [emerg] CreateFile() “D:\桌面\nginx-1.12.0/conf/nginx.conf” failed (3: The system cannot find the path specified)路径中带中文了，换个目录就好了

今天遇到一个bug，VMware突然网络服务不可用了，虚拟机里右上角有网络但是点开不显示网络的连接信息。也不能上网，不能ping通外网（百度）VMware下显示 主ip地址：网络信息不可用尝试了重启网络，重启服务，重置虚拟网络，都不能解决。因为以前出现过一次是把VMware删除并重新安装一个。所以进行了重新安装（只是重新安装VMware，虚拟机并不会删除掉），在安装过程又出现了新问题##...

写倒叙排序就直接按照mysql那样两个字段后面加一个desc，然后一直没有效果，改为如下：order by starttime desc,endtime desc;每个条件后都加desc就可以了，mysql应该是同样适用的，因为多个不同字段可以按照不同的排序方式(升序降序)进行组合...

我在一个界面添加数据使用updataEvent将对象返回给另一个界面后，在onUpData中处理时使用this.xxxxx= d，直接将地址值给了变量，当这个方法结束后d被重置了，所以this.xxx的值也消失了,这里要使用下面的方法复制一个对象出来。this.xxxx= $.extend(false, {}, d);//复制对象console.log()打印的值：显示的是打印的值，当点开详情之后显示的就是当前值。下图可以看到打开详情后几乎所有值都为null，但是当时console.log时值是正常

tomcat安装目录下conf文件夹下的logging.properties文件，将java.util.logging.ConsoleHandler.encoding编码为GBK，如图：

先上报错，百度无数SuperSet的解决办法整了三四天无果后，打了两天游戏突然想到了个找问题的办法INFO:thrift.transport.TSocket:Could not connect to ('192.168.228.131', 10000)Traceback (most recent call last): File "/opt/module/miniconda3/envs/superset/lib/python3.6/site-packages/thrift/transport/TSo

程序本来可以运行的好好的，突然不知道什么原因就不行了，两次了网上找各种方法式，最终两次的解决办法都是同一个，但是什么原因造成的目前并不知道1.打开Maven 点击Lifecycle下的clean然后点击install2. 在控制台输入 mvn idea:idea 具体干什么的不清楚，反正就是有用...

ERROR - Failed to build job executor for job xxxxxJob type 'command ’ is unrecognized. Could not construct出现上面错误信息：我遇到的bug1.job文件每行最后末尾看看有没有空格，有空格就出错我用notepad++编辑的打开下面这个这样就是没空格，有的话末尾是个·2.就是脚本文件...

用sqoop从HDFS导出数据到mysql，一直卡在Running job: job_1571036741208_0010，应该是内存太小，导致速度太慢在yarn-site-xml中增加下面两个，然后分发给各个节点，再重启yarn即可<property> <name>yarn.nodemanager.resource.memory-mb</name...

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/root/ee19ad01-2190-4759-9a94-6cc09771ecf7. Name node is in...

今天恢复了一下快照，然后hbase出现了问题2019-08-25 00:59:55,810 INFO [RpcServer.default.FPBQ.Fifo.handler=28,queue=1,port=16000] client.RpcRetryingCallerImpl: ,1 is not online on chun4,16020,1566665941494 at org.apa...

在hadoop配置文件mapred-site.xml加上<property> <name>mapreduce.framework.name</name> <value>yarn</value></property>重新启动即可

Hbase运行hbase shell输入status与list测试会报错error: KeeperErrorCode = NoNode for /hbase/master经过两天的不挺找错，更改，解决，出现这个错误的原因是hadoop与Hbase版本不兼容所致。前人的经验，千万别用hadoop3和2.8.5经过几天的奋战，开始用的hadoop3.2.0，hbase-2.2.0，Hmaste...

进行二次namenode格式化前，请注意：hadoop namenode -format进行着一步前，要把以前格式化的内容删掉，如果，你的路径是在hadoop文件夹内，那么直接格式化即可，如果是在外部创建的文件夹，需要把dfs下的data与name下的所有文件删掉。！！！ 这里为了方便看到直接用的图形化界面从节点下的也要删除。要不然启动后，从节点下没有datanode然后进行格式化，...

今天安装sqoop查看版本报错错误:找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty查看hbase版本也出错错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaPropertyhbase version错误: 找不到或无法加载主类 org.apache.hadoop.hbas...

设置mysql远程访问报错 ERROR 3009 (HY000): Column count of mysql.user is wrong. Expected 45, found 42. Created with MySQL 50560, now running 50727. Please use mysql_upgrade to fix this error.执行mysql_upgra...

用sqoop把hdfs数据存储到mysql数据库，报错Job job_1566707990804_0002 failed with state FAILED due to: Tas k failed task_1566707990804_0002_m_0、我遇到这个问题是因为mysql建表的时候varchar（10），而数据里内容大于了10，把varchar增大，即可解决！...

打开bin下的flume-ng找到下面，添加红色框内容，即可

centos7的telnet配置文件是：/etc/xinetd.conf。centos7以前的是/etc/xinetd.d/telnet因为装好telnet服务之后，默认是不开启服务的，下面我们需要修改文件来开启服务需要把 disable 改成no...

Flume下杀死collector再恢复出现错误2019-08-29 15:57:52,578 (lifecycleSupervisor-1-5) [ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:251)] Unable to start Ev...

Exception in thread “main” java.lang.IncompatibleClassChangeError: Class com.google.common.collect.ImmutableSotil.NavigableMapException in thread "main" java.lang.IncompatibleClassChangeError: Class ...

in acquiring locks: com.zaxxer.hikari.pool.HikariPool$PoolInitializationException: Failed to initializ e pool: Data source rejected establishment of connection, message from server: “...

启动时可以看到启动成功，但是在chun2，jps的时候却没有了datanode进程，而且web端Live nodes也缺少了百度搜索之后查到是因为hdfs.site.xml配置文件里dfs.data.dir配置的路径重复，就是多个节点存放data数据的目录路径相同了，造成了报告中误认为只有一个datanode！修改路径即可#chun1中的值 <property> <n...

输入stty erase ^H即可想还原 输入 stty erase ^?

INFO zookeeper.ClientCnxn: Socket error occurred: localhost/127.0.0.1:2181: Connection refused: no further informationINFO zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0....