weixin_42319892的博客

原创 测试集群，任务运行失败

动态任务失败

原创 idea java项目增加框架支持比如maven、spring等等插件

原创 cm的agent 重启9000端口存在的问题

vi /etc/sysctl.confsudo sysctl -p

原创 cm agent 部署服务

12.3.vi /etc/rc.d/init.d/cloudera-scm-agent

原创 Storage not yet initialized

at org.apache.hadoop.jmx.JMXJsonServlet.doGet(JMXJsonServlet.java:210) at javax.servlet.http.HttpServlet.service(HttpServlet.java:707) at javax.servlet.http.HttpServlet.service(HttpServlet.java:820) at org.mortbay.jetty.servlet.ServletHolder.handle(Ser.

原创 centos 7 挂载硬盘

1.查看硬盘fdisk -l2. fdisk /dev/sda 挂载硬盘3.格式化磁盘mkfs -t xfs -f/dev/sda4. 开机挂载查看 uuid blkid /dev/sda/dev/sdb2: UUID="bbfcd0dd-5464-465c-ac54-0669565dccd1" TYPE="xfs"挂载磁盘## /etc/fstab# Created by anaconda on Mon May 14 18:20:22 2018...

原创 es简单操作关于导入导出

启动 1. ./elasticsearch -d2.导入导出数据elasticdumpmac 安装命令brew installelasticdumplinux 安装命令 yum installelasticdump# Mapping（元数据） 数据导入至索引 ./bin/elasticdump \ --output=http://es实例IP:9200/index_name \#导出地址 --input=http://es实例IP:9200/index_name ...

原创 -javaagent作用

Javaagent 只要作用在class被加载之前对其加载，插入我们需要添加的字节码。一般我们常用语aspectj

原创 ftp修改为被动模式和二进制

200 PORT command successful. Consider using PASV.Windows Cmd下默认为主动模式，更改Ftp为被动的方法：ftp> quote PASV Linux Ftp命令下默认为被动模式，更改为主动的方法：ftp> passive

原创 mac安装ftp命令

安装命令brew install inetutils配置环境vi .bash_profilePATH="/usr/local/opt/inetutils/libexec/gnubin:$PATH"

原创 mac 编译 hdp3.1.5报错

#[WARNING] [protoc, --version] failed: java.io.IOException: Cannot run program "protoc": error=2, No such file or directory[ERROR] stdout: []解决 执行brew install protobuf

原创 gradle下载路径

gradle下载路径https://services.gradle.org/distributions/

原创 spring扩展机制非常重要的一个累，用来读取spring.handlers的NameSpaceHandler

/* * Copyright 2002-2018 the original author or authors. * * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may obtain a copy of the License at * * https:

原创 导入导出es脚本

#!/usr/bin/env basharray=("full_vehicle_portrait" "latest_car_history_trail_dt" "vehicle_abnormal_monitor" "gantry_transaction-20200914" "vehicle_abnormal_summary")for(( i=0;i<${#array[@]};i++)) ; do#删除索引curl -XDELETE http://cdh219:9200/${array[i.

原创 spring中的cluster-name配置错误问题

org.elasticsearch.client.transport.NoNodeAvailableException: None of the configured nodes are available: [{#transport#-1}{Hdf2f4wFRjOoELmmYpGCpg}{cdh173}{10.57.22.173:9300}, {#transport#-2}{qcLtR9h1TISCCcSLIo9OEg}{cdh174}{10.57.22.174:9300}, {#transport#-3

原创 编译spring源码碰到的问题

丢失spring-cglib-repack和spring-objenesis-repack进入源码的目录，执行：gradle objenesisRepackJar 、 gradle cglibRepackJar

原创 es导入导出

安装方式如下：安装NodeJS下载源码:wgethttp://nodejs.org/dist/v0.10.32/node-v0.10.32-linux-x64.tar.gz解压:tar xvf node-v0.10.22-linux-x64.tar.gz配置环境变量：在/etc/profile文件新增：export NODE_HOME=/home/node-v0.10.0-linux-x64export PATH=$PATH:$NODE_HOME/binexport NODE_PATH=$.

原创 nginx upstream http请求400

1. 加入proxy_set_header Host $hostlocation ^~ /photoApi { proxy_pass http://picture_back/api; proxy_set_header Host $host; proxy_http_version 1.1; proxy_read_timeout 30s; proxy_set_header Co...

原创 hive和cm 安装不在同一机器 HiveMetaException：Failed load the driver

发现/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hive/lib/mysql-connector-java-5.1.36.jar没有

原创 tidb写数据溢出

数据交换v4 任务运行失败1. TIDB 数据交换任务长期运行占用大量资源(140G)，加上流任务，基本占满了数据交换集群资源。2. 修改了 spark jdbc 读取数据的代码，修改为流式读取，所以TIDB交换任务没有像以前一样OOM退出。3. v4 任务大量增加，加大了交换集群负载。...

原创 java线程池源码

/* * ORACLE PROPRIETARY/CONFIDENTIAL. Use is subject to license terms. * * * * * * * * * * * * * * * * * * * * *//* * * * * * * Written by Doug Lea with assistance from members of JCP JSR-166 * Expert Group and released to t.

原创 flink安装

1.<execution> <id>install node and npm</id> <goals> <goal>install-node-and-npm</goal> </goals> <configuration> <nodeDownloadRoot>http://npm.taobao.org/mirrors/node/</nodeDownloadRoot> <npmDow

原创 tomcat8 复杂请求参数报错 The valid characters are defined in RFC 7230 and RFC 3986

conf下catalina.properties打开tomcat.util.http.parser.HttpParser.requestTargetAllow=|即可

原创 GC Roots

在Java语言中，可作为GC Roots的对象包括下面几种： 虚拟机栈（栈帧中的本地变量表）中引用的对象。 方法区中类静态属性引用的对象。 方法区中常量引用的对象。 本地方法栈中JNI（即一般说的Native方法）引用的对象...

原创 查看tcp连接数

netstat -n|awk '/^tcp/{++S[$NF]}END{for (key in S) print key,S[key]}'

原创 Python来连接Presto

如果要使用Python来连接Presto，就需要相关的驱动包。目前发现有两个驱动包，分别是：pyhive :https://github.com/dropbox/PyHivepresto-python-client :https://github.com/prestodb/presto-python-client其中第二个是Presto官方自己弄的，不过使用率没有pyhive高。在Su...

原创 python缺少readline模块安装

# 安装readline模块yum -y install readline-devel# 进入Python安装目录cd /usr/local/Python-2.7.12# 重新执行Python的安装configuremakemake install

原创 brew install 安装问题

error: RPC failed; curl 56 LibreSSL SSL_read: SSL_ERROR_SYSCALL, errno 54fatal: The remote end hung up unexpectedlyfatal: early EOFfatal: index-pack failedFailed during: git fetch origin master:re...

原创 永久显示行号

cp /usr/share/vim/vimrc ~/.vimrc 先复制一份vim配置模板到个人目录下 注：redhat 改成 cp /etc/vimrc ~/.vimrc步骤2：vi ~/.vimrc 进入insert模式，在最后加二行 syntax on set nu!保存收工。...

原创 error: RPC failed; curl 18 transfer closed with outstanding read data remaining

笔者最近在使用git clone命令从github克隆源码到电脑时出现了以下问题error: RPC failed; curl 18 transfer closed with outstanding read data remainingfatal: The remote end hung up unexpectedlyfatal: early EOFfatal: index...

原创 brew安装报错python

Warning: Cask 'bitpay' is unreadable: undefined method `method_missing_message' for Utils:ModuleError: Cask 'fish' definition is invalid: invalid 'depends_on macos' value: ":snow_leopard"liujianzhan...

原创 强制杀地址端口

sudo fuser -k 80/tcp

原创 修改域名语句

vi /etc/hostname

原创 springmvc 获取用户报错:No thread-bound request found: Are you referring to request attributes outside of a

获取用户报错:No thread-bound request found: Are you referring to request attributes outside of an aceb request, or processing a request outside of the originally receiving thread? If you are actually operat...

原创 sudo免密

安装完centos7后，默认没有启用sudo，首先应该是对sudo进行设置。sudo 的作用就是使当前非root用户在使用没有权限的命令 时，直接在命令前加入sudo，在输入自己当前用户的密码就可以完成root用户的功能，而不必在每次使用su -来回切换用户了。sudo的配置文件位于/etc/sudoers，需要root权限才可以读写。找到root ALL=(ALL) ALL这一行，在后面再加...

原创 tomcat自启动

ln -s /usr/apache-tomcat-7.0.64/bin/startup.sh /etc/rc.d/init.d/tomcat7通过上面的命令将startup.sh文件连接到init.d目录下名称为tomcat74.然后切换到/etc/rc.d/init.d/目录用ll查看一下tomcat是否有可执行权限如果没有的话使用chmod +x tomcat7添加执...

原创 删除大于100M的文件

java -jar /Users/liujian.zhang/Downloads/bfg-1.13.0.jar --strip-blobs-bigger-than 100M .git reflog expire --expire=now --all && git gc --prune=now --aggressivegit push

原创 安装缓存的包

yum install --downloadonly packagename1、开启yum缓存vim /etc/yum.conf修改 keepcache=12、开启缓存后，用yum install安装的软件包会在/var/cache/yum中保存3、将/var/cache/yum中的文件打包，恢复到要用的离线系统中相同位置4、yum -C update5、yum -C ...

原创 CDH entropy was available 问题解决

查看熵池cat /proc/sys/kernel/random/entropy_availyum install rng-toolsecho 'EXTRAOPTIONS="--rng-device /dev/urandom"' >/etc/sysconfig/rngdservice rngd restartchkconfig rngd on...

原创 httpd安装

Loaded plugins: fastestmirrorDetermining fastest mirrorsbase ...