云计算/大数据
关注
分享
扫一扫
互联网行者
工作较忙，如果博客上文章对你有帮助但有疑问，不能及时的回复请抱歉，大家可以给我留言
展开
-
clickhouse客户端连接
安装好clickhouse集群后，需要使用clickhouse客户端连接集群，安装方式sudo yum install yum-utilssudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPGsudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/stable/x86_64yum install clickhouse-client客户端命原创 2020-07-22 20:30:29 · 3520 阅读 · 0 评论 -
clickhouse集群安装干货多
clickhouse可以单机部署，创建本地表，这个时候不需要zookeeper协助。如果要创建分布式表就需要安装zookeeper集群。zookeeper下载地址https://zookeeper.apache.org/releases.html下载版本在3.6.1以上。解压后要进行设置，集群配置的话，默认配置文件没有那一段如下：server.1=work228:2182:3182server.2=work229:2182:3182server.3=work230:2182:3182这段是配..原创 2020-07-21 16:14:53 · 3462 阅读 · 1 评论 -
Java连接HBase使用Connection对象注意的地方
最近在code review看到有代码在每收到消息存储到hbase中，每次会创建connection，如下public void msgArived(){ connection= ConnectionFactory.createConnection(hbaseConfig.configuration());}后来通过jvm查看java jvm情况时候发现有很多实际hbase连接相当于一个连接池，不需要每次创建，一个程序或者说一个进程共用一个connection对象，在配置文件或者原创 2020-07-11 09:04:11 · 2064 阅读 · 0 评论 -
springboot集成kafka遇到问题
使用springboot进行集成，对kafka变成了注解方式编程，例子如下：@KafkaListener(id = "test0-5", topicPartitions = { @TopicPartition(topic = "${topicName}", partitions = {"0", "1"})}, containerFactory = "kafkaListenerContainerFactory")public void listen1(ConsumerRecord<原创 2020-06-28 13:47:47 · 783 阅读 · 0 评论 -
rancher部署mysql出现反复重启现象
最近测试环境上出现mysql pod反复重启，最终分析对比排查后发现是因为连接数据库的应用pod在反复的尝试连接，导致数据库pod进入不健康状态而无法成功启动。需要在数据库成功后再进行启动应用服务。...原创 2020-01-21 15:05:36 · 1148 阅读 · 0 评论 -
golang学习之——包项目内引用解决方案
最近初学golang，遇到一大堆问题。其中就是怎么项目内引用包。golang之前版本是使用gopath来引用，这个要指定导入路径比较麻烦。后面高版本里面引入了go mod方式，这种是go.mod写依赖包。比如：module golanggo 1.13require github.com/liushuichashe/golang v0.0.0-20190727134117-607096...原创 2019-12-24 17:44:20 · 4363 阅读 · 0 评论 -
spring boot版本升级问题
从1.3升级到1.5.14发现以下问题1、Spring boot 1.5.14 Testing : Configuration error: found multiple declarations of @BootstrapWith @SpringBootTest改为@ContextConfiguration原创 2018-07-12 16:25:02 · 1374 阅读 · 0 评论 -
eclipse中设置JVM内存
可以从如下几个地方设置jvm1、设置jdk的虚拟机参数2、设置项目启动JVM配置右键点击项目 RUN->RUN CONFIGRUATION原创 2018-07-20 10:20:11 · 568 阅读 · 0 评论 -
maven里面pom文件的节点变量相互引用
最近碰到一个问题，就是使用maven-shade-plugin打包里面有个节点<finalName>${project.version}</finalName>，pom里面也有个版本信息<version>V0.0.2</version>，每次打包时候都要两个一起改（如果两地方不一样会引起误解），最终生成的版本信息是以maven-shade-plugi...原创 2018-10-13 14:17:48 · 2494 阅读 · 0 评论 -
rancher2商店的mysql数据库在k8s配置更新
最近使用rancher2，在安装Mysql数据库软件使用的是商店，racher商店的mysql默认是大小写不敏感，还有编码格式也不是我所想要，但又不能修改configmap信息，因为被加密了。只能是通过自己构建configmap然后挂载进去，具体操作如下1、添加configmap 添加完成信息，在工作负载李修改内容 ...原创 2018-11-21 20:31:16 · 2247 阅读 · 0 评论 -
删除docker容器状态为Dead的container
最近测试在使用容器时候会有容器处于Dead的状态，网上有说删除方法，可以使用docker stop share-mnt 1>/dev/null 2>&1 | exit 0docker rm -f share-mnt 1>/dev/null 2>&1 | exit 0这种方式会有删除不掉的情况，所以在用在这种方式删除前重启服务器，那么就能删除掉。...原创 2019-01-15 19:20:12 · 1939 阅读 · 0 评论 -
k8s使用helm安装mongodb出错Error executing 'postInstallatio
安装时候碰到Error executing 'postInstallation': EACCES: permission denied, mkdir '/bitnami/mongodb/data'查看日志发现如下信息，尝试容器所在的主机目录创建mkdir '/bitnami/mongodb/data'，后面就可以了。还需要添加命令chmod 777...原创 2019-01-16 21:18:22 · 1279 阅读 · 0 评论 -
kubernetes添加容器服务的/etc/hosts
最近在做oss存储，碰到一个上传比较慢，后面咨询IT是外网是100M，内网是万M，要切换到内网。但使用域名访问默认是走外网，那就需要在机器上添加hosts方式解决，但因为是容器，所以在宿主机上添加是不生效的，在容器里面添加，需要编辑yml配置信息具体配置如下 hostAliases: - hostnames: - s3-hangzhou.sujguan.com ip: ...原创 2019-02-25 15:41:24 · 6027 阅读 · 0 评论 -
quartz定时任务框架出现qrtz_triggers表的TRIGGER_STATE为error
最近出现定时任务执行不了，查看qrtz_triggers里面的定时任务状态魏error，这种情况在集群模式下部署会有。但目前是按非集群模式部署，而且把任务逻辑都关闭掉还出现。本来想查看SQL语句的执行查找设置这个状态的代码，但在捕捉SQL语句过程中发现既然在时间间隔相差不大情况出现两次更新SQL，怀疑集群启动两个定时器任务程序，后来发现果然有两个。如果需要跑多个减轻任务压力的情况下需要以集群模式部...原创 2019-03-05 13:21:45 · 15218 阅读 · 2 评论 -
ambari2.6.*清除脚本
#!/bin/bash#!/usr/bin/expect# uninstall ambari automaticif [ $# -ne 1 ]; then echo "Usage:" echo "$0 hostsFile" exit 1fi #取得集群的所有主机名，这里需要注意：/etc/hosts配置的IP和主机名只能用一个空格分割 hostList=$1#定义ambari组...原创 2018-07-11 15:51:13 · 491 阅读 · 0 评论 -
tomcat一次优化经历
tomcat版本：8.5.29jdk版本：openjdk-1centos :7 内存4G 4核默认tomcat connectors是bio阻塞模式，修改为APR模式如下在confi/server.xml开启listen<Listener className="org.apache.catalina.core.AprLifecycleListener" SSLEngine="on" />...原创 2018-06-12 18:00:26 · 338 阅读 · 0 评论 -
WARNING: An attempt was made to authenticate the locked user "tomcat"
WARNING: An attempt was made to authenticate the locked user "tomcat"找到tomcat下面的config下tomcat_users.xml，注释 -->原创 2017-03-01 09:21:51 · 955 阅读 · 0 评论 -
绕过CDN查找网站真实IP
在T00ls中看到人在问如何绕过CDN查找网站真实IP，而下面回复却说这是月经帖，每个月都有人问同样的问题，今天相对比较闲那么就来收集总结下思路吧。0x01 验证是否存在CDN方法1很简单，使用各种多地 ping 的服务，查看对应 IP 地址是否唯一，如果不唯一多半是使用了CDN， 多地 Ping 网站有： http://ping.chinaz.com/ h转载 2017-01-20 22:52:48 · 4742 阅读 · 0 评论 -
MyBatis查询多个参数传入的问题
一、单个参数：public List getCarEventList(String eventCode); select t.* from car_event t where t.id= #{id} 其中方法名和ID一致，#{}中的参数名与方法中的参数名一直， 我这里采用的是XCarEvent是采用的短名字,select 后的field列原创 2017-03-02 11:27:22 · 4166 阅读 · 0 评论 -
docker镜像安装java-openjdk以及openjdk-debuginfo
FROM centos:7RUN yum install -y java-1.8.0-openjdk-devel && \ yum install -y java-1.8.0-openjdk-debuginfo --enablerepo=*debug*RUN useradd jdk-userUSER jdk-userWORKDIR /home/jdk-us原创 2017-03-31 14:55:51 · 5273 阅读 · 0 评论 -
tomcat管理界面部署项目多次导致memory leak
最近tomcat过一段时间发生memory leak，在tomcat管理界面上点击find leak出现如下信息The following web applications were stopped (reloaded, undeployed), but theirclasses from previous runs are still loaded in memory, thus cau原创 2017-05-24 19:24:07 · 959 阅读 · 0 评论 -
centos下安装memcached并启用SASL功能
启用SASL验证机制SASL全称Simple Authentication and Security Layer，是一种用来扩充C/S模式验证能力的机制。 简单来说SASL是一个胶合(glue)库，通过这个库把应用层与形式多样的认证系统整合在一起。这有点类似于 PAM，但是后者是认证方式，决定什么人可以访问什么服务，而SASL是认证过程，侧重于信任建立过程，这个过程可以调用PAM来建立信任原创 2017-06-12 13:58:15 · 4271 阅读 · 0 评论 -
高性能Web架构
引言最新中国互联网络信息中心(CNNIC)发布的《第38次中国互联网络发展状况统计报告》，2016年6月，我国网民规模达7.1亿。全球互联网网站数量超过10亿个。如此多的设备，如此吸引用户的在线服务，如何做到脱颖而出，除了产品本身的设计外，你的产品能不能比其他产品更快的响应的用户也是非常关键的因素。有数据表明，移动互联网下用户越来越没有耐心，用户越来越重视速度方面的用户体验，很多互联网公司转载 2017-08-29 11:41:53 · 483 阅读 · 0 评论 -
spring boot starter启动器介绍
spring boot starter 就是相当于实现好针对各自特征功能的应用程序，我们要做的就是在应用程序里填写业务代码而不需要关注底层配置问题Spring Boot应用启动器基本的一共有44种，具体如下：1）spring-boot-starter这是Spring Boot的核心启动器，包含了自动配置、日志和YAML。2）spring-boot-starter原创 2017-11-28 15:50:52 · 440 阅读 · 0 评论 -
flume-NG集群搭建
1、安装下载flume下载地址 http://flume.apache.orgmkdir /opt/flume/tar -zxvf apache-flume-1.8.0-bin.tar.gz修改配置文件 mv flume-env.sh.template flume-env.shmv flume-conf.properties.template flume-hd...原创 2019-12-17 19:04:04 · 223 阅读 · 0 评论 -
Jersey拦截器实现ContainerRequestFilter
最近在做API接口安全类似支付宝接口那种方式，为了对所有接口做一致性处理，准备使用拦截器方式在底层。Jersey有两种拦截器ContainerRequestFilter与ContainerResponseFilter，接口请求验证使用ContainerRequestFilter，具体实现代码如下@Provider public class SafeFilter implements Conta...原创 2018-03-09 10:16:04 · 7563 阅读 · 5 评论 -
tomcat启动项目慢
1、服务器环境tomcat8.0.36，出现启动要3分钟作用才能访问8080端口，查看日志有如下03-Apr-2018 13:52:18.705 INFO [main] org.apache.catalina.startup.Catalina.start Server startup in 209240 ms消耗比较长，如下日志org.apache.jasper.servlet.TldScanne...原创 2018-04-03 15:19:39 · 721 阅读 · 0 评论 -
关于统一处理http请求安全验证遇到media type不同导致处理失败问题
最近碰到一个需求是要模仿支付宝、微信等平台的API接口。在APP登录时候产生token，后用token等参数设计安全接口验证，但实际过程中发现如果表单和非表单方式是有区别，因为非表单可以用HttpServletRequest.getParameterNames获取post和get的请求参数(queryparam)，如果使用multi-part那就没办法使用上述方式，但可以用HttpServletR...原创 2018-04-26 19:28:16 · 3569 阅读 · 0 评论 -
flume-ng数据复用案列配置详解
#类型 AVRO spooldir netcat HTTPa1.sources = sourceMqtta1.sinks = sinkMqtt1 sinkMqtt2a1.channels = channelMqtt1 channelMqtt2# Describe/configure the sourcea1.sources.sourceMqtt.type = com.leapmotor.emqfl...原创 2018-05-07 15:32:41 · 294 阅读 · 0 评论 -
DataSet数据更新失败
<br />新增一行数据,在调试状态下能看到已经在DataSet里,而且处于新增状态,但更新时候错误为:无法将NULL值将空值插入表中,后来用SQL查看器捕捉后发现,插入全是空值.说明DataTable里确实插入了一行,但这行数据全变成了空.后来试着用EndEdit()方法,问题原创 2010-06-05 13:22:00 · 845 阅读 · 0 评论