- 博客(18)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 分布式系统架构之一Master-Workers 架构(转)
分布式系统架构之一Master-Workers 架构分布式系统有很多经典的套路，也即设计模式。每个设计模式可以解决经典的一类问题，积累的多了，便可以稍加变化，进行取舍，设计出贴合需求的架构组织。作者：穆尼奥来源：木鸟杂记|2021-07-03 19:21收藏分享本文转载自微信公众号「木鸟杂记」，作者穆尼奥。转载本文请联系木鸟杂记公众号。分布式系统有很多经典的套路，也即设计模式。每个设计模式可以解决经典的一类问题，积累的多了，便可以稍加变化，进行取舍，设计出贴合需求的架构组...
2021-09-29 17:41:36
415
原创 Spring Data MongoDB 截取($substr)日期字符串的方法
假如天的格式是'2020-04-30'，那么截取年月的字符串用如下的方法：AggregationOperation projectionOperation = Aggregation.project().and("day").substring(0,7).as("month")...
2020-04-30 10:55:21
3045
1
原创 flink-1.7.2无法访问web页面
问题描述：flink-1.7.2-bin-scala_2.11.tgz单机版启动后无法访问web页面解决：关闭服务器的网络防火墙
2020-03-29 11:30:44
3054
原创 spring整合quartz分布式任务 job任务丢失问题排查
在项目运行时，发现Job会有不定期丢失的情况。经过不断的排查和翻源码找到是CronTrigger 触发器的超时策略设置的问题。修改方式如下： 将超时策略由MISFIRE_INSTRUCTION_DO_NOTHING 改为MISFIRE_INSTRUCTION_FIRE_ONCE_NOW,问题得到解决。在用Mysql做分布式任务时，查看job的超时策略的方式：1.打开qrz...
2019-03-27 14:43:11
2930
13
原创 JAVA BEAN在controller层接收JSON数据中多了逗号问题的排查
工作随记：偶然一次排查问题时发现，bean接收到的参数比JSON格式传入的参数多了一个逗号，导致mysql执行更新操作失败。猜想有一下可能：1）在设置BEAN对应属性时，在后台插入了多余了逗号2）postman传入参数时，多插入参数3）JSON格式转bean的时候由于参数解析失败，造成多插入了参数。 经过单步调试，在BEAN属性的setter方法中，发现传入的参数前面即多余...
2018-12-18 20:03:03
1394
原创 @Resource,@Autowired,@Inject的区别
学习随记。1. @Resource（JSR250）,@Inject(JSR330)都是java规范 @Autowired是Spring定义的规范2.2.1 @Resource:可以和@Autowired一样实现自动装配功能，默认是按照组件名称进行装配的，不支持@Primary功能，不支持@Autowried(required=false);的功能2.2 @In...
2018-12-08 17:29:51
349
原创 jdbcTemplate 报错：java.sql.SQLException: No value specified for parameter 2
在一次批量写入表数据时，发现一只报上面的错误。不断的查资料和整理，发现了问题所在。jdbcTemplate.update(InsertSqlList, (Object[])params);第二个参数必须是数据的数组Object[]，且数据和占位符一一对应。不能是List<params>形式。...
2018-12-03 17:20:14
3512
原创 spring 整合kafka实现 BatchAcknowledgingMessageListener 批量接收数据
之前参考别的文章实现了spring整合kafka接收单条数据处理，由于高吞吐量，高并发的需要，需要批量取kafka数据，并批量存储。在网上搜索的资料，发现资料比较少，本人在原来单条数据处理的基础上用BatchAcknowledgingMessageListener接口实现了批量接收kafka数据的功能。前言：环境配置说明，由于spring托管的方式不支持低版本的kafka数据的批量接收，所以在...
2018-11-17 16:09:27
4460
原创 org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms. 问题排查
由于功能开发需要，将kafka的版本由0.9.0.1升级为1.1.0版本。升级完成后，测试producer发送消息功能。1.首先修改了pom文件中kafka相关的jar包，修改为1.1.0版本的。2.测试发送消息发现失败。3.最后排查出原因是，topic并没有创建。4.创建topic之后，测试OK。...
2018-11-16 11:56:41
6655
原创 hadoop,hbase,kafka集群的启动步骤
前段时间部署的集群服务器（HA模式）由于断电维护，现在重启，启动步骤如下：1.启动zookeeper。zookeeper是集群协调服务的管理工具，首先启动三个服务器的zookeeper服务。默认情况下三个服务器的zookeeper都需要单独启动。命令如下（ZOOKEEPER_HOME/bin目录下）：./zkServer.sh start启动zookeeper后，通过jps命令查...
2018-11-05 13:51:41
1149
原创 Linux的limits.conf配置失效
环境背景：为了提高nginx+3台tomcat集群的并发量，修改linux的limits.conf配置文件。问题：有两台服务器修改重启后生效。而另外一台服务器迟迟不能生效。根据网上查的资料，均无果。折腾了一天，对比正常的系统的limits.conf的关于限制的配置如下：vi /etc/security/limits.conf* soft nofile 65536* ha...
2018-10-30 20:23:24
1820
原创 hadoop,hbase三台集群环境，其中有一台突然中断，如何重启。
由于网关的原因，一台服务器连接失败，造成hadoop的namenode均挂掉了。查看hbase时，发现如下找到master错误：ERROR: Can't get master address from ZooKeeper; znode data == null那么问题来了，如何重启？[hadoop@hadoop001 ~]$ stop-hbase.shstopping hba...
2018-09-30 10:06:11
1197
转载 （转载）经纬度与西安80，北京54的坐标系转换（JAVA实现）
找的经纬度转高斯坐标的方法：http://blog.sina.com.cn/s/blog_5656b0020100chbv.html（原贴地址，版权归原作者所有）http://outofmemory.cn/code-snippet/81119/GPS-jingweidu-switch-elapsed-xuanzhuan-hou-pingmianzuobiao脸皮厚的贴出来。正如作者所说...
2018-09-29 10:58:29
8134
12
原创 基于分布式列数据库的时空数据库 kafka+geomesa+geoserver接入kafka数据源失败
在用Geoserver用Geomesa的方式添加kakfa的数据源的时候 总是报一个错误：哎呀，出错了...抱歉，服务器上发生了意想不到的事情。The GeoServer user list might help you address this issue. Click here to subscribe, and then include in your message...
2018-09-27 14:09:26
3372
5
原创 hbase+geomesa+geoserver踩过的坑
参考博文配置hbase+geomesa+geoserver，当执行下面步骤时：$ java -cp geomesa-tutorials-hbase-quickstart-2.1.0-SNAPSHOT.jar org.geomesa.example.hbase.HBaseQuickStart --hbase.zookeepers master --hbase.catalog...
2018-09-21 12:59:30
2236
原创 JAVA Spring MVC 整合validator踩过的坑
由于做前后端分离的项目，后端需要校验传入的参数，在网上搜了不少资料发现通用的是JAVA WEB 整合Hibernate Validator校验框架比较合适，基本上能解决大部分问题。比如这篇博文：http://docs.jboss.org/hibernate/validator/4.2/reference/zh-CN/html_single/#validator-usingvalidator-val...
2018-09-20 10:12:23
667
2
原创 Kafka与Spring整合踩坑心得
搭建环境：MAVEN+IDEA+Kafka最近搭建Spring和Kafka集成的环境，参考：https://www.cnblogs.com/wangb0402/p/6187796.html博文，搭建好之后，producer和consumer一直不好使。而后有查阅了https://blog.youkuaiyun.com/u011294519/article/details/80503556这篇博文，修改对应...
2018-09-20 09:38:28
966
ArcgisServer 10.3破解资源
2017-09-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人