mpren的专栏

从0-1到规划大规模企业级服务很难有这样的宝贵经历，有鉴于此特别将个人经历分享如下，先上图：特点一：引入高性能网关，作为全量业务的入口，中心节点对接口进行有效治理。相较于直接使用大规模RPC应用之间直连，有效降低大规模业务的复杂度，降低人员之间的沟通成本，同时也能尽量减轻可能带来的系统安全等。特点二：引入稳定或复杂业务系统网关，作用主要是屏蔽稳定或复杂系统内部逻辑，无需与敏捷业务发生太多耦合，尽量的保持稳定。提供http标准接口供外部敏捷业务调用，稳定或复杂业务如发生技改、迁移、上云容器化等大动作对.

作者：左耳朵耗子原文地址：https://coolshell.cn/articles/21672.html工作 20 多年了，这 20 来年看到了很多公司的很多的系统架构，也看到了很多问题，在跟这些公司进行交流和讨论的时候，包括进行实施和方案比较的时候，因为相关的经历越来越多，所以，逐渐形成了自己的逻辑和方法论。今天，想写下这篇文章，把我的这些个人的经验和想法总结下来，希望能够让更多的人可以参考和借鉴，并能够做出更好的架构来。另外，我的这些思维方式和原则都针对于现有市面上众多不合理的架构和方案，所以，也

过期时间设置建议使用expire设置过期时间，可以打散过期时间，防止集中过期。过期策略选择1、noeviction：不删除数据，将不能进行新的写入；扩容后恢复正常；2、allkeys-lru：选择最近最少使用的key进行删除来保证可以写入新的数据，丢弃数据来换取可用性；3、volatile-lru：从设置了过期时间的key中选择最近最少使用的key进行删除来保证新的写入，如果没有设置过期时间的key把容量占满了，同样将不能进行新的写入，扩容后恢复正常；4、volatile-ttl ：从设置了过.

刚接手中间件团队遇到ElasticSearch比较棘手问题，主要以下方面：1.某个集群按日创建数量惊人，三台16C32G500G的集群居然有25000多个分片。2.按日、按月、按年索引不确定过期时间。3.固定索引很多，无法整改。问题一导致该集群频繁fullgc，没法提供正常稳定的服务，偶发性业务系统失败，不定时出现。问题二因为之前设计时没有约定这些分片的有效期，导致集群上有大量的无效数据存在。问题三是不推荐的使用方法。技术改造思路如下：1.数据特别重要，保留时间特别长的，同步一份给数据湖

过去三年有幸参与一家中型互联网金融企业从0-1的过程，作为并列第一位入职的员工，看着最多达到近600人员规模研发团队，其中学到很多、思考很多。如何赋能，如何提高团队生产率，执行力等等。...

上图中淡黄色部分提供了分库分表后的数据聚合及查询功能。问题1：为什么不选择MongoDBMongDB的二级索引必须全部要存储在内存中，如果内存 空间不够，会有一部分索引失效，导致查询慢；MongDB在数据量非常的大的时候，查询的速度没有ES快， 特别是在复杂多条件查询的时候，表现更为明显问题2：为什么不单独使用HBASEHBase在没有rowKey的查询条件下，要用过滤器对HBase表所有region的进行扫描，非常耗时，效率非的低，在有大量写的情况，查询的性能会更糟糕，当前的业务需求，是.

问题描述：近期测试环境偶发出现Connection Reset异常，不明原因。问题排查报错为connection reset 而不是connection reset by peer。说明服务端关闭了该链接，但是客户端还察觉，继续使用该链接发送数据，导致发生异常。查看客户端http代码方法connectionManager = new MultiThreadedHttpConnectionManager();connectionManager.getParams().setCon..