mpren的专栏

• 元空间与GC的关系：GC在元空间中的作用主要是收集死亡对象和类的加载器。• 元空间的引入：在Java 8中，JVM的内存结构经历了变化，其中方法区被替代为元空间（Metaspace）。• 内存管理：元空间的内存管理不需要跟踪每个单独的分配以便释放它们，因此元空间分配器是一个基于区域的分配器，优化了快速、低开销的本地内存分配。来设置元空间的最大大小为256MB。• 元空间大小：元空间的大小受系统的物理内存和虚拟内存的限制。• 优点：使用本地内存的好处是，元空间的大小不再受限于JVM的堆内存设置（如。

公司内常规配置ip_hash但是一直都负载到同一台后端服务器上。upstream test{ ip_hash; server 127.0.0.1:8001 ; server 127.0.0.1:8002 ;}排查公司网络情况，链路为互联网->F5->NGINX->后端服务器。排查F5未发现特殊配置，但是网络反馈互联网真实IP会在F5转为F5的指定虚IP，指定的几个IP地址。继续排查nginx原生nginx的

压力测试环境，最近一直报错Redis：Too many Cluster maxRedirections? slot : 445且交易响应时间较长，单用户600ms。原因：由于是采用zset做累计，导致在高并发大数据量压测的时候，zset的元素激增。通过对zset元素个数做了限制（上限500），解决此问题。...

过去三年有幸参与一家中型互联网金融企业从0-1的过程，作为并列第一位入职的员工，看着最多达到近600人员规模研发团队，其中学到很多、思考很多。如何赋能，如何提高团队生产率，执行力等等。...

上图中淡黄色部分提供了分库分表后的数据聚合及查询功能。问题1：为什么不选择MongoDBMongDB的二级索引必须全部要存储在内存中，如果内存 空间不够，会有一部分索引失效，导致查询慢；MongDB在数据量非常的大的时候，查询的速度没有ES快， 特别是在复杂多条件查询的时候，表现更为明显问题2：为什么不单独使用HBASEHBase在没有rowKey的查询条件下，要用过滤器对HBase表所有region的进行扫描，非常耗时，效率非的低，在有大量写的情况，查询的性能会更糟糕，当前的业务需求，是.

问题描述：近期测试环境偶发出现Connection Reset异常，不明原因。问题排查报错为connection reset 而不是connection reset by peer。说明服务端关闭了该链接，但是客户端还察觉，继续使用该链接发送数据，导致发生异常。查看客户端http代码方法connectionManager = new MultiThreadedHttpConnectionManager();connectionManager.getParams().setCon..

dokcer与虚拟机关系：docker只是管理容器生命周期的框架，通过下图你可以看到：K8S的主要工作：KBS与docker的关系：Openshift主要功能：Rucher的主要功能：Rancher与devops:参考如下：https://blog.51cto.com/blief/2386811抱歉还有部分图忘记出处，请作者多海涵。......

打开管理界面输入用户名密码启动虚拟控制台因为上一步插件类型选择java,下周java插件，启动插件的时候发生点小意外java1.8一直不能成功，下载1.7以后安装成功。启动控制台...

关系型数据库服务出现宕机现象，数据库异常重启，并且重启后数据库持续处于只读状态，直到DBA手动打开数据库读写状态，才恢复正常访问。经分析，主要原因如下：1、 当时故障前进行压力测试，QPS 28000，TPS 12800;审计插件(第三方开源插件MariaDB Audit Plugin)，导致数据库异常重启。MariaDB Audit Plugin采用sql审计的方式，将来的数据库审计可以采用旁...

通过git下载源码到本地。由于Conductor依赖于gradle编译，我们可以通过两种方式安装gradle.通过命令gradlew server自动下载，有点慢不建议。下载安装包，解压并配置环境变量到\bin目录问题。如果你有数据源为mysql的需求可以按如下进行更改。 public interface Configuration { String DB...

Gitlab docker部署使用外部自建mysql数据源1.安装mysqldocker run --name mysql5.7.22 -d --restart always \-p 3306:3306 \--env 'DB_NAME=gitlabhq_production' \--env 'DB_USER=gitlab' --env 'DB_PASS=password' \--vol...

ltrim后还是有空格存在CHAR(9)=>水平制表符char(10)=>换行建char(13)=>回车键具体用法如下：UPDATE items SET number = REPLACE(REPLACE(number, CHAR(9), ‘’), CHAR(13), ‘’);用replace把相应的水平制表、回车键替换为空字符串。...

在kylin中使用kafka streaming消费topic,消息的生成加密方式采用lz4算法,cube异常中断。 configMap.put(StreamsConfig.producerPrefix(ProducerConfig.COMPRESSION_TYPE_CONFIG), “lz4”);Error: java.lang.ClassNotFoundException: net.jp...

下载源码包 hadoop-branch-2.7.2.zip apache-maven-3.5.4-bin.zip protobuf-2.5.0.zip（hadoop 2.7.2指定需要）解压&设置环境变量path;例如我要调试yarn里面包含的DeletionService服务源码导入eclispe修改源码，取个易记的名称。 LOG.warn(“———–test———...

JNI 样例Java：文件  packageclass com_paxos_jni;    public class TestNativeCode{       //定义一个本地方法       public native void testJNI();       public static void main(String[] args){           //

第一步 下载&安装必备工具：ActivePerl_5.16.2.3010812913.msi bison-2.4.1-setup.exe boost_1_59_0.zip cmake-3.10.1-win64-x64.msi mysql-5.7.20.zip vs2015.com_chs.iso 1.说明：这里boost用 1_59_0是因为我编译的mysql是5.7.20，每个MYSQ

[mysql]prompt = [\\u@\\h][\\d]>\\_[mysqld]# basic settings #user = mysqlsql_mode = "STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION,NO_ZERO_DATE,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO

生产Redis内存碎片过高排查内存碎片率：used_memory_rss(33G)/used_memory(20G)=1.65，导致Redis实例所在虚机发出报警。生产环境：每日高达1600W次hmset写入操作，且value长短不一（有效期：24小时）；每日上述hmset写入操作对应的key是不一样的；网友总结：写负载高，尤其批量删除操作；存储的K-V值，长短不一，差异较大。综合解决方

查询操作InnoDb通过B+Tree聚集索引搜索时，只能找到该记录所在的索引页(index page)，而不能到具体的行记录。找到该索引页(index page)后将该页加载入内存。通过key在索引页(index page)的directory slots中进行二分查找（binary search），找到key对应的slot。因为slot是管理多条记录，普通的slot最少管辖4条,最多

kafka Streams学习牢记Kafka Streams是一个Java类库，不是一个流处理框架，这点和Strom等流处理框架有明显的不同什么是流？无边界（源源不断）数据集的抽象表示。为什么要用流式处理：面向数据流的响应式编程（RP Reactive Programming）已经越来越普及，响应式编程对于无边界数据处理更有优势。 流的特性：事件流...

原文地址：https://www.lightbend.com/blog/the-case-for-message-driven 本文转载采用谷歌翻译，存在不准确情况了解异步，非阻塞，并发，并行等等我一直在努力寻找一种有意义的方式来描述构建高效的响应式（Reactive）应用程序的核心概念 - 异步和非阻塞，同时通过增强并行性来最小化并发性并支持线性可伸缩性。即使是最有经验的开发人员也难...

本项目依赖spring boot 2.0,netty,mybatis,mysql,redis。https://github.com/mpren/ShaiZi- spring boot 2.0 - spring web - spring webflux - spring actuatorredisdocker pull redismkdir ...

先看我的yarn-site.xml配置 <configuration> <!-- Site specific YARN configuration properties --> <property> &

修改hadoop配置文件kylin访问异常 1.修改hadoop配置文件重启hadoop服务 2.重启完hadoop，需要重启hbase，个人经验要重启两次服务蔡靠谱，一次可能重启不成功。 3.还要再挨个节点重启kylin。Directory /usr/local/hadoop/tmp/dfs/name is in an inconsistent state: storage direc...

首先看一条kafka cube构建语句curl -X PUT –user ADMIN:KYLIN -H “Content-Type: application/json;charset=utf-8” -d ‘{ “sourceOffsetStart”: 0,”sourceOffsetEnd”: 9223372036854775807,”buildType”: “BUILD”}’ http://9...

打开kylin.sh文件，添加如下三行，并非走tomcat修改catalina.sh那一套。 -Dcom.sun.management.jmxremote.authenticate=false \ -Dcom.sun.management.jmxremote.port=10000 \ -Dcom.sun.management.jmxremote.ssl=false \...

打开{hadoop_home}/etc/hadoop/yarn-env.sh文件，文件最后添加三行。YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.authenticate=false”YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.port=10001”YARN_OP...

日志文件：2018-08-07 15:24:32,767 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.application.ApplicationImpl: Application application_1533624199682_0095 transitioned from NEW to INITING ...

错误：java.lang.NoSuchMethodException: com.product.impl.StandardServiceImpl.getTargetSource()at java.lang.Class.getMethod(Class.java:1605) [na:1.6.0_13]at com.googlecode.jsonplugin.JSONWriter