
大数据
文章平均质量分 91
houzhanwublog
本博客只代表个人想法,不代表任何组织和个人,如有错误请大家及时指出,欢迎大家学习指导,共同交流,共同进步!!!最后一句哈,点关注不迷路,哈哈哈
展开
-
数据库连接池优化 HikariCP
我在研究HikariCP(一个数据库连接池)时无意间在HikariCP的Github wiki上看到了一篇文章(即前面给出的链接),这篇文章有力地消除了我一直以来的疑虑,看完之后感觉神清气爽。故在此做译文分享。接下来是正文数据库连接池的配置是开发者们常常搞出坑的地方,在配置数据库连接池时,有几个可以说是和直觉背道而驰的原则需要明确。1万并发用户访问想象你有一个网站,压力虽然还没到Facebook那个级别,但也有个1万上下的并发访问——也就是说差不多2万左右的TPS。那么这个网站的数据库连接池转载 2021-06-02 13:47:15 · 3791 阅读 · 0 评论 -
开源软件平台监控模块设计
我们谈到监控,一般设计到两个方面的内容: 服务器本身的监控。(比如:linux服务器的CPU,内存,磁盘IO等监控) 业务系统的监控. (比如:业务系统性能的监控,SQL语句的监控,请求超时 的监控,用户输入的监控,整个请求过程时间的监控,优化等等) # 服务器本身的监控说明:由于Java开源生鲜电商平台采用的是阿里云的linux CentOS服务器,由于阿里云本身是有监控预警的,但是我们不可能时刻去看,最好有集成自己的系统监控,最终在各种系统对比的过程中,选择了netdata这个.转载 2020-10-10 10:32:59 · 537 阅读 · 0 评论 -
大数据系列之-初出茅庐
技术栈全貌大数据平台技术栈下面自底向上介绍各个层的主要项目。1 采集层和传输层采集层 Sqoop 在hadoop和关系型数据库之间转换数据。 Flume Flume是一个分布式的高可用的数据收集、聚集和移动的工具。通常用于从其他系统搜集数据,如web服务器产生的日志,通过Flume将日志写入到Hadoop的HDFS中。Flume Canal 数据抽取是 ETL 流程的第一步。我们会将数据从 RDBMS 或日志服务器等外部系统抽取至数据..原创 2020-09-27 09:21:07 · 188 阅读 · 0 评论