
其他
wabinog
中国民航信息网络股份【2008 - 2014】
国家信息技术安全研究中心【2014 - Now】
从业民航信息化、信息安全领域,核心程序员,擅长大数据、JAVA后端、多线程高并发、JVM调优、网络编程、REDIS、ORACLE......持PMP 、NPDP证书。
展开
-
小记一次海量数据实时查询域名库设计(下)
二. WHOIS库设计根据WHOIS数据查询业务场景、响应性能等需求,该库采用Hbase + ES 技术组合设计,其中HBASE存储全量WHOIS数据,ES库作为查询索引库,只存储查询WHOIS数据时的索引项数据。当提交一条查询请求时,首先从ES库中利用索引检索出记录的唯一键【_id】,再使用该唯一键从Hbase中查询出全量数据。HBASE库配置:同PDNS库设计中HBASE配置。ES库配置:7服务器集群【与HBASE共用硬件服务器】,JDK版本1.8,单节点JVM堆内存固定为12G。2.1 WHO原创 2020-09-01 11:49:26 · 714 阅读 · 0 评论 -
小记一次海量数据实时查询域名库设计(上)
一.PDNS库设计根据前期调研及技术选型,基于第三方外部PDNS数据,开发导入程序,完成构建基于Hadoop HBASE的PDNS实时数据查询系统,系统平台采用8台4U服务器组成Hadoop集群。服务器配置为:Xeon Silver 4110 @2.1Ghz,128G内存,24*2T硬盘。HDFS块大小:256MBHbase Region大小:10GB其他为默认配置。库设计主要考虑点说明:高并发。无高并发需求,不存在该场景,HBASE的RowKey设计时不需要考虑Key值散列程度。实原创 2020-09-01 11:39:15 · 698 阅读 · 0 评论 -
互联网常用参数(持续更新......)
常用参数概念TPS(Transaction Per Second)每秒事务数,作为压测指标或衡量高峰业务量忽悠投资人。这个事务的概念比较宽泛,事务可以是执行了DML操作, 也可以是一次业务访问对应的一次DB事务,可以是一次业务请求对应的后台一系列复杂事务,主要看你怎么划分粒度、怎么定义比较合理。QPS(Query Per Second)每秒查询次数,同上…。可以对应一个HTTP REQUEST,一个后台Select操作,相对TPS对应的操作比较纯粹。RT(Response Time)服务响应时间原创 2020-06-21 17:39:45 · 494 阅读 · 0 评论