- 博客(7)
- 收藏
- 关注
转载 HBase性能优化方法总结
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,这里涉及的不多,这部分可以参考:淘宝Ken Wu同学的博客。1. 表的设计1.1 Pre-Creating Regions默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个regio
2017-09-25 08:28:05
314
转载 【HBase调优】Hbase万亿级存储性能优化总结
【HBase调优】Hbase万亿级存储性能优化总结背景:HBase主集群在生产环境已稳定运行有1年半时间,最大的单表region数已达7200多个,每天新增入库量就有百亿条,对HBase的认识经历了懵懂到熟的过程。为了应对业务数据的压力,HBase入库也由最初的单机多线程升级为有容灾机制的分布式入库,为及早发现集群中的问题,还开发了一套对HBase集群服务和应用全面监控的报警系统。总结
2017-09-25 08:22:20
577
转载 WebCollector 网页爬虫
爬虫简介:WebCollector 是一个无须配置、便于二次开发的 Java 爬虫框架(内核),它提供精简的的 API,只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop 是 WebCollector 的 Hadoop 版本,支持分布式爬取。
2017-09-23 09:48:22
791
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人