senvil的专栏

1. JVM参数大全  Behavioral Options（行为参数） Option and Default Value Description -XX:-AllowUserSignalHandlersDo not complain if the application installs signal handlers. (Relevant t

查看linux的服务，可以关闭不必要的服务ntsysv停止打印服务#/etc/init.d/cups stop#chkconfig cups off关闭ipv6#vim /etc/modprobe.conf添加内容alias net-pf-10 offalias ipv6 off调整文件最大打开数查看： ulimit -a  

NoSQL现在风生水起，hbase的使用也越来越广，但目前几乎所有的NoSQL产品在运维上都没法和DB相提并论，在这篇blog中来总结下我们在运维hbase时的一些问题以及解决的方法，也希望得到更多hbase同行们的建议，:)在运维hbase时，目前我们最为关注的主要是三大方面的状况：1. Cluster load；2. 读写；3. 磁盘空间。1. Cl

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第三部分内容：读表操作相关的优化方法。3. 读表操作3.1 多HTable并发读创建多个HTable客户端用于读操作，提高读数据的吞吐量，一个例子：staticfinal Configuration

mysql优化1.  设置高速缓存1.1.  设置高速缓存1.1.1.  查看高速缓存是否可用SHOW VARIABLES LIKE ‘have_query_cache’;1.1.2.  设置和查询高速缓存大小SET GLOBAL query_cache_size = 41984;SHOW VARIABLES LIKE ‘query_cache_size’;+---

hive优化1.  设置文件数、最大返回行使用简单limit抽样数据时是否开启优化选项，默认是falseset hive.limit.optimize.enable=true ;使用limit做数据的子集查询时保证的最小行数据量，默认是100000set hive.limit.row.max.size=1000000;使用简单limit查询数据子集时，可抽样的最大文件数，默

一个Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对M/R中单个步骤的优化，针对M/R全局的优化，和针对整个查询（多M/R job）的优化，下文会分别阐述。在开始之前，先把MR的流程图帖出来（摘自Hadoop权威指南），方便后面对照。另外要说

基本使用    如下面这个shell脚本：    #Oracle的连接字符串，其中包含了Oracle的地址，SID,和端口号    CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2    #使用的用户名    ORACLENAME=kkaa    #使用的密码    ORACLEPAS

本文转载自淘宝网BlueDavy同学的博客，文章基于淘宝对HBase的大量应用，给出了一个HBase的随机读写性能测试结果，对测试环境、配置及性能参数分析都有较详细的描述，推荐给各位NoSQL Fans。根据最近生产环境使用的经验，更多的项目的采用，以及采用了更加自动的测试平台，对HBase做了更多的场景的测试，在这篇blog中来分享下纯粹的随机写和随机读的性能数据，同时也分享下我们调

HBase 性能优化1.   修改Linux最大文件数Linux系统最大可打开文件数一般默认的参数值是1024，如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误，导致整个HBase不可运行查看： ulimit -a    结果：open files (-n) 1024临时修改： ulimit -n 4096