- 博客(17)
- 资源 (25)
- 收藏
- 关注
原创 四十岁找不到工作了写点开源软件防止老年痴呆
看到了自己八年前的总结,又一个八年过去,本来想写点什么总结一下最近这八年的经历。后来想想,算了吧。四十岁了,工作都找不到了。还总结什么呀。都这把年纪了,想想怎么养老吧。仔细一想,老年痴呆可能是老人年最可怕的事。这个得防呀。怎么防呢?据说想多动脑多动手多是个好办法。这个好办呀,写代码呀!真是老泪纵横呀,自己做了将近20年的码农了,终于可以凭自己的本事为自己做点点事了。 说干就干,还是以八年为限,开...
2019-08-02 10:02:54
486
原创 工作八年总结
好久没有写点东西了。这是2011年写的总结。原先是在JavaEye上发的,当时评论有不少。现在回来看看,当时写得还是那么回事。现在8年又过去了。是不是又该总结总结了呢?找时间再练练手~ ----------------------------------------------------------------------------------------------------------...
2011-08-27 16:09:53
277
原创 IT职场就像连续剧
在这家公司七年了,整整七年了,感觉自己真的很忠诚。 期间经历了两次的公司股东转换,一次大裁员,还有两次领导离职。 想当年刚进来时,团队只有5个人,然后急剧扩张,当我们正要往100人进发时,金融危机爆发了。公司要进行大裁员,我们不是正统,当然不能幸免,三分之一被砍掉了。 多年来,我们的一支独立团式的精锐部队,在打造着自己旗舰产品。最优秀的团队经过千锤百炼,终于使产品完善,甚至达到业界领先,这时...
2011-07-05 05:48:00
232
1
原创 以简化繁解决性能问题
最近系统出了一点问题。在客户那边,因为系统的用户规模的变大,历史数据变得特别大。十来天的数据就有上千万了。系统本身就是一个准实时系统,响应要求较高。但是有个数据库操作却需要化4分钟多。客户没法接受了。这个操作是通过一个存储过程来做的。模拟了一个环境,测试了一下,发现是其中的一个查询特别费时。 语句很简单:select count(*) into @totalCount from A...
2010-11-29 21:10:26
178
原创 最近在拜读‘老白’的Oracle优化日记,有点感慨
最近在读老白的Oracle优化日记,老白确是高人。 书写得不错,有点像在读小说。 同开发商和客户的交锋,确是激烈。 这也让我有些感慨。 做DBA,做优化的确实不易。特别在中国的大地上,面对众多急功近利做出来的系统。 想想自己也在做开发,也做优化,也做一些数据库的优化。有时也有点庆幸自己不用去面对那样的系统,去面对那样的开发商。也庆幸现在做的是整体解决方案。当系统出问题的时候,会先从...
2010-11-29 20:41:27
182
原创 mysql的子查询联合与in的效率
最近的产品测试发现一个问题,当并发数量小于10时,响应时间可以维持在100毫秒以内。但是当并发数到达30个时,响应时间就超过1秒。这太不能接受了,要求是通过1秒中并发100个。 经过检测发现,时间主要是耗在其中的一个存储过程中。把存储过程的语句一条一条的过一遍也没有发现明显的不合理。因为mysql本身不能提供毫秒级别的时间,google了一个mysql的能提供毫秒的时间函数,再做测试,做了一个定...
2010-10-21 22:17:34
301
原创 windows 2003下,oracle登陆失败。原来是域用户的问题
IT部门的人来找我,说有个windows 2003下的oracle起不来了。 我过去看,所有的oracle服务启动都很正常。但是sqlplus "/as sysdba"就是没法进入oracle的空闲历程,要不就是说没有权限,不然就是挂在那里没有什么响应,而cpu的使用率上升到100%。更改了所有的有关net方面的可能的设置,试了很多,还google了,都没有找到解决方法。半天都没有解决。真是奇怪...
2010-10-21 21:40:46
239
原创 common pool 导致CPU高
有个应用的CPU使用率很高,有时到100%,因为这个原因,产生连锁反应,最终系统宕掉。 检查应用的源码,发现其中使用了开源的common pool的对象池来管理对象。以前就知道这个开源包有些问题,但是看其中的使用,应该没有什么问题。自己也做了大量的实验也没有重现CPU高的问题。 再仔细分析找个应用发现一个特别的情况,pool的大小是1000,而访问这个pool的线程甚至能到达4000。(这么多...
2010-10-21 21:25:13
207
原创 ThreadPoolExecutor的corePoolSize和maximumPoolSize
按照JDK文档的描述, 如果池中的实际线程数小于corePoolSize,无论是否其中有空闲的线程,都会给新的任务产生新的线程 如果池中的线程数>corePoolSize and <maximumPoolSize,而又有空闲线程,就给新任务使用空闲线程,如没有空闲线程,则产生新线程 如果池中的线程数=maximumPoolSize,则有空闲线程使用空闲线程,否则新任务放入work...
2010-05-11 22:03:35
445
原创 原来可以这样优化数据量大时mysql中limit的查询
一直来,系统中总有几百万的数据,变态的QA总是要测试几十万页的翻页。对于Mysql来说,翻到几十万页之后,常规的查询的肯定会慢了。还好用户不会这样去用。只有QA才会提这种‘无礼’的要求。 对于查询: select * from table limit 1000000,20 当然会慢得不行了。 现在终于发现了,还可以这样改写: select * from table a,(s...
2010-05-09 00:01:17
144
原创 MySQL的一些性能测试
针对数据库引擎:MyISAM和InnoDB.做了一些性能测试和比较。包括有没有索引的情况下的比较。 主要是想证实一些性能问题。 数据量:6 Millions, 机器:dell 2950 1. alter from InnoDB to MyISAM: ----------------------------------------------------- ...
2010-05-08 17:24:22
135
原创 牺牲五一参加了ITPUB的oracle性能培训,值
牺牲了五一的三天时间,参加itpub的oracle性能优化的培训。一个字:值。 应领导的要求,找个有关oracle性能优化方面的培训。最后,发现itpub上的一个有关oracle性能方面的培训不错。讲师是itpub上有很有经验的oracle大拿斑竹,价格又便宜(太便宜公司了,才找了一个这么便宜的培训^_^)。唯一的缺点是要牺牲五一了,本来至少4天的课程,压到3天,累死了,一个超...
2010-05-08 16:23:56
115
原创 实现用response文件静态安装Oracle
首先得有一个response文件,这个文件可能从/staging/response中得到。当然还得做必要的修改。 可以根据需要做一些修改: RESPONSEFILE_VERSION=2.2.1.0.0 FROM_LOCATION="../stage/products.xml" ORACLE_HOME="/u01/app/oracle/product/10.1.0/db_1" ORACLE_HO...
2010-04-19 23:16:02
139
原创 用于高性能数据分析的开源数据库--monetDB
用于数据仓库和大规模数据分析的数据库不多,开源的更少了。基于mysql的数据库infobright是一款不错的数据库,可惜它的社区开源版短板不少,企业板也不便宜。monetDB是一款不错的开源数据库,它是面向列的存储模式,有很高的查询性能(比普通关系数据高20-100倍)。 monetdb提供的文档还是比较完备的,使用和编程的文档都有。 monetDB可以在windows和linux上安装。w...
2010-04-19 23:15:38
540
原创 原来要在Red Hat E5上用Python访问Mysql还得有几步要做
本来以为很容易的,想不到遇到了几个问题。 首先,安装MySQLdb模块时,出现没有setuptools的问题。去http://pypi.python.org/pypi/setuptools/下载了源码,装上了。 解决了第一个问题,再次安装MySQLdb,又出现问题了,没有mysql_config, 又去下了一个Mysql_devel安装。 都装好了,试试: import MySQ...
2010-04-09 18:46:09
135
原创 Mondrian 的数据源设置
最近在研究开源OLAP-Mondrian. 通常Mondrian中的数据源的默认设置都是JDBC字符串,如: Provider=mondrian;Jdbc='jdbc:mysql://localhost/foodmart';Catalog=/WEB-INF/queries/FoodMart.xml;JdbcDrivers=com.mysql.jdbc.Driver;JdbcUser...
2009-09-04 14:01:12
324
原创 面向列的mysql数据库引擎-BRIGHTHOUSE(infobright数据库)
brighthouse 是infobright 数据库的关键引擎。infobright 数据库是基于mysql的,它的设计主要是用于大规模的数据仓库和分析优化。可以去www.infobright.org下载开源社区版。 它的安装非常简单:解开了下载的gz包后,直接运行install-infobright.sh就ok了,在redhat5下安装基本没有遇到任何麻烦。 ...
2009-09-03 11:31:43
241
特征提取与图形处理
2019-07-25
数字图像处理(中)第三版
2019-07-25
图像处理、分析与机器视觉
2019-07-25
数字图像处理与机器视觉
2019-07-25
数据压缩导论第4版
2019-07-24
计算机视觉--算法与应用.pdf
2019-07-24
凸优化(全书签)
2018-05-18
Kubernetes权威指南第2版(全书签)
2018-05-18
统计推断第二版(中文版)
2018-05-18
概率论基础教程(中文)
2018-05-18
微分学教程第三卷
2018-05-18
微分学教程第二卷
2018-05-18
微分学教程第一卷
2018-05-18
Kubernetes权威指南第2版(高清扫描)
2018-05-03
PYTHON自然语言处理(中文文字版)
2018-05-03
集体智慧编程(扫描清晰版,完全标签)
2018-05-03
机器学习(TOM M.Mitchell 文字版)
2018-05-03
机器学习:实用案例解析-中文版(完整书签)
2018-05-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人