- 博客(13)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 centos安装mysql
yum list mysql yum install mysqlyum list mysql-server 启动服务service mysqld start /etc/init.d/mysqld start mysql -u root -p /etc/init.d/mysqld stop修改密码 mysqladmin -uroot -p pa
2014-04-10 14:50:03
692
原创 Permission denied, please try again)
编辑/etc/ssh/sshd_config文件，确认以下设置：PasswordAuthentication yes
2014-01-14 00:41:11
1603
原创 hadoop提升性能总结
1 CombineFileinputFormat (预处理阶段) 或尽量使用大文件2 Combine(map输出阶段)3 压缩数据(map输出阶段)，减少传往reduce的阶段的网络传输,内存和磁盘交换4 数据过滤(写hdfs之前)5 Comparator(复杂数据， Reduce阶段)以上纯纯个人观点
2013-03-18 17:45:06
802
原创 hadoop性能测试
从搭建hadoop环境到测试完成大概用了8,9天的时间，总的来说，hadoop上手还是比较容易的，只是内部确实有点复杂。测试环境部署用了22台机器，CPU 16核，感觉有点浪费。日志每分钟往hdfs写600M的log，每五分钟提交一次hadoop任务，大概一个任务处理2G多点的文件，测试结果，到reduce 完成时间大概是1分9- 1分30秒之间，大概是开了90多个map, 这在以前pc上
2013-03-17 22:27:26
1686
原创 第一次写java程序
没有看书，直接写的代码， 感觉入门还很容易。总共1个小时左右写了第一个程序，写了个多线程随即生成内容写入文件，文件总大小10G左右， 准备放到HADOOP环境去测试下不同 Reduce配置下的效率。将来一段时间可能java用的比较多， 以后有时间还得看下语法。
2013-03-08 22:59:09
797
原创 安装hadoop
花费了差不多一天的时间，安裝好了hadoop环境，一台服务器作为master, 三台作为dataNode ,测试了官方的demo，可以正确运行。哪天有时间再来总结, 解决问题http://blog.sina.com.cn/s/blog_575b0ca501016z6i.htmlhttp://www.cnblogs.com/wly603/archive/2012/
2013-03-06 17:32:11
697
原创 python调用Google Protocol Buffer
下载地址：http://code.google.com/p/protobuf/downloads/list安装命令tar -xzf protobuf-2.5.0.tar.gz cd protobuf-2.5.0 ./configure --prefix=$INSTALL_DIR make make check make install 然
2013-02-28 09:30:19
5298
原创 解决zlib 找不到
解决办法重新编译一下Python源码安装包，如下： 1 tar jxvf Python-2.7.3.tar.bz2 2 cd Python-2.7.3/ 3 ls 4 sudo ./configure 5 gvim Modules/Setup 6 sudo gvim Modules/Setup 在这里把4
2013-02-26 17:21:23
3125
原创 安装pika
下载地址 https://pypi.python.org/packages/source/p/pika/pika-0.9.9.tar.gz#md5=5737fe84209a4df81fe4cff4052793dasudo python setup.py install安装中出现错误ImportError: No module named setuptoolswget htt
2013-02-26 17:15:11
1951
原创 浑浑噩噩地了过了2012年。
一年基本没什么事，技术也没什么长进，对做技术也没什么感觉了，特别怀念以前搞DELPHI的时候没事就看看VCL源代码觉得还蛮享受的，钱也没赚到什么钱，家里亲人也有去世，想想也蛮无奈的，自己年纪大了， 想的事情也比较多，一直都是处于患得患失的状态， 不像以前做什么都信心满满的。感觉还是自己太浮躁了点，总想找个更高的起点。新的一年也没什么大的打算，只希望身体好点，自己和家人都平平安安，抓住机
2013-01-27 23:05:36
500
原创 LINUX的日子
以前从来没搞过LINUX的， 突然这么下有点转不过来。让同事帮忙搭的开发环境，发现这个项目要研究的东西真够多的， Redis，hadoop 都去简单研究了下， hadoop 好像不是很我们这样的高性能服务器，不过可以多开虚拟机来替代， 但是内存又怕不够， 主要项目要处理的数据量比较大，差不多10T左右。另外以前不懂python 也简历看了下。中间又花了2个星期左右时间研究了C++ ST
2012-10-31 14:42:50
494
根据服务名取进程ID
2010-01-25
Detours 2.1
2010-01-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人