数据人生

  大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯 这样的一些涉及到海量数据的公司经常会问到。 下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点：

ImageMagick是一个免费的创建、编辑、合成图片的软件。它可以读取、转换、写入多种格式的图片。图片切割、颜色替换、各种效果的应用，图片的旋转、组合，文本，直线，多边形，椭圆，曲线，附加到图片伸展旋转官网描述 http://www.imagemagick.org/script/index.php        ImageMagick® is a software suite to create

1.ll /dev/sd* 查看硬盘设备看到/dev/sdb12,例如挂载/data1盘，根目录下创建/data1目录编辑/etc/fstab追加如下/dev/sdb1  /data1 ext3 noatime,acl,user_xattr 1 23,执行mount -a4，df -h 或者cat /proc/mounts查看挂载情况

互联网行业瞬息万变，产品层出不穷，在移动互联网盛行的今天，一款互联网产品诞生变得更加容易。一款互联网产品到底是以快制胜还是精品制胜呢？        每个人的理解不同，答案也不尽相同，市场运营人员可能更关注市场占有率，所以出产品一定要快，一个产品的孵化过程太长，很可能失去占领市场的机会，而被其他公司先打入市场，错失互联网行业先入为主的优势。技术产品人员可能更关注产品的细节，能不能做出一个精品往往是

ReviewBoard是一款开源的代码review工具，包括服务器端程序（reveiwboard）和客户端命令行（RBTools）。用户可以通过RBTools的一些列命令在客户端提交request,但是使用和安装都有很多不便。Tao-ReviewBoard是淘宝开发的基于eclipse的reviewboard插件，能很好的解决安装和使用的问题。这个插件已经在淘宝使用近一年，现把工具开源，希望有更多

2011年11月26有幸受邀参加了csdn组织的TUP 大数据大会，小小的总结一下。          这次会议是在三元桥附近举行，参会人员很多，大会主要议题是大数据处理方面的技术，主要技术涉及hadoop,nosql等海量数据处理技术。上午涉及议题主要内容：           HCE,批量计算mapreduce,MPI            Redis应用           R语言

摘要：在IT领域，左脑型的思想者具有优势。不过，根据Alan Norton的观察，他们并非完美无缺。 普通人也许会把IT视为极客之家。而我则更喜欢把IT看做分析型思想家的王国。分析型思想者，或者叫做左脑思想者，是直线型的思想者。逻辑而非感情统治着分析者的领地。不擅与人打交道

昨天下午参加了一个百度技术沙龙的活动，主要讲的是云计算方面的东西，百度现在也在搞这么一个平台，类似于google app engine ，他们叫做baidu app engine，不过现在还不够成熟，所以还没有开放使用，在内部已经把多个项目迁移到上面。       后面新浪的s

<br />东芝又要写报告了，本季度报告监测工具换成了 Google Analytics ，以解决Webtrends一些数据缺失问题，但是数据差异真的很大，之前在首都机场的数据分析上也有类似的问题，在两套工具转换时，数据的差异是个不得不面对的困难，就看如何去说服客户了。<br />实际上网站分析无外乎两种形式，一种是Server Log 就是俗称的网站日志分析，另一种则是Page Tag俗称埋代码方式，这两种数据分析从数据取得上存在相当大的差异，随之产生了两种数据上的差异，总的来说Server Log 一定

1. 安装maven，http://maven.apache.org/download.html下载apache-maven-2.2.1-bin.zip, 解压到本地，在环境变量中设置M2_HOME并且在path中追加%M2_HOME%/binDos下运行mvn -version添加成功，注意jdk必须是1.5以上。2. myeclipse中集成maven   选择Windows>preferences出现弹出界面选择maven4Myeclipse按照上图选择右侧第二个复选框。点击展开maven4Myecl

做数据分析，不光要会编程，基本的excel也得会两手。这样可以大大提高工作效率。例如下面：vlookup匹配：=VLOOKUP(A2,I:J,2,FALSE)=VLOOKUP(B2,L:M,2,FALSE)去重求个数=SUMPRODUCT(1/COUNTIF(C2:C7,C2:C7))求和=SUM(D2:D7)求均值，四射五入=ROUND(B11/C11,2)求均值，并做异常处理=IFERROR(...