数据人生

    12月11号，有幸参加了在国家会议中心举行的”2010年中国软件技术大会“。这次会议有很多软件业界比较著名的牛人进行了演讲，主要涉及企业级云计算应用，软件工程新视角，企业级软件基础架构，商业智能与数据管理，Web与互联网应用最佳实践，安全与容灾等方面。     我主要选择学习了架构方面和web优化方面的内容。专家们在演讲中提到了代码工，也提到程序员主要分为两种：一种被程序玩，一种玩程序的。我的选择当然不能使被程序玩的。在架构方面听了三场讲座，内容主要总结如下。      SOA架构设计实践：SOA和

1，下载svn co http://code.taobao.org/p/datax2，安装根据服务器安装软件情况可能需要安装下面软件yum install antyum install gcc-c++进入rpm目录编译cd datax/trunk/rpmrpmbuild --ba t_dp_datax_engine.specrpmbuild --ba  t_dp_datax_hdfsreader.

用hadoop和hive有一段时间了，是我设计的基于hive的数据仓库架构，对于处理互联网日志比较合适

1 选择两个服务器，分别作为主备数据库2 登陆到服务器， yum install mysql ;yum install mysql-server;                                   GRANT  REPLICATION SLAVE,REPLICATION CLIENT on *.* to repl@'192.168.119.%' identified by '12

一．系统吞度量要素：  一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。单个reqeust 对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间        QPS（TPS）：每秒钟request/事务 数量        并发数： 系统同时处理的request/事务数  

1，下载https://github.com/killme2008/Metamorphosis/tree/metamorphosis-all-1.4.6.2，如果不想自己编译可以直接下载http://fnil.net/downloads/index.html，我这里选择自己编译，主要是以后如果出现问题自己可以修改其源码，重新编译2，maven编译,maven环境自己搜索配置好，下载all项目后需要

QPS每秒查询率(Query Per Second)每秒查询率QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准，在因特网上，作为域名系统服务器的机器的性能经常用每秒查询率来衡量。术语说明：QPS = req/sec = 请求数/秒【QPS计算PV和机器的方式】QPS统计方式 [一般使用 http_load 进行统计]QPS = 总请求数 / ( 进程总数 * 请求时间 )QPS:

下面配置包含了，nginx配置的一个比较全面的反向代理的例子：user www wwwworker_processes 8;events { use epoll; worker_connections 10240;}pid /opt/work/log/nginx.pid;error_log /dev/null error;

每次参加完技术交流的会议，都有不少的收获和感触，在这里show一下，等有空的时候再后头看看。       今天下午的技术交流是关于数据分析这块的，正好和我目前方向比较吻合，所以收获不小，使我明晰了接下来公司数据分析技术的方向，在技术方面需要优化和开发的工作。多维度的大数据实时数据计算现在对我们算是一个挑战；还有应对各业务线，产品人员，领导的即时性的数据需求能不能有个对外接口，为

昨天下午参加了一个百度技术沙龙的活动，主要讲的是云计算方面的东西，百度现在也在搞这么一个平台，类似于google app engine ，他们叫做baidu app engine，不过现在还不够成熟，所以还没有开放使用，在内部已经把多个项目迁移到上面。      后面新浪的s

在经历了长达25年的统治地位后，关系型数据库正面临越来越火的“NoSQL”挑战，而挑战者是以Hadoop为代表的分布式计算开源架构。可以看到，越来越多的消息表明，不管NoSQL是被解释为“No SQL”还是“Not Only SQL”，如果你面临海量数据的挑战，那么你最应该选的海

Ice 出自ZeroC名门之下 ， Ice 是一种面向对象的中间件平台。从根本上说，这意味着Ice 为构建面向对象的客户－服务器应用提供了工具、API 和库支持。Ice 应用适合于异构平台环境中使用：客户和服务器可以采用不同的编程语言，可以运行在不同的操作系统和机器架构上，并且可

本文接上篇博文《ICE通信框架》如果你还没有接触过ice请先阅读我的上篇博文http://blog.youkuaiyun.com/liuzhoulong/archive/2011/03/04/6223450.aspx本文将结合实际项目，做一个基于ice的实际项目实例应用,该实例完成客户端调用服务端接口完成消息发送，计算的功能。1，创建java项目ICEServer，导入ice.jar.2,在项目下创建slice文件夹，编写model.ice,service.ice,service2.ice文件，其内容如下model.i

<br />周六的S2 Web 2.0技术沙龙上介绍了memcache中使用mutex场景(文后有演讲稿)，有网友对详情感兴趣，简单介绍如下。场景<br />Mutex主要用于有大量并发访问并存在cache过期的场合，如首页top 10, 由数据库加载到memcache缓存n分钟微博中名人的content cache, 一旦不存在会大量请求不能命中并加载数据库需要执行多个IO操作生成的数据存在cache中, 比如查询db多次问题<br />在大并发的场合，当cache失效时，大量并发同时取不到cache，会

当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。　　为了帮助大家更好深入了解大数据，云