cs123dn_ll的专栏

1.电商案例原因分布式大型网站，目前看主要有几类：1.大型门户，比如网易，新浪等；2.SNS网站，比如校内，开心网等；3.电商网站：比如阿里巴巴，京东商城，国美在线，汽车之家等。大型门户一般是新闻类信息，可以使用CDN，静态化等方式优化，开心网等交互性比较多，可能会引入更多的NOSQL，分布式缓存，使用高性能的通信框架等。电商网站具备以上两类的特点，比如产品详情可以采用CDN，...

设计理念1 时间换空间1.1 多级缓存，静态化客户端页面缓存（http header中包含Expires/Cache of Control，last modified(304，server不返回body，客户端可以继续用cache，减少流量)，ETag），反向代理缓存，应用端的缓存(memcache)，内存数据库，Buffer、cache机制（数据库，中间件等）。1.2 索引...

微信服务商的分账功能总结概要基于官方文档：服务商分账接口文档，根据我们自身的需求开发功能。此文为开发后的总结和思考。分析文档先搞清楚官方接口能干嘛，不能干嘛。一、能干（的功能）1. 角色服务商 子商户（特约商户）2. 开通分账（服务商联系运营开通产品白名单后，才可在产品中心看到此功能）开通流程文档里已经很详细了。只要一步步按着操作就 ok 。简单总结就是服...

中文分词一直都是中文自然语言处理领域的基础研究。目前，网络上流行的很多中文分词软件都可以在付出较少的代价的同时，具备较高的正确率。而且不少中文分词软件支持Lucene扩展。但不管实现如何，目前而言的分词系统绝大多数都是基于中文词典的匹配算法。 在这里我想介绍一下中文分词的一个最基础算法：最大匹配算法 (Maximum Matching，以下简称MM算法) 。MM算法有两种：一种正向

IK Analyzer是基于lucene实现的分词开源框架，下载路径:http://code.google.com/p/ik-analyzer/downloads/list需要在项目中引入：IKAnalyzer.cfg.xmlIKAnalyzer2012.jarlucene-core-3.6.0.jarstopword.dic什么都不用改示例

Tocmat集群中最重要的交换信息就是会话消息，对某个tomcat实例某会话做的更改要同步到集群其他tomcat实例的该会话对象，这样才能保证集群所有实例的会话数据一致。在tribes组件的基础上完成这些工作就相当容易些，tribes是tomcat实现的一个通信框架。如下图，tomcat实现会话同步的过程中大致会使用如下组件，现在假设中间的tomcat实例的会话改变了，它会通过会话管理器M

本篇文章是关于我在学习Spark过程中遇到的一些问题及总结，分为Spark优化、RDD join问题、遇到的问题、总结、参考资料几个部分。 一：Spark优化 1、设置序列化器为KryoSerializer 　　Spark默认使用的是Java序列化机制，但是Spark也支持使用Kryo序列化库，Kryo序列化机制比Java序列化机制性能高10倍左右  2、压缩机制 　　如果

绝大部分情况，使用缓存对效率提升来说是一个非常大的性能提升，但在这种性能提升的背景，缓存数据是否有效，能否支持通知更新，缓存是否支持集群分布式这些问题是作为系统设计环节中必须要考虑的。         大家知道，ibatis对oscache提供了很好的支持，在更新刷新缓存，支持集群方面做的还算是令人满意。平时开发过程中也会遇到一些非SQL查询缓存需求，如登录用户部分登录处理过后信息需要能够

问题：1)当大型网站系统>10万人一个小时内，会跟数据库交互10万次（国内有京东，淘宝），这就会出现数据库瓶颈，每个数据库最大连接数（socket）2000在某一段短暂时间内1万人，会跟数据库发生1万次交互，2000-8000【30秒】 5000 30002000个用户很快就可以到页面5000个用户访问页面比较慢还有3000个用户会提示超时/服务器出现例外这

Caused by: java.sql.SQLException: We are already in the process of making 11 connections and the number of simultaneous builds has been throttled to 10情况一但是我的最大值都是120了，是非常大的，不知道怎么回事提示了一个10，经过查询s

PermGen space的全称是Permanent Generation space,是指内存的永久保存区域OutOfMemoryError: PermGen space从表面上看就是内存益出，解决方法也一定是加大内存。说说为什么会内存益出：这一部分用于存放Class和Meta的信息,Class在被 Load的时候被放入PermGen space区域，它和和存放Instance的Heap区域不同