BlackhorseMe的专栏

性能优化——解决Spark数据倾斜" />http://www.jasongj.com/spark/skew/

参考利用Protobuf在灵活数据定义、高性能的序列化/反序列化、兼容性上的优势，以及Thrift在传输上的成熟实现，将两者结合起来使用，是不少互联网公司的选择。

http://mp.weixin.qq.com/s/_2sNm7TkVTL8t3B4Mf-ycg

http://shiyanjun.cn/archives/325.htmlDubbo使用场景   分布式系统所依赖的基础设施包括服务框架、消息中间件、数据访问中间件、配置中心、分布式缓存系统、持久化存储(关系数据库、nosql数据库)、搜索引擎、CDN网络、负载均衡系统、运维自动化系统、硬件虚拟化及镜像管理系统、分布式文件系统、日志收集系统、监控系统、离线计算、实时计算、数据仓库等等。

参考【常见方法：类snowflake算法】snowflake是twitter开源的分布式ID生成算法，其核心思想是：一个long型的ID，使用其中41bit作为毫秒数，10bit作为机器编号，12bit作为毫秒内序列号。这个算法单机每秒内理论上最多可以生成1000*(2^12)，也就是400W的ID，完全能满足业务的需求。借鉴snowflake的思想，结合各公司的业务逻辑和并发

http://jm.taobao.org/2017/02/09/20170209/处理事务的常见方法处理事务的常见方法有排队法、排他锁、读写锁、MVCC等方式，下面来一一解析。单线程处理方式在内存的情况是效率是最优的（在Redis中，如果数据全部在内存中，则单线程处理所有Put、Get操作效率最高）。在设计系统时，面对磁盘、网络、SSD等慢速设备必须考虑使用多线程。事务的调优原

http://jm.taobao.org/2017/01/26/20170126/前言通过简单回顾阿里中间件(Aliware)消息引擎的发展史，本文开篇于双11消息引擎面临的低延迟挑战，通过经典的应用场景阐述可能会面临的问题-响应慢，雪崩，用户体验差，继而交易下跌。为了应对这些不可控的洪峰数据，中间件团队通过大量研究和实践，推出了低延迟高可用解决方案，在分布式存储领域具有一定的普

http://mp.weixin.qq.com/s/PVUgIccOkJ-zgstRginlxg

http://jm.taobao.org/2011/12/07/1349/

solr整合中文分词IKAnalyzer

如何实施异构服务器的负载均衡及过载保护？

朋友圈推荐广告从0开始做系统推荐从0开始做垂直O2O个性化推荐-以58到家美甲为例

参考搜索架构      文字很多，有宏观，有细节，对于大部分不是专门研究搜索引擎的同学，记住以下几点即可：（1）全网搜索引擎系统由spider，search&index，rank三个子系统构成（2）站内搜索引擎与全网搜索引擎的差异在于，少了一个spider子系统（3）spider和search&index系统是两个工程系统，rank系统的优化却需要长时间的调优和积累（

memcache分布式缓存https://rc.mbd.baidu.com/t7axut7http://book.51cto.com/art/201310/412854.htm分布式缓存出于如下考虑，首先是缓存本身的水平线性扩展问题，其次是缓存大并发下的本身的性能问题，再次避免缓存的单点故障问题(多副本和副本一致性)。分布式缓存的核心技术包括首先是内存本身的管理问题，包括了内存的分配，管

http://lib.youkuaiyun.com/article/16/55344?knId=423

原理http://blog.youkuaiyun.com/u013573133/article/details/48245831框架 http://blog.youkuaiyun.com/u013573133/article/details/48245901demo http://blog.youkuaiyun.com/u013573133/article/details/482463511. 建立索引为了简单起见，

http://blog.youkuaiyun.com/u013573133/article/details/48240629【常见方法一：使用数据库的 auto_increment 来生成全局唯一递增ID】优点：（1）简单，使用数据库已有的功能（2）能够保证唯一性（3）能够保证递增性（4）步长固定缺点：（1）可用性难以保证：数据库常见架构是一主多从+读

参考技术领域，我觉得了解来龙去脉，了解本质原理，比用什么工具实现更重要：（1）进程多线程如何互斥？（2）一个手机上两个APP访问一个文件如何互斥？（3）分布式环境下多个服务访问一个资源如何互斥？归根结底，是利用一个互斥方能够访问的公共资源来实现分布式锁，具体这个公共资源是redis来setnx，还是zookeeper，相反没有这么重要。 言归

参考五、总结由于数据库层面的读写并发，引发的数据库与缓存数据不一致的问题（本质是后发生的读请求先返回了），可能通过两个小的改动解决：（1）修改服务Service连接池，id取模选取服务连接，能够保证同一个数据的读写都落在同一个后端服务上（2）修改数据库DB连接池，id取模选取DB连接，能够保证同一个数据的读写在数据库层面是串行的 六、遗留问题提问

参考一、什么是高可用高可用HA（HighAvailability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是100%。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。很多公司的高可用目标是4个9，也就是99.99%，这就

http://blog.youkuaiyun.com/mary881225/article/details/654436462016Qcon北京，业务核心架构场，《58到家通用实时消息平台架构细节》。一、解决什么问题 + 难点解决什么业务问题（1）端到云的实时上报需求：58速运司机端GPS实时上报（2）云到端的实时推送需求：58速运司机订单实时推送（3）端到端的聊天消息需

参考Java实现简单的RPC框架RPC框架性能基本比较测试《深入篇》我们主要围绕 RPC 的功能目标和实现考量去展开，一个基本的 RPC框架应该提供什么功能，满足什么要求以及如何去实现它？RPC 功能目标RPC的主要功能目标是让构建分布式计算（应用）更容易，在提供强大的远程调用能力时不损失本地调用的语义简洁性。为实现该目标，RPC框架需提供一种透明调用机制让使用者不必显

http://mp.weixin.qq.com/s/TMFEhSNJiPyAXLvacyPJVw