
大型网站核心技术
enlyhua
这个作者很懒,什么都没留下…
展开
-
3.RESTful Web APIs中文版 --- 资源和表述
资源和表述原创 2021-03-31 14:23:58 · 277 阅读 · 0 评论 -
1.RESTful Web APIs中文版 --- 网上冲浪
1.2.原创 2021-03-29 14:22:24 · 283 阅读 · 0 评论 -
12.这就是搜索引擎:核心技术详解 --- 搜索引擎发展趋势
12.1 个性化搜索 12.2 社会化搜索 12.3 实时搜索 12.4 移动搜索 12.5 地理位置感知搜索 12.6 跨语言搜索 12.7 多媒体搜索 12.8 情境搜索...原创 2020-09-13 16:06:04 · 819 阅读 · 0 评论 -
11.这就是搜索引擎:核心技术详解 --- 搜索引擎缓存机制
11.1 搜索引擎缓存系统架构 11.2 缓存对象 11.3 缓存结构 11.4 缓存淘汰策略(Evict Policy) 11.4.1 动态策略 11.4.2 混合策略 11.5 缓存更新策略(Refresh Policy)...原创 2020-09-13 15:51:09 · 587 阅读 · 0 评论 -
10.这就是搜索引擎:核心技术详解 --- 网页去重
10.1 通用去重算法框架 10.2 Shingling算法 10.3 I-Match算法 10.4 SimHash算法 10.4.1 文档指纹计算 10.4.2 相似文档查找 10.5 SpotSig算法 10.5.1 特征抽取 10.5.2 相似文档查找 ...原创 2020-09-13 15:39:13 · 696 阅读 · 0 评论 -
9.这就是搜索引擎:核心技术详解 --- 用户查询意图分析
9.1 搜索行为及其意图 9.1.1 用户搜索行为 9.1.2 用户搜索意图分类 9.2 搜索日志挖掘 9.2.1 查询会话(Query Session) 9.2.2 点击图(Click Graph) 9.2.3 查询图(Query Graph) 9.3 相关搜索 9.3.1 基于查询会话的方法 9.3.2 基于点击图的方法 9.4 查询纠错 9.4.1 编辑距离(Edit Distance) 9.4.2 噪声信道模型(Noise Cha.原创 2020-09-13 15:27:43 · 1665 阅读 · 1 评论 -
8.这就是搜索引擎:核心技术详解 --- 网页反作弊
8.1 内容作弊 8.1.1 常见内容作弊手段 8.1.2 内容农场(Content Farm) 8.2 链接作弊 8.3 页面隐藏作弊 8.4 Web 2.0作弊方法 8.5 反作弊技术的整体思路 8.5.1 信任传播模型 8.5.2 不信任传播模型 8.5.3 异常发现模型 8.6 通用链接反作弊方法 8.6.1 TrustRank算法 8.6.2 BadRank算法 8.6.3 SpamRank 8.7 专用链接反作弊技术 .原创 2020-08-26 16:58:03 · 915 阅读 · 0 评论 -
7.这就是搜索引擎:核心技术详解 --- 云存储与云计算
第7章 云存储与云计算 7.1 云存储与云计算概述 7.1.1 基本假设 7.1.2 理论基础 7.1.3 数据模型 7.1.4 基本问题 7.1.5 Google的云存储与云计算架构 7.2 Google文件系统(GFS) 7.2.1 GFS设计原则 7.2.2 GFS整体架构 7.2.3 GFS主控服务器 7.2.4 系统交互行为 7.3 Chubby锁服务 7.4 BigTable 7.4.1 BigTable的数据模型 .原创 2020-08-06 19:18:35 · 841 阅读 · 0 评论 -
6.这就是搜索引擎:核心技术详解 --- 链接分析
第6章 链接分析 6.1 Web图 6.2 两个概念模型及算法之间的关系 6.2.1 随机游走模型(Random Surfer Model) 6.2.2 子集传播模型 6.2.3 链接分析算法之间的关系 6.3 PageRank算法 6.3.1 从入链数量到PageRank 6.3.2 PageRank计算 6.3.3 链接陷阱(Link Sink)与远程跳转(Teleporting) 6.4 HITS算法(Hypertext Induced Topic.原创 2020-06-05 18:09:05 · 1161 阅读 · 0 评论 -
5.这就是搜索引擎:核心技术详解 --- 检索模型与搜索排序
5.1 布尔模型(Boolean Model) 5.2 向量空间模型(Vector Space Model) 5.2.1 文档表示 5.2.2 相似性计算 5.2.3 特征权重计算 5.3 概率检索模型 5.3.1 概率排序原理 5.3.2 二元独立模型(Binary Independent Model) 5.3.3 BM25模型 5.3.4 BM25F模型 5.4 语言模型方法 5.5 机器学习排序(Learning to Rank) 5..原创 2020-06-03 14:47:18 · 1699 阅读 · 0 评论 -
4.这就是搜索引擎:核心技术详解 --- 索引压缩
4.1 词典压缩 4.2 倒排列表压缩算法 4.2.1 评价索引压缩算法的指标 4.2.2 一元编码与二进制编码 4.2.3 Elias Gamma算法与Elias Delta算法 4.2.4 Golomb算法与Rice算法 4.2.5 变长字节算法(Variable Byte) 4.2.6 SimpleX 系列算法 4.2.7 PForDelta算法 4.3 文档编号重排序(DocID Reordering) 4.4 静态索引裁剪(Static I.原创 2020-05-29 18:36:46 · 1029 阅读 · 0 评论 -
3.这就是搜索引擎:核心技术详解 --- 搜索引擎索引
搜索引擎索引:...原创 2020-03-18 17:55:30 · 1874 阅读 · 0 评论 -
2.这就是搜索引擎:核心技术详解 --- 网络爬虫
1.2.原创 2020-03-03 18:15:33 · 1588 阅读 · 0 评论 -
1.这就是搜索引擎:核心技术详解 --- 搜索引擎及其技术架构
1.2.原创 2020-02-26 18:41:05 · 4708 阅读 · 0 评论 -
2.亿级流量的电商网站---Redis
1.rdb 和 aof2.aof rewrite 机制3.rdb 和 aof 优缺点1、RDB和AOF两种持久化机制的介绍RDB持久化机制,对redis中的数据执行周期性的持久化AOF机制对每条写入命令作为日志,以append-only的模式写入一个日志文件中,在redis重启的时候,可以通过回放AOF日志中的写入指令来重新构建整个数据集如果我...原创 2019-10-30 23:20:05 · 455 阅读 · 0 评论 -
1.亿级流量的电商网站---概述
1、真正能支撑高并发以及高可用的复杂系统中的缓存架构有哪些东西?(1)如何让redis集群支撑几十万QPS高并发+99.99%高可用+TB级海量数据+企业级数据备份与恢复?:redis企业级集群架构(2)如何支撑高性能以及高并发到极致?同时给缓存架构最后的安全保护层?:(nginx+lua)+redis+ehcache的三级缓存架构(3)高并发场景下,如何解决数据库与缓存双写的时候数...原创 2019-10-28 23:26:11 · 265 阅读 · 0 评论 -
17. 维基百科的高性能架构设计分析
1.维基百科的高性能架构设计分析转载 2016-11-10 21:57:48 · 607 阅读 · 0 评论 -
22.分布式系统基础设施
2.1 分布式缓存 2.1.1 memcached 的安装1. memcached 的安装 解压配置编译编译测试安装如果出现 configure: error: libevent is required. If it's already installed,sudo apt-get install libevent-devhttp://libevent.org/http://me转载 2016-11-26 22:29:22 · 541 阅读 · 0 评论 -
11. 瞬时响应:网站的高性能架构
4.1 网站性能测试 4.2 Web 前端性能优化 4.3 应用服务器性能优化 4.4 存储性能优化 4.5小结转载 2016-11-05 15:44:04 · 387 阅读 · 0 评论 -
10. 大型网站核心架构要素
3.1 性能 3.2 可用性 3.3 伸缩性 3.4 扩展性 3.5 安全性转载 2016-11-05 14:58:13 · 505 阅读 · 0 评论 -
9. 大型网站架构模式
2.1 网站架构模式 2.2 架构模式在新浪微博的应用 http://timyang.net/architecture/weibo/ 2.3 小结转载 2016-11-04 22:53:57 · 360 阅读 · 0 评论 -
8. 大型网站架构演化
1.1 大型网站软件系统的特点 1.2 大型网站架构演化发展历程 1.3 大型网站架构演化的价值 1.4 网站架构设计误区 1.5 小结转载 2016-11-04 22:24:16 · 406 阅读 · 0 评论 -
15. 固若金汤:网站的安全架构
8.1 道高一尺魔高一丈的网站应用攻击与防御 8.2 信息加密技术及秘钥安全管理 8.3 信息过滤与反垃圾 8.4 电子商务风险控制 8.5 小结转载 2016-11-06 18:04:42 · 429 阅读 · 0 评论 -
12.万无一失:网站的高可用架构
5.1 网站可用性的度量与考核 5.2 高可用的网站架构 5.3 高可用的应用 5.4 高可用的服务 5.5 高可用的数据 5.6 高可用网站的软件质量保证 5.7 网站运行监控转载 2016-11-06 15:59:14 · 414 阅读 · 0 评论 -
21. 面向服务的体系架构(SOA)
1.1 基于 TCP 的 RPC 1.2 基于 HTTP 的 RPC转载 2016-11-19 19:27:21 · 446 阅读 · 0 评论 -
20.大型网站典型故障分析
1.大型网站典型故障分析转载 2016-11-12 11:26:30 · 490 阅读 · 0 评论 -
19. 网购秒杀系统架构分析
1.秒杀架构转载 2016-11-12 11:07:33 · 459 阅读 · 0 评论 -
18.海量分布式存储系统 Doris 的高可用架构设计分析
1.海量分布式存储系统 Doris 的高可用架构设计分析转载 2016-11-10 22:08:09 · 4426 阅读 · 0 评论 -
16.淘宝的架构演化案例
9.2 淘宝技术架构演化 9.3 小结转载 2016-11-10 21:44:00 · 472 阅读 · 0 评论 -
7.秒杀
1.商品展示层 2.用户登记层 3.数据接入层 数据校验:微软序列号生成技术,加密解密算法存入队列:redis 有序集合最大数量校测:计数标志位4.数据处理层 第一层 对象存储(Object Storage Service,简称OSS)https://cn.aliyun.com/product/oss秒杀等待页面切换为秒杀进行的页面 秒杀进行页面切换为秒杀结束的页转载 2016-10-30 15:02:00 · 274 阅读 · 0 评论 -
14. 随需应变:网站的可扩展架构
7.1 构建可扩展的网站架构 7.2 利用分布式消息队列降低系统耦合性 7.3 利用分布式服务打造可服用的业务平台 7.4 可扩展的数据结构 7.5 利用开发平台建设网站生态圈 7.6 小结转载 2016-11-06 17:39:34 · 425 阅读 · 0 评论 -
13. 永无止境:网站的伸缩性架构
6.1 网站架构的伸缩性设计 6.2 应用服务器集群的伸缩性设计 6.3 分布式缓存集群的伸缩性设计 6.4 数据存储服务器集群的伸缩性设计 6.5 小结转载 2016-11-06 16:56:31 · 507 阅读 · 1 评论