Never let it go.

网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。1、基本知识URI ：Universal Resource Identifier（通用资源标识符）的缩写，Web 上每种可用的资源,如HTML文档、图像、视频片段、程序等都有这样一个唯一通用标识符进行定位。 URL的格式由三部分组成： 协议（服务方式） 存有该资源...

1、全网搜索引擎架构与流程 全网搜索引擎的宏观架构如上图，主要由核心系统和核心数据组成。 核心系统主要分为三部分（粉色部分）：spider爬虫系统；search&index建立索引与查询索引系统，这个系统又主要分为两部分： 一部分用于生成索引数据build_index； 一部分用于查询索引数据search_index。rank打分排序系统。核心数据主要分为两部分（...

一．sphinx介绍与好处sphinx简介：sphinx是一款速度、效率非常高的中文索引技术 ；mysql索引： 主键、唯一、普通、全文(match/agaisnt)。 mysql本身的全文索引技术特性表现一般，一般数据库使用全文索引都不是使用本身的，都需要借助第3方索引技术支持，php->mysql->sphinx> , java->oracle->l...

按照规范设计的方法，考虑数据库及其应用系统开发全过程，将数据库设计分为以下6个阶段 1.需求分析 2.概念结构设计 3.逻辑结构设计 4.物理结构设计 5.数据库实施 6.数据库的运行和维护需求分析和概念设计可以独立于任何数据库管理系统进行，逻辑设计和物理设计与选用的DAMS密切相关。1.需求分析阶段（常用自顶向下）需求分析的任务，是通过详细...

相关博文： Google使用pageRanking算法给搜索结果排序的原理 pr值是什么

贝叶斯公式百度百科 贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。按照乘法法则，可以立刻导出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为：P(B|A) = P(A|B)*P(B) / P(A)。贝叶斯法则是关于随机事件A和B的条件概...