开源：完全自主研发搜索引擎1.0源代码及说明，单机400万网页，任意50词以内的检索不超过 20毫秒

最新推荐文章于 2025-04-20 14:37:45 发布

转载最新推荐文章于 2025-04-20 14:37:45 发布 · 1.9k 阅读

文章标签：

#搜索引擎 #测试 #文档 #ajax框架 #存储 #语言

web开发专栏收录该内容

7 篇文章

订阅专栏

本版本为自主研发的搜索引擎2.0，支持单机索引400万网页，50词内检索响应时间不超过20毫秒。已实现关键词检索、动态摘要、关键词高亮等功能，计划增加相关度排序等特性。

开源：完全自主研发搜索引擎1.0源代码及说明，单机400万网页，任意50词以内的检索不超过 20毫秒

2011-08-02 02:08

百万商业圈搜索引擎解决方案项目及文档说明

1、Bwsyq.Search.Demo
    进行检索，就是常说的搜索引擎网站。提供检索服务。
    目前实现了：按关键词进行检索，实现了动态摘要、关键词高亮显示、自动分页、每页显示条目可自定义(默认每页显示10条检索结果)
    未实现功能：相关搜索关键词条显示、按相关度进行排序、快照、网页标题、采集时间、网页URL、并行集群检索
            其中：快照、网页标题、采集时间、网页URL 可根据实际情况自行实现
                  相关搜索关键词条显示、按相关度进行排序、并行集群检索将在下一版提供
2、Bwsyq.Search.Index
    进行索引，就是常说的全文索引。

3、DemoDoc 目录中的 3500个txt文档是用来做索引测试的文档。测试的使用请放置在：D:\index\DemoDoc 也可根据实际情况在代码中修改

4、index 目录中的.idx 文件是测试建立的索引文件。测试的使用请放置在：D:\index\index 目录，也可根据事情情况修改配置文件

5、注意事项：
   A、目前索引存储路径是 D:\index\index\ 可在配置文件中根据实际情况对配置文件“App.config、Web.config”进行修改
      <KeyInfo Key="SEARCHIDX" Value="D:\index\index\"/>
   B、索引所需词库存储路径是 D:\index\ App_Data 可在配置文件中根据实际情况对配置文件“App.config”进行修改
   <KeyInfo Key="PhysicaPath" Value="D:\index\"/> 修改后将 App_Data文件夹及其中的文件全部拷贝到对应目录即可
   C、检索所需词库存存储路径是网站项目中的 App_Data 目录，无须修改
   D、BwsyqIndex.dll 是核心库，采用C语言开发，可存放在system32目录，或项目运行的目录bin或release目录中。

6、目前提供的版本是2.0版，有如下性能指标：
   A、单机可索引400万网页、
   B、普通PC： AMD 2.0、 7200转硬盘、2G内存每4分钟可索引1000页（已经做了html parse）的文本
   C、经实际测试任意50词以内的检索，检索运算不超过 20毫秒
   D、检索速度不会因为索引的多少而发生任何变化，索引速度也不会因为文档多少或文档大小而变慢
   E、开发工具VS2008，测试环境 windos7 + CPU(AMD 2.0)、 5400转300G硬盘、2G内存
   注：本版本单机索引限制在 400万网页，超过将不在执行索引。

7、本版本截止开发周期业余时间不到 3个周末和3个周日，期间还感冒了一周，所以有很多不完善的地方，请大家多指正。
   我会尽快根据大家提供的建议进行改善并提供改进后的新版本。

8、本软件完全属于本人自主创作，完全没有任何借鉴和第三方代码，您可以放心的用于学习和商业用途。

4、index 目录中的.idx 文件是测试建立的索引文件。测试的使用请放置在：D:\index\index 目录，也可根据事情情况修改配置文件

5、注意事项：
   A、目前索引存储路径是 D:\index\index\ 可在配置文件中根据实际情况对配置文件“App.config、Web.config”进行修改
      <KeyInfo Key="SEARCHIDX" Value="D:\index\index\"/>
   B、索引所需词库存储路径是 D:\index\ App_Data 可在配置文件中根据实际情况对配置文件“App.config”进行修改
   <KeyInfo Key="PhysicaPath" Value="D:\index\"/> 修改后将 App_Data文件夹及其中的文件全部拷贝到对应目录即可
   C、检索所需词库存存储路径是网站项目中的 App_Data 目录，无须修改
   D、BwsyqIndex.dll 是核心库，采用C语言开发，可存放在system32目录，或项目运行的目录bin或release目录中。

6、目前提供的版本是2.0版，有如下性能指标：
   A、单机可索引400万网页、
   B、普通PC： AMD 2.0、 7200转硬盘、2G内存每4分钟可索引1000页（已经做了html parse）的文本
   C、经实际测试任意50词以内的检索，检索运算不超过 20毫秒
   D、检索速度不会因为索引的多少而发生任何变化，索引速度也不会因为文档多少或文档大小而变慢
   E、开发工具VS2008，测试环境 windos7 + CPU(AMD 2.0)、 5400转300G硬盘、2G内存
   注：本版本单机索引限制在 400万网页，超过将不在执行索引。

7、本版本截止开发周期业余时间不到 3个周末和3个周日，期间还感冒了一周，所以有很多不完善的地方，请大家多指正。
   我会尽快根据大家提供的建议进行改善并提供改进后的新版本。

8、本软件完全属于本人自主创作，完全没有任何借鉴和第三方代码，您可以放心的用于学习和商业用途。