站内搜索引擎——03_Searcher搜索模块

已于 2025-04-03 19:02:49 修改
阅读量975 收藏 20
点赞数 20
CC 4.0 BY-SA版权
分类专栏： Linux C++ 站内搜索引擎项目 文章标签： 搜索引擎 c++
于 2025-03-11 20:43:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/T_X_Parallel/article/details/146188535

请添加图片描述

✨✨欢迎来到T_X_Parallel的博客！！
    🛰️博客主页：T_X_Parallel
    🛰️项目代码仓库：站内搜索引擎项目代码仓库
    🛰️专栏 : 站内搜索引擎项目
    🛰️欢迎关注：👍点赞🙌收藏✍️留言

文章目录

项目环境：vscode、wsl（Ubuntu22.04）、g++/CMake

技术栈：C/C++ C++11、STL、标准库 Boost、Jsoncpp、cppjieba、cpp-httplib、html

1. index索引模块代码增添

一个boost搜索引擎程序只需要一个index索引实例即实现类的单例模式，所以我们为了不让这个类被拷贝和赋值，需要先将拷贝构造函数和赋值运算符重载函数改为delete，同时构造函数和前面这两个函数都设为私有，确保只能通过类内静态成员函数创建实例。

所以在Index类中增添一个私有Index指针静态变量instance，为了外部能够创建和获取实例，建立一个静态成员函数GetInstance()，在这里面检查instance是否为空，如果为空那么需要new Index()来创建一个实例

由于本项目是搜索模块，那么后面使用肯定要使用多线程来处理多条请求，所以这个地方需要加锁（直接使用C++原生提供的锁）来确保Index类的单例实例创建是线程安全的，并且需要双重检查锁定模式（可以提高性能并确保线程安全）

  • 第一次检查instance是否为空，是为了避免不必要的加锁操作，提高性能
    1. 第一次检查为空，那么直接加锁，确保只用一个线程可以进入接下来的代码
    2. 第一次检查不为空，直接返回它
  • 第二次检查instance是否为空，此检查为加锁之后，这里再次检查是因为在第一次检查和加锁之间可能有其他线程创建了instance
    1. 第二次检查为空，创建新的实例，然后解锁
    2. 第二次检查不为空，直接解锁
namespace ns_index
{
    class Index
    {
    private:
        Index() {}
        Index(const Index &) = delete;
        Index &operator=(const Index &) = delete;

        static Index *instance;
        static std::mutex mtx;
    public:
        static Index *GetInstance()
        {
            if (instance == nullptr)
            {
                mtx.lock();
                if (instance == nullptr)
                {
                    instance = new Index();
                }
                mtx.unlock();
            }
            return instance;
        }
    };
    Index *Index::instance = nullptr;
    std::mutex Index::mtx;
}

2. 搜索模块基本结构

该模块主要要实现的功能就是创建Index对象并建立索引和使用用户输入的关键词去获取相关索引并以特定格式返回。上一篇博客也提到了上一个模块的测试要等实现完这个模块然后一起测试，原因就是，这个模块大部分都是调用索引模块中的函数，所以基本结构不过多阐述，大致结构如下

namespace ns_searcher
{
    class Searcher
    {
    private:
        ns_index::Index *index;

    public:
        Searcher() {} // 构造函数
        ~Searcher() {}// 析构函数

    public:
        // 创建Index对象以及建立索引
        void InitSearcher(const std::string &file_path)// 数据清洗处理完的数据位置
        {}

        // 搜索关键字并返回结果
        // query:用户搜索的关键词  json_strin：返回给用户浏览器的搜索结果
        void Search(const std::string &query, std::string *json_string)
        {}
    };
}

3. 模块具体实现

获取Index对象以及创建索引功能函数实现

上面的基本结构代码中也展示了，类中添加了一个Index指针index，而InitSearcher()函数中要实现创建Index对象必然就是调用上面所实现的GetInstance()函数来获取一个Index实例，而实现构建索引则是调用Index类中的BuildIndex()

因为这个boost库的文档比较多，导致构建索引时间需要一点时间所以我们可以在BuildIndex()函数中和该函数中添加一些提示信息，以便运行者知道自己此刻的情况

在建立索引的时候统计构建索引完成的文档数量，每构建完100（自己定义，想隔多少都行）个打印一次，构建完再打印一次。在InitSearcher()函数中也可以添加一些打印信息，比如获取实例成功后和构建索引成功后。

// index.hpp BuildIndex()
// 建立索引
bool BuildIndex(const std::string file_path) // 传parser处理后的文件的地址
{
    std::ifstream in(file_path, std::ios::in | std::ios::binary);

    if (!in.is_open()) // 检查文件是否打开
    {
        std::cout << "error! " << file_path << " open fail" << std::endl;
        return false;
    }
    std::string line;
    int count = 0;
    while (std::getline(in, line))
    {
        DocInfo *doc = BuildForwardIndex(line);

        if (doc == nullptr)
        {
            std::cout << "Error! Forward build" << line << "fail" << std::endl;
            continue;
        }

        BuildIndexInvertedIndex(*doc);
        count = doc->doc_id + 1;
        if (count % 100 == 0)
            std::cout << "已建立完索引文档数为：" << count << std::endl;
    }
    std::cout << "已建立完索引文档数为：" << count << std::endl;
    return true;
}

// searcher.hpp InitSearcher()
// 创建Index对象以及建立索引
void InitSearcher(const std::string &file_path)
{
    // 创建Index对象
    index = ns_index::Index::GetInstance();
    std::cout << "获取Index单例成功" << std::endl;
    // 建立索引
    index->BuildIndex(file_path);
    std::cout << "构建索引成功" << std::endl;
}

测试后的效果为（为了节省空间和展示美观，改为每个500打印一次）：

在这里插入图片描述

搜索功能代码实现

该部分主要就分为以下四个步骤

  1. 将用户输入的关键词进行分词
  2. 使用分完词的结果获取索引，并汇总结果
  3. 将汇总好的结果根据权重进行排序
  4. 将排序后的结果构建成json串（使用jsoncpp库）

第一步将用户输入的关键词query分词，直接使用前面在util.hpp中实现的CutString()函数进行分词即可，结果存放在vector数组words中

// 关键词分词
std::vector<std::string> words;
ns_util::JiebaUtil::CutString(query, &words);

第二步根据words中的分词结果获得索引并汇总结果，肯定就是遍历一遍words取出每个关键词，然后通过index->GetInvertedIndex()函数来获得倒排索引即相关文档ID，因为第三步要根据权重排序，所以在汇总的时候不能只存文档ID，而是将获取到的InvertedElemList类型（如果不记得该类型是什么，请回顾Boost搜索引擎——02_正排与倒排索引构建-优快云博客)的变量存储起来，这个类型是一个存储InvertedElem结构体的数组，所以我们也可以使用InvertedElemList类型来汇总结果

提醒：我们在构建倒排索引的时候忽略了字母的大小写，所以在这里我们也同样应该忽略用户输入进来的关键词的大小写

注：这里的汇总存在一定的问题，可能存在用户提供的某个关键词中的多个词对应同一个文档ID，那么在结果汇总的时候会存在两个或多个相同的文档ID，那么导致返回回去的结果也会有重复的文档。这个问题后面会与其他问题解决优化，自己可以想想应该如何实现（提示：哈希表）同样下面的排序也会涉及到优化

// 获得索引并汇总结果
ns_index::InvertedElemList inverted_list_all;
for (std::string word : words)
{
    boost::to_lower(word);
    ns_index::InvertedElemList *inverted_list = index->GetInvertedIndex(word);
    inverted_list_all.insert(inverted_list_all.end(), inverted_list->begin(),     			                         inverted_list->end());
}

第三步对汇总的结果根据权重进行排序，直接使用sort()函数来排序，只需写一个排序函数即可，为了方便，可以使用lambda表达式

// 根据权重排序
sort(inverted_list_all.begin(), inverted_list_all.end(), 
     [](const ns_index::InvertedElem &e1, const ns_index::InvertedElem &e2){ 
         return e1.weight > e2.weight; 
     });

第四步将汇总结果构建成json串，可以使用jsoncpp库来构建，使用这个库可以轻松的对字符串进行序列化和反序列化。

下面先来安装jsoncpp库

  • Ubuntu
    1. 更新包列表：sudo apt update
    2. 安装jsoncpp 库：sudo apt install libjsoncpp-dev
  • CentOS
    1. 更新包列表：sudo yum update
    2. 安装EPEL仓库（包含许多额外的软甲包）：sudo yum install epel-release
    3. 安装jsoncpp 库：sudo yum install jsoncpp jsoncpp-devel

jsoncpp库的使用方法：

  1. 先创建JSON对象：使用Json::Value类来创建JSON对象，JSON对象存储的是一组一组的键值对，也可以存储JSON对象，因为我们有多个结果，所以可以使用一个个JSON对象存储每一个结果，再存储到最开始创建的JSON对象root

  2. 然后生成JSON字符串：使用 Json::StyledWriter 或 Json::FastWriter 类将 Json::Value 对象转换为 JSON 字符串。

    使用Json::StyledWriter类的效果为具有格式的Json串

    使用Json::FastWriter类的效果就是放在一排的Json串（大数据量的网络通信一般使用的是这个类来生成JSON字符串，效率比上面的高）

下面是测试对比效果

#include <iostream>
#include <string>
#include <jsoncpp/json/json.h>

int main()
{
    Json::Value root;

    Json::Value j1;
    j1["title"] = "apply";
    j1["content"] = "apply phone";

    Json::Value j2;
    j2["title"] = "xiaomi";
    j2["title"] = "xiaomisu7";

    root.append(j1);
    root.append(j2);

    Json::StyledWriter styledwriter;
    std::string styledjson = styledwriter.write(root);
    std::cout << "StyledWriter: " << styledjson << std::endl;

    Json::FastWriter fastwriter;
    std::string fastjson = fastwriter.write(root);
    std::cout << "FastWriter: " << fastjson << std::endl;

    return 0;
}

结果图：

在这里插入图片描述

注：下面代码中使用的GetSummary()函数能够获取文档内容中摘要，因为在返回到用户浏览器上并展示时，展示的是文档内容的摘要，而不是文档全部内容，所以下一步实现的是从内容中获取摘要功能

// 将结果构建成json串
Json::Value root;
for (const auto &e : inverted_list_all)
{
    ns_index::DocInfo *doc = index->GetForwardIndex(e.doc_id);
    if (doc == nullptr)
        continue;

    Json::Value elem;
    elem["title"] = doc->title;
    // elem["content"] = doc->content;
    elem["summary"] = GetSummary(doc->content, e.word);// 获取摘要
    elem["url"] = doc->url;

    // debug
    elem["doc_id"] = doc->doc_id;
    elem["weight"] = e.weight;

    root.append(elem);
}

// Json::FastWriter writer;
Json::StyledWriter writer;
*json_string = writer.write(root);

获取摘要功能实现

首先要搞清楚摘要需要摘出那些内容，可以借鉴一下百度等搜索引擎的搜索结果来决定

在这里插入图片描述

根据上面的搜索结果可以显然看出，摘要一般都会包含用户搜索的关键词，所以我们需要找到文档中第一个关键词的位置，往前和往后一定数量的字符，这就可以作为内容的摘要

第一肯定想到的是使用string类中提供的find()函数，但是在之前的索引建立还有刚才实现的获得索引部分的代码时都是忽略了字母大小写，如果使用的是find()函数来做的话无法忽略大小写问题，那么在这里可以使用C++标准库中提供的search()函数来找到第一个关键词所在位置

在这里插入图片描述

该函数的参数中的pred是可以自己定义匹配函数，和上面一样为了方便，直接使用lambda表达式来代替，在lambda语句中就可以将两个比较值转成小写

这里转成小写不能使用boost::to_lower()函数了，这里需要比较，而这个函数为void函数无返回值，所以无法比较。这里可以使用std::tolower()函数，这个函数是有返回值的，可以进行比较

最后返回的是一个迭代器，那么可以使用C++标准库中的distance()函数计算这个迭代器的位置pos

在这里插入图片描述

找到第一个关键词所在的位置后，假设摘要需要截取从关键词开始往前50个字符，往后100个字符，但是这里需要检查一下，往前是否有50个字符，有的话直接截取，没有这么多字符的话，从字符串的第一个字符开始，往后相同的道理。最后检查一下摘要开始指针是否大于结尾指针即可

// 根据内容获得内容摘要
std::string GetSummary(const std::string &content, const std::string &keyword)
{
    const int prev = 50;
    const int next = 100;

    auto iter = std::search(content.begin(), content.end(), 
                            keyword.begin(), keyword.end(), 
                            [](const int x, const int y){
                            	return (std::tolower(x) == std::tolower(y)); 
                                // boost::to_lower()没有返回值无法比较
                            });
    if (iter == content.end())
        return "None1";

    const int pos = std::distance(content.begin(), iter);

    int begin = 0, end = content.size() - 1;
    if (pos - prev > begin)
        begin = pos - prev;
    if (pos + next < end)
        end = pos + next;

    if (begin > end)
        return "None2";
    std::string summary = content.substr(begin, end - begin);
    summary += "……";
    return summary;
}

4. 搜索模块代码

#pragma once

#include "index.hpp"
#include "util.hpp"
#include <jsoncpp/json/json.h>

namespace ns_searcher
{
    class Searcher
    {
    private:
        ns_index::Index *index;

    public:
        Searcher() {}
        ~Searcher() {}

    public:
        // 创建Index对象以及建立索引
        void InitSearcher(const std::string &file_path)
        {
            // 创建Index对象
            index = ns_index::Index::GetInstance();
            std::cout << "获取Index单例成功" << std::endl;
            // 建立索引
            index->BuildIndex(file_path);
            std::cout << "构建索引成功" << std::endl;
        }

        // 搜索关键字并返回结果
        // query:用户搜索的关键词  json_strin：返回给用户浏览器的搜索结果
        void Search(const std::string &query, std::string *json_string)
        {
            // 关键词分词
            std::vector<std::string> words;
            ns_util::JiebaUtil::CutString(query, &words);
            // 获得索引并汇总结果
            ns_index::InvertedElemList inverted_list_all;
            for (std::string word : words)
            {
                boost::to_lower(word);
                ns_index::InvertedElemList *inverted_list = index->GetInvertedIndex(word);
                inverted_list_all.insert(inverted_list_all.end(), 
                                         inverted_list->begin(), inverted_list->end());
            }

            // 根据权重排序
            sort(inverted_list_all.begin(), inverted_list_all.end(), 
                 [](const ns_index::InvertedElem &e1, const ns_index::InvertedElem &e2){ 				      return e1.weight > e2.weight; 
                 });
            // 将结果构建成json串
            Json::Value root;
            for (const auto &e : inverted_list_all)
            {
                ns_index::DocInfo *doc = index->GetForwardIndex(e.doc_id);
                if (doc == nullptr)
                    continue;

                Json::Value elem;
                elem["title"] = doc->title;
                // elem["content"] = doc->content;
                elem["summary"] = GetSummary(doc->content, e.word);
                elem["url"] = doc->url;

                // debug
                elem["doc_id"] = doc->doc_id;
                elem["weight"] = e.weight;

                root.append(elem);
            }

            // Json::FastWriter writer;
            Json::StyledWriter writer;
            *json_string = writer.write(root);
        }

    private:
        // 根据内容获得内容摘要
        std::string GetSummary(const std::string &content, const std::string &keyword)
        {
            const int prev = 50;
            const int next = 100;

            auto iter = std::search(content.begin(), content.end(), 
                                    keyword.begin(), keyword.end(), 
                                    [](const int x, const int y){
                                        return (std::tolower(x) == std::tolower(y)); 
                                        // boost::to_lower()没有返回值无法比较
                                    });
            if (iter == content.end())
                return "None1";

            const int pos = std::distance(content.begin(), iter);

            int begin = 0, end = content.size() - 1;
            if (pos - prev > begin)
                begin = pos - prev;
            if (pos + next < end)
                end = pos + next;

            if (begin > end)
                return "None2";
            std::string summary = content.substr(begin, end - begin);
            summary += "……";
            return summary;
        }
    };
}

5. 索引模块修正后的部分代码

#pragma once

#include <iostream>
#include <vector>
#include <string>
#include <unordered_map>
#include <fstream>
#include <mutex>
#include "util.hpp"

namespace ns_index
{
    class Index
    {
    private:
        Index() {}
        Index(const Index &) = delete;
        Index &operator=(const Index &) = delete;

        static Index *instance;
        static std::mutex mtx;

    public:
        ~Index() {}

    public:
        static Index *GetInstance()
        {
            if (instance == nullptr)
            {
                mtx.lock();
                if (instance == nullptr)
                {
                    instance = new Index();
                }
                mtx.unlock();
            }
            return instance;
        }
        // 建立索引
        bool BuildIndex(const std::string file_path) // 传parser处理后的文件的地址
        {
            std::ifstream in(file_path, std::ios::in | std::ios::binary);

            if (!in.is_open()) // 检查文件是否打开
            {
                std::cout << "error! " << file_path << " open fail" << std::endl;
                return false;
            }
            std::string line;
            int count = 0;
            while (std::getline(in, line))
            {
                DocInfo *doc = BuildForwardIndex(line);

                if (doc == nullptr)
                {
                    std::cout << "Error! Forward build" << line << "fail" << std::endl;
                    continue;
                }

                BuildIndexInvertedIndex(*doc);
                count = doc->doc_id + 1;
                if (count % 500 == 0)
                    std::cout << "已建立完索引文档数为：" << count << std::endl;
            }
            std::cout << "已建立完索引文档数为：" << count << std::endl;
            return true;
        }
    };
    Index *Index::instance = nullptr;
    std::mutex Index::mtx;
}

6. 测试

之前提到过，上一个模块实现完并没有进行测试，原因就是可以等搜索模块实现完再统一测试，毕竟搜索模块基本上都要调用索引模块中的代码

那为什么不等整个项目实现完再测试呢？

因为后面就要加入网络模块，应该先保证除网络模块之外的模块的完善度，提前做测试，以命令行的形式进行测试比加入网络后进行测试方便一点

首先编写一个测试程序，程序测试搜索模块中函数的正常运行即可，因为整个搜索模块调用了所有索引模块的公开函数。

这里进行命令行测试那么就可以使用while循环加cin来模拟用户输入关键字的过程，但是这里存在一个问题，如果多个关键词中带空格，那么cin会依次读取每个关键词，不包括空格，即输入：aaa bbb，会依次读aaa和bbb，读取两次。

则这里可以使用C语言里的fgets()函数进行读取，该函数可以读取标准输入流中的一行字符串，不会因空格而停止读取

// debug.cc
#include "searcher.hpp"
#include <cstdio>
#include <cstring>

const std::string output_path = "../data/raw_html/raw.txt";

int main()
{
    ns_searcher::Searcher *searcher = new ns_searcher::Searcher;
    searcher->InitSearcher(output_path);
    char buffer[1024];
    while (1)
    {
        std::cout << "Please enter keywords# ";
        fgets(buffer, sizeof(buffer) - 1, stdin);
        buffer[strlen(buffer) - 1] = 0;
        std::string query = buffer;
        std::string json_string;
        searcher->Search(buffer, &json_string);
        std::cout << json_string << std::endl;
    }
    return 0;
}

然后就是代码编译，下面提供三种编译过程，直接使用命令编译、使用Makefile、使用CMake，三种方法都可以，方便的就是使用CMake

博主在这里补充一下数据清洗模块的测试过程，并简单解释前后boost库的链接问题

可以直接使用命令进行编译，但是parser.cc中使用到了Boost.Filesystem库，这个库依赖于Boost.System库，并且它们都需要链接到相应的二进制库。因此，在使用Boost.Filesystem库时，需要在编译时显式地链接这些库

g++ -o parser.exe parser.cc -lboost_system -lboost_filesystem -std=c++11

而后面这两个模块只使用了boost.algorithm库，该库时头文件库，所以不需要链接

下面是三种方法，其中makefile和CMake中有parser模块的编译指令，后续会逐一完善

  • 使用命令编译，这里使用了jsoncpp外部库，所以编译的时候要链接
g++ debug.cc -o debug.exe -ljsoncpp -std=c++11 

# 如果提示警告，可能代码中使用了C++17标准，更改一下标准即可
  • 使用makefile，创建一个makefile文件，填入下面的代码，命令行键入make即可编译（makefile具体使用方法请自行询问AI或者查看相关博客，博主还没有出过相关博客，敬请期待）
PARSER=parser
DUG=debug
cc=g++

.PHONY:all
all:$(PARSER) $(DUG)

$(PARSER):parser.cc
	$(cc) -o $@ $^ -lboost_system -lboost_filesystem -std=c++11
$(DUG):debug.cc
	$(cc) -o $@ $^ -ljsoncpp -std=c++11

.PHONY:clean
clean:
	rm -f $(PARSER) $(DUG)
  • 使用CMake工具（自动化创建makefile文件），创建文件CMakeList.txt，输入下面的代码，并在工作目录中创建build文件夹，在build文件夹中命令行键入cmake ..就会构建一个makefile文件，然后的操作就和上面makefile一样（CMake工具具体使用方法请自行询问AI或者查看相关博客，博主还没有出过相关博客，敬请期待）
cmake_minimum_required(VERSION 3.10)
project(Boost_Search_Engine)

# # 设置C++标准为C++11
# set(CMAKE_CXX_STANDARD 11)
# set(CMAKE_CXX_STANDARD_REQUIRED ON)
# set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++11")
add_compile_options(-std=c++11 -std=c++17)


# # 设置Boost根目录
# set(BOOST_ROOT "/lib64")

# 查找Boost库
find_package(Boost REQUIRED COMPONENTS filesystem system)

# 查找cppjson库
find_package(jsoncpp REQUIRED)

# 添加可执行目标 Parser
add_executable(Parser ./code/parser.cc)

# 链接Boost库到 Parser
target_link_libraries(Parser ${Boost_FILESYSTEM_LIBRARY} ${Boost_SYSTEM_LIBRARY})

# 添加可执行目标 Debug
add_executable(Debug ./code/debug.cc)

# 链接Boost库和cppjson库到 Debug
target_link_libraries(Debug jsoncpp_lib)

最后运行生成的可执行文件即可，博主最后的测试效果如下

在这里插入图片描述

下一个模块就是实现网络模块了，为了方便使用第三方库cpp-httplib库实现，期待一下吧

请添加图片描述

专栏：站内搜索引擎项目
项目代码仓库：站内搜索引擎项目代码仓库（随博客更新）
都看到这里了，留下你们的珍贵的👍点赞+⭐收藏+📋评论吧

【实战项目】——Boost搜索引擎(五万字)
2301_79585944的博客
10-13 2115
在我们的生活中有许多的搜索引擎，比如百度，搜狗，360搜索等。像百度这样的搜索引擎我们是实现不了的，因为像百度这样的搜索引擎搜索的是全网的数据。其数据量之庞大远远超出我们的想象。我们的项目是做一个小范围的搜索引擎，一个用Boost库实现的Boost站内搜索。站内搜索：搜索的数据更垂直，数据量更小。Boost库的官网是没有站内搜索的，需要我们做一个。提示：以下是本篇文章正文内容，下面案例可供参考Boost库：是C++的准标准库， 它提供了很多C++没有的功能，可以称之为是C++的后备力量。
项目——boost搜索引擎
qq_35639854的博客
04-15 1342
这个地方我们要注意一个问题，由于分词，所以一个搜索会被分为多个关键字，每个关键字都会查找到一些文章，而这些文章的内容很有可能是重复的，所以我们必须进行去重工作！然后我们可以看一下我们的网页文件，会发现里面除了网页的标题，内容，url之外其他的我们并不需要，并且这些东西会干扰对网页内容的提取，所以我们必须要去掉这些无用的标签！首先我们看我们的主框架，整个程序的思路是，首先我们要提取出整个文件的内容，然后将所有文件的内容写入一个文件，然后用分隔符进行分割，然后再对文件主要信息进行提取。
站内搜索功能的几种实现方式
热门推荐
AhCola
09-27 2万+
原文地址：https://pengfeixc.com/blogs/website/site-search 今天花了一些时间优化了网站的搜索功能。 一.简易版搜索 之前的网站搜索功能实现比较简单。过程大致如下： 用户在搜索框输入要搜索的关键字。 浏览器根据关键字，发送搜索请求。 服务器收到请求。 服务器根据搜索关键字，查询数据库（根据文章标题和文章描述），将查到的文章返回给浏览器。 浏览器根据请求response，渲染文章列表。 由于这个搜索功能只考虑了文章的标题和描述，没有搜索文章的内容，功能很弱，无法
站内搜索引擎
qq_56444564的博客
11-09 2188
1.什么是搜索引擎？如图所示：我用的是谷歌浏览器，但是我的搜索引擎可以跟换 。切换到bing主页在搜索框中我们输入一段话，跳到一个带有搜索结果的页面如下：搜索引擎的核心功能：查找用户输入的词/一句话 相关联的网页。 搜索结果页一条记录包含的信息如下： 当我们点击标题，会跳转到落地页，如下图：相信大家对搜索引擎都有一定的了解了。2.实现搜索引擎的核心思路：搜索引擎的网页又该如何获取呢？像百度，搜狗，这样的大型搜索引擎，每天会有很多爬虫去爬取大量网页，在存储起来。我们这里先直接去官网下载jdk文档（之后抽取时间
java实现站内搜索
心存高远，脚踏实地
04-16 7749
1.站内搜索 在以往的网站建设，企业系统的搭建过程中，因为信息比较简单，比较少，站内搜索可能不是必要的选项,而今，时代的发展， 信息量的增大，网站逻辑的复杂，企业自身对信息架构、管理、发布的需求，以及用户对信息的组织、查询、可寻性的要求越来越高，于是站内搜索出现了。 2.和别的搜索引擎的区别 谷歌、百度、搜搜等通用搜索引擎都会免费开放站内搜索功能，以嵌入网页代码的形式保持与搜索引擎机器人的沟
什么是站内搜索引擎？如何在网站中加入站内搜索功能？
LookLook同学的博客
10-07 2687
在当今数字时代，用户体验对于网站的成功起着至关重要的作用。提升用户体验和改善整体网站性能的一种方法是引入站内搜索引擎。站内搜索引擎是一种强大的工具，它的功能类似于Google或Bing等流行搜索引擎，但它专注于实施自己网站上的内容。用户可以在网站内搜索特定内容，无需手动浏览网站的不同页面和部分。
一些常用的搜索技巧总结
WeiDuoe的博客
04-14 989
搜索引擎和chatgpt的使用总结
PHP树莓派离线搜索引擎系统源码.zip
05-28
在树莓派上部署PHP搜索引擎，能够实现在本地网络内的高效搜索，避免了对互联网的依赖。 “源码软件”意味着我们可以直接查看并修改代码，这对于开发者来说是极具价值的。通过研究源码，我们可以理解搜索引擎的工作...
【项目】Boost 搜索引擎
StackFrame
08-26 1598
Boost 搜索引擎
C++开源搜索引擎天网源代码解析
- **模块划分文件**（例如crawler.cpp, indexer.cpp, searcher.cpp）：将搜索引擎功能模块化，分别实现爬虫、索引和搜索功能。 - **数据结构实现文件**（例如BTree.cpp, HashTable.cpp）：实现搜索引擎中使用的各种...
简易的站内搜索引擎 (万字长文！！绝对值得一看！！)
sfornyu的博客
08-03 4434
这里所实现的并非如同百度、谷歌一样的全网搜索，我的硬件条件达不到，并且技术实力也不够，但是可以按照搜索引擎的基本原理，来实现一个站内搜索，实现原理也算是大同小异，此项目分为四个模块：预处理模块、索引模块、搜索模块、服务器模块 项目背景 想要写一个搜索引擎也是源于偶然，在知乎上看到一篇文章，说是百度搜索为什么可以那么快？回答里说了很多方面的技术，其中最核心的就是倒排索引，这让我产生了浓厚的兴趣，但是因为实力和设备都有欠缺，没法做一个像是百度和搜狗一样的全网搜索，但我可以做一个站内搜索，来理解相应的技术。
ElasticSearch技术方案（二）——站内搜索
Duktig的博客
03-05 2968
文章目录背景ES实现站内搜索ES实现站内搜索流程图站内搜索实现分析SpringBoot整合SpringData ElasticSearch1. 引入依赖：2.配置application.yml3.编写实体类4.编写Repository类5.测试MySQL与ES数据同步方案方案一：业务逻辑实现实现方式问题及解决分析优点：缺点：方案二：消息中间件/redis+定时任务实现实现方式分析优点缺点方案三：借助插件实现数据同步插件优缺点对比分析方案四：canal(alibaba)分析优点缺点logstash-input
如何利用站内搜索功能促进网站快速收录？
最新发布
秒引百度蜘蛛，快速提高网站百度收录
03-01 324
通过模拟用户搜索行为、优化搜索结果页面、增加搜索入口以及定期使用站内搜索等方法，可以引导搜索引擎爬虫更有效地发现和抓取网站内容。站内搜索是指网站内部的搜索功能，允许用户在网站上搜索相关内容。利用站内搜索功能的同时，应结合其他网站优化手段，如内容优化、结构优化、外部链接建设等，以全面提升网站的收录和排名。虽然站内搜索功能可以促进网站收录，但不应过度依赖。这种行为可以触发搜索引擎爬虫对搜索结果的抓取，从而增加网站内容的曝光度和收录机会。通过站内搜索功能模拟用户的搜索行为，输入与网站内容相关的关键词进行搜索。
为什么我们需要站内搜索？
一张白纸......
10-22 2942
 　　过去的站内搜索，通常是简单的将信息发布的标题、关键字甚至内容进行匹配，通常带分词功能的不多，因为它是一个技术点。　　对于有比较多字段的产品发布，对应的搜索不仅有标题，还有型号规格、价格、简介等内容的搜索，这个称为“高级搜索”。　　这些以like %%为基础的搜索，在应付更加深入的数据挖掘时，开始露出它的不足：　　1、不够智能　　比如关键词是“收集”和“收藏”，从字面上
爬虫案例-网站分词索引与站内搜索
记录学习路上的一些拙见
03-20 1774
爬虫综合实战案例，网站分词索引
使用搜索运算符
AKALuo10的博客
07-14 490
示例define:搜索引擎解释：使用搜索词语的定义，搜索结果会显示“搜索引擎”的定义。
什么是站点内部搜索垃圾邮件攻击以及如何防范
web_geek的博客
09-10 1154
此时，选择可靠的服务器服务商就尤为重要了，像Hostease这样的服务商不仅提供高性能的服务器，还能够为您提供专业的安全防护，减少此类攻击对您网站的影响。尽管这样的例子可能不会损害你的SEO，但这种报告可能会令人担忧，而且这也确实会存在一些影响，如果谷歌大规模爬取这些URL，可能会消耗“爬取预算”，即谷歌愿意在探索你的网站上花费的精力，如果这些预算都用在了垃圾URL上，对于您本身网站的正常内容被爬取的概率就更小了。毕竟，它们从各种网站获得了各种链接。如果这些内容是链接到您的网站的搜索结果的，结果可想而知。
C++实现网站内搜索功能
m0_51641706的博客
01-07 1397
因此我们现在要开始分词了。只有先分词，我们才能知道关键字在文档中是否出现，出现几次等问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

T_X_Parallel〆

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值