爬虫写一个 “搜索引擎”，炒鸡简单。_怎样做一个搜索引擎-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_41384994/article/details/84639157

本文介绍如何使用Flask框架和Python爬虫技术创建一个简单的搜索引擎。通过HTML搭建搜索框，利用Flask框架展示页面，再通过爬虫抓取360搜索引擎的结果并进行定制化修改，最终实现个人化的搜索功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

写搜索引擎前，我们需要简答了解一下flask 这个轻量级的web的框架，如果没有这个模块只需要 pip install flask 即可

然后我们需要用html写一个最初的搜索框，并且命名这个文件为sheng.html

<!doctype html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Document</title>
</head>
<body>
<form action="/s" method="get">
    搜索：<input type="text"><br>
    <input type="submit" value="查找"><br>
</form>>
</body>
</html>

接下来我吗就需要让这个搜索框显示出来，这里用到flask，先引入一些包然后用@app.route 让他显示

from flask import Flask
from flask import render_template
from spider import getBdMsg
from flask import request

@app.route('/')
def index():
    return render_template('sheng.html')

这是最初的效果（水平还是比较菜的了）

然后我们需要写一个爬取的网页，创建spider.py文件。去爬取现有的搜索引擎360.

import requests

'''
封装请求
'''
def getBdMsg(keyword):
        url = ('https://www.so.com/s?q={}'.format(keyword)) #keyword是最初的搜索框输入的东西
        
        headers = {
        'User-Agent':
        'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36',
        'ContentType':
        'text/html; charset=utf-8',
        'Accept-Encoding':
        'gzip, deflate, sdch',
        'Accept-Language':
        'zh-CN,zh;q=0.8',
        'Connection':
        'keep-alive',
        } #伪装用
        htmlcontet = requests.get(url, headers=headers, timeout=1)#获取网页
        htmlcontet.raise_for_status()
        htmlcontet.encoding = 'utf-8'#使网页变为tuf-8编码
        html = htmlcontet.text
'''替换一些东西'''
        html=html.replace('<div class="g-hd-logo">','<div class="g-hd-lo">')
        html=html.replace('<input type="submit" tabindex="3" id="su" value="搜索" class="s_btn">','<input type="submit" tabindex="3" id="su" value="胜哥搜索" class="s_btn">') 
        html=html.replace('<a class="title" href="https://www.so.com?src=sidenav_www">360搜索首页</a>','<a class="title" href="https://www.so.com?src=sidenav_www">胜哥搜索首页</a>')
        html=html.replace('360搜索','胜哥搜索')
        return html

if __name__ == '__main__':
    print(getBdMsg("python")) '''看一下是否爬取成功'''

然后在回到flsk这个文件中。继续用 @app.route 让他去显示爬取的网页

@app.route('/s')
def s():
    keyword = request.args.get('wd')#获取最初的搜索框输入的东西
    text=getBdMsg(keyword) #调用getBdMsg函数 取爬去网页
    return text

最后if __name__=='__main__' 判断是否是py文件来运行上面的 @app.route

if __name__=='__main__':
    app.run()

最后的效果，你可以拿出去装逼了，属于自己的搜索引擎