百度收集子域名（2021.9.9）

最新推荐文章于 2024-12-26 01:06:55 发布

原创

最新推荐文章于 2024-12-26 01:06:55 发布 · 2.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#百度 #python #html

本文介绍了子域名的概念，并提供了使用Python通过百度搜索来收集特定域名子域名的方法。通过site:、domain:、inurl:等搜索语法，可以实现子域名的查找。示例代码中，针对qq.com的子域名进行抓取，并强调了HTTP头中accept和cookie字段的重要性，以避免安全验证的阻碍。由于百度搜索策略可能变化，作者提醒代码可能随时间失效。

先说一下子域名是个啥玩意

比如qq.com这种一共两段，后面就一个.com .cn啥的，就是顶级域名。一般你要是想自己建个站，那需要买的域名就是这种

如果前面多点什么，像www.qq.com，q.pay.qq.com这种，那就是属于qq.com的子域名了

用百度收集这玩意的方法不少，像site: domain: inurl: 都能达到目标，随便找一个用就行

那么直接上代码

查询目标是qq.com，直接写死在里面，要换的话在url里改一下就好了

注意其中header里的accept和cookie，不加的话会被安全验证拦住

import requests  # 用于请求网页
from bs4 import BeautifulSoup  # 用于处理获取的到的网页源码数据
from urllib.parse import urlparse  # 用于处理url
import re

def baidu_search():
    Subdomain = []  # 定义一个空列表用于存储收集到的子域名
    a = 0
    # 定义请求头，绕过反爬机制
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        'cookie': 'BIDUPSID=24E6DD8A5394939D4EB3D73C0D2CDF30; PSTM=1630910480; BAIDUID=