Python的简易爬虫

最新推荐文章于 2025-07-17 21:36:14 发布

原创最新推荐文章于 2025-07-17 21:36:14 发布 · 359 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python

python 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了一个简单的Python爬虫实现过程，通过requests库抓取百度搜索结果页面，并提取URL信息。适合初学者理解爬虫的基本原理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上代码:

# coding: UTF-8
import requests
//使用百度搜索
url = "http://www.baidu.com/s?wd="
wd = "joyful"
url = url + wd
#获取链接到的页面（html，就跟你右键浏览器查看源代码差不多）
r = requests.get(url)
#转字符串
string=r.text
def FIND(string):
    #定义两个变量：分别表示开始的字符串，结束的字符串，用于提取
    begin = "http"
    end = ".com"
    #使用find找到开始和结束截取的位置
    start = string.find(begin)
    stop = string.find(end)
    sub_str = string[start:stop + len(end)]
    print(sub_str)
    count = string.count(begin)
    for x in range(0,count):
        start = string.find(begin,stop)
        stop = string.find(end,start)
        sub_str = string[start:stop + len(end)]
        print(sub_str)
FIND(string)

可以说爬虫的基础就是这样了，更厉害的爬虫也是这种思路，在爬取到的页面上采集信息，就是爬虫。
如有错误请大佬指教，万分感谢