爬虫初级一

最新推荐文章于 2024-02-28 11:40:06 发布

码手西风

最新推荐文章于 2024-02-28 11:40:06 发布

阅读量476

点赞数 2

CC 4.0 BY-SA版权

分类专栏：网络爬虫初级

本文链接：https://blog.youkuaiyun.com/Tommy1295/article/details/80677624

网络爬虫初级专栏收录该内容

6 篇文章

订阅专栏

本文介绍使用Python和requests库实现的基本爬虫技术，包括获取网页内容、模拟百度搜索、查询IP地址及图片下载等五个实例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本部分参考：MOOC课程：嵩天

主要内容：爬虫获取html格式的简单方法

1.爬虫的基础

2.爬虫的最简单框架

import requests

try:

    r = requests.get("https://baidu.com")

    r.encoding = r.apparent_encoding
    print(r.text)
except:

    print("爬取失败")

但是，我们知道，有些网站是会查看你的user agent，如果你不是浏览器，就会阻止你访问。

解决方法：

import requests
url = "某网址"
try:
    kv = {"user-Agent":'Mozilla/5.0'}
    r = requests.get(url,headers=kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[1000:2000])
except:
    print("爬取失败")

3.爬虫的五个简单实例

1.模拟百度搜索

# 百度搜索
import requests
keyword = input('输入搜索关键字：')
try:
    kv = {'wd':keyword}
    r = requests.get("http://www.baidu.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
    r.encoding = r.apparent_encoding
    print(r.text[1000:2000])
except:
    print("爬取失败")

2.IP地址查询

# IP地址
import requests
url = "http://m.ip138.com/ip.asp?ip="
adr = input('请输入类似202.205.80.112的地址：')
try:
    r = requests.get(url+adr)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[-500: ])
except:
    print("爬取失败")

3.图片爬取

# 定向获取图片
import requests
import os
url = "http://zsw.bjtu.edu.cn/data/upload/ueditor/20160511/5732dd92e02cf.jpg"
root = "E://markdown//"
path = root+url.split('/')[-1]  # 这里的path不能和root一样
if not os.path.exists(root):
    os.mkdir(root)
r = requests.get(url)
with open(path,'wb') as f:
    f.write(r.content)
    f.close()
    print('图片爬取成功')