python实例

最新推荐文章于 2021-02-03 22:54:41 发布

是翼不是一

最新推荐文章于 2021-02-03 22:54:41 发布

阅读量193

点赞数

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/Hhytyq/article/details/98476188

python 专栏收录该内容

15 篇文章

订阅专栏

本文详细介绍了使用Python进行网络爬虫的基本操作，包括获取网页内容、处理编码、参数化请求、下载并保存网络图片，以及查询IP归属地的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一：

import requests
r=requests.get("https://www.bilibili.com/")
print(r.status_code)
print(r.text[:1000])

在这里插入图片描述

二：

import requests
r=requests.get("https://www.bilibili.com/")
r.encoding=r.apparent_encoding#更改编码方式
print(r.text[:1000])

在这里插入图片描述
告知是python爬虫：

模拟浏览器

import requests
kv={'user-agent':'Mozilla/5.0'}
r=requests.get("https://www.bilibili.com/",headers=kv)
r.encoding=r.apparent_encoding#更改编码方式
print(r.request.headers)
print(r.status_code)

在这里插入图片描述
三：

import requests
kv={'wd':'python'}
r=requests.get("https://www.baidu.com",params=kv)
r.encoding=r.apparent_encoding#更改编码方式
print(r.request.headers)
print(r.status_code)
print(r.request.url)
print(len(r.text))

在这里插入图片描述
四：网络图片爬取和存储

import requests
import os
url="https://i0.hdslb.com/bfs/sycp/creative_img/201908/4dfe3537460131610fe60a13f8979e62.jpg"
root="E://abc//"
path=root+url.split('/')[-1]
try:
        if not os.path.exists(root):
                os.mkdir(root)
        if not os.path.exists(path):
                r=requests.get(url)
                with open(path,"wb") as f:
                    f.write(r.content)
                    print("sace file success")
        else:
                    print("file is existed")
except:
        print("find fail")

五：IP归属地查询：
接口：
在这里插入图片描述

import requests
url="http://m.ip138.com/ip.asp?ip="
try:
    r=requests.get(url+'202.204.80.112')
    a=r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[-500:])
except:
    print("find fail")