路飞学院-Python爬虫实战密训班-第1章

最新推荐文章于 2024-01-12 14:03:37 发布

转载最新推荐文章于 2024-01-12 14:03:37 发布 · 295 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/aili10000/p/9263005.html

文章标签：

#python #爬虫 #json

本文介绍了如何使用Python的requests和BeautifulSoup库进行网页抓取。详细解释了安装过程、发送HTTP请求的方法、解析网页内容的技术，并提供了示例代码。

学习笔记：

通过本章的学习，学习到了requests和BeautifulSoup模块的安装及使用方法。以及爬取给类网站的方法和知识点。

1、requests和BeautifulSoup 安装 pip install requests......

2、使用

import requests
from bs4 import BeautifulSoup

GET请求

r = requests.get('http://')
r.text 返回headers中的编码解析的结果，可以通过r.encoding = 'gbk'来变更解码方式
r.content返回二进制结果
r.json()返回JSON格式，可能抛出异常
r.status_code
r.raw返回原始socket respons，需要加参数stream=True

传递headers

headers ={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36',
'Host':'github.com'
}

传递cookies

提交data
data = {
'commit':'Sign in',
'utf8':'✓',
}

req_submit = requests.post(url=url,data=data,headers=headers1,cookies=cookies)

获取页面信息

req_submit.content.decode()

####################
加载要解析的文本内容
soup = BeautifulSoup("<html>data</html>",'html.parser')
查找相应的标签
soup_html = soup.find(name='html')

取出文本
soup_html.text

转载于:https://www.cnblogs.com/aili10000/p/9263005.html