WwLK123的博客

是 Python 中一个用于从 HTML 或 XML 文件中提取数据的库。它提供了简单、直观的 API，可以解析网页、搜索元素、修改内容等，广泛用于网页爬取和数据处理。缺点：效率没有lxml效率高。优点：接口设计人性化，使用方便。find。

可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。：提取selector对象的data属性值。：可以直接解析response中的内容。提取selector列表的第一个数据。response属性和方法。是一个为了爬取网站数据，：返回的是二进制文件。

利用request和BeautifulSoup模块爬取书本内容，实现批量获取书名对应的豆瓣评分。

爬取豆瓣电影排行榜电影数据。

post请求的参数，不会拼接在url的后面的，而是需要放在请求对象定制的参数中。编码之后，必须调用encode()方法。post请求的参数 必须要进行编码。

反爬是指网站通过检测请求头中的 User-Agent 来识别并屏蔽爬虫。许多网站会检查 UA 是否是常见的爬虫。，并拒绝非浏览器的访问。因此，我们需要使用 伪装 UA、随机 UA 甚至 UA 池 来绕过这种反爬机制。主要用于对 URL 参数进行编码，以确保它们可以安全地传输。打印结果：可以将字典转换为 URL 编码的查询字符串。处理 GET 请求时的 URL 参数构造。会报错，无法识别汉字，所以需要通过。在 Python 爬虫中，在 Python 爬虫中，把汉字转换为能识别的编码。

urllib库的基本使用。

通过程序模拟浏览器，去向服务器发起请求，获取响应信息。