python爬虫实习生面试试题

原创

已于 2023-03-21 22:31:29 修改 · 304 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#python

于 2023-03-15 13:44:21 首次发布

本文介绍了如何在Python中使用requests库进行HTTP请求，特别是模拟User-Agent来避免被网站识别为机器人。同时，利用XPath解析HTML页面，查找特定属性的a标签。还展示了递归函数的概念，以及如何创建一个闭包函数，该函数返回另一个处理数字列表的函数，用于过滤列表中的元素。文章还涉及了模拟登录操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

User-Agent是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。用较为普通的一点来说，是一种向访问网站提供你所使用的浏览器类型、操作系统及版本、CPU 类型、浏览器渲染引擎、浏览器语言、浏览器插件等信息的标识。请写一段随机ua访问网页的代码

import requests
import random
#定义UA列表
user_agents = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; AS; rv:11.0) like Gecko",
    "Mozilla/5.0 (Windows