woyaokaixing的博客

摘要：BeautifulSoup(BS4)是Python解析HTML/XML的库，提供简单API提取网页数据。支持多种解析器，自动修复不规范HTML。安装需pip install beautifulsoup4 lxml。核心用法包括CSS选择器（类、ID、层级、属性等），如soup.select(".price_color")提取价格。相比lxml，BS4更易用但性能稍弱，适合爬虫新手处理静态页面。

Python类变量与实例变量区别摘要 类变量和实例变量的核心区别在于归属关系： 类变量属于类本身，所有实例共享 实例变量属于具体实例，彼此独立 使用建议： 类变量通过类名访问，存储共享数据 实例变量通过实例名访问，存储私有数据 避免通过实例修改不可变类变量 可变类变量的修改会影响所有实例

摘要： Requests是Python中最流行的HTTP请求库，语法简洁易用，支持GET/POST等请求方法，适用于网页爬取和API调用。核心功能包括：通过get()/post()发送请求，使用headers/params/data等参数配置请求头和数据，通过text/content/json()获取响应内容。关键技巧包括设置User-Agent反爬、超时控制(timeout)、代理IP(proxies)和Session会话保持。常见问题如403/404错误、编码乱码等可通过调整请求头、编码格式或代理解决，

本文介绍了User-Agent(UA)及其在爬虫中的应用。UA是客户端向服务器标识自身软硬件配置的特殊字符串，包含设备、浏览器、系统等信息。UA池是由多个不同UA组成的集合，其核心作用是通过随机切换UA来模拟真实用户访问的多样性，从而规避网站基础反爬策略。使用UA池能有效避免因单一UA频繁请求而被识别为爬虫，降低被封禁风险。实际应用中可手动构建UA列表或使用工具库生成，配合随机请求间隔等措施提升爬虫稳定性。

Python函数参数传递本质是引用传递，变量是对对象的引用。对象分为可变(列表、字典、集合)和不可变(数字、字符串、元组)两类。对不可变对象，只能通过改变变量引用来实现"修改"，如x=3改为x=4。这种机制决定了Python参数传递的特性，也是面试常考的重点内容。

例子： [[1, 2], [2, 3], [2, 4]] + [1, 4] = 前面的每个小数组都加一遍后面的数组。一个的维度和另一个的子维度相同，进行加法是将这个array与哪个小的array一次相加。维度相同的两个array对位运算，进行加法就是对位相加，结果和它们原来的维度相同。向量化的优势在于比普通方法提高了运行效率。在-10到10之前生成100个数。（下面的情况叫广播机制）