- 博客(3)
- 收藏
- 关注
RSS订阅原创 基于Scrapy框架的爬虫
Scrapy是一个高效的Python开源爬虫框架，其核心优势包括异步处理机制、多种数据提取方法、自动请求管理和URL去重功能。框架采用模块化设计，包含引擎（流程控制中心）、调度器（请求队列管理）、下载器（网页获取）、中间件（功能扩展）和管道（数据存储）等组件。实现流程为：爬虫生成请求→引擎调度→下载器访问→解析响应→管道处理数据。使用Scrapy只需关注爬虫逻辑和数据存储，其他流程由框架自动处理。典型应用包括通过XPath解析网页数据，使用items定义数据结构，并通过管道将结果保存为多种格式。其异步特性可
2025-07-13 16:05:18
1701
1
原创 使用python从网站抓取数据
当你想要通过爬虫来获取网站数据时，时刻检查你的代码逻辑是否正确是一件很重要的事情，当你发送网站请求你可以print()来查看网址是否正确，当你找到标签你可以用print()查看你标签找的数据是否正确，是否是你需要的，通过print()查看你的每一步是否正确是非常重要，假想当你代码写到最后一步，你发现你没有得到你想要的信息，你要该从何开始检查呢，所以为了避免后面查找错误的狼狈，这样做是非常有必要的，希望这些内容对你有帮助。做完基本工作，我们开始第一个点找所需要的标签，在此之前先创建一个空列表存储信息。
2025-04-08 20:21:06
717
原创 机器学习——线性回归模型(1)
当我们开始接触机器学习，我们会把他分为监督机器学习和非监督机器学习监督机器学习又是怎么回事呢：是指一种输入到输出的映射算法，其关键特征是你给学习算法提供学习的例子，这些例子包含正确答案，这里的正确答案是指给定输入x的正确标签y，通过观察输入x和期望输入标签y的正确配对学习算法最终学会，仅通过输入而不需要标签就能给出相当准确的预测或猜测而今天所了解的是监督学习中一种非常常见的模型——线性回归模型。
2025-03-29 19:37:05
478
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人