普通网友-优快云博客

原创 Scrapy中间件引入Cookie的方法

首先在项目中创建一个中间件文件，通常位于中：python"""自定义Cookie中间件功能：为所有/特定请求添加Cookie""""""初始化中间件:param cookies: 要添加的Cookie字典""""""Scrapy创建中间件的工厂方法"""# 从settings.py获取配置的Cookie"""处理每个请求，添加Cookie"""# 检查请求是否已经有Cookie(避免覆盖# 添加我们配置的Cookie。

2025-08-15 15:28:36 775

原创 Scrapy爬虫获取子页面数据

使用`scrapy.extensions.closespider.CloseSpider`限制运行时间或项目数。- 对于大量数据，考虑使用`request.cb_kwargs`(Scrapy 2.0+)在Scrapy爬虫开发中，获取子页面数据是常见需求。通过以上方法，你可以高效地处理各种子页面数据抓取场景，构建健壮的Scrapy爬虫。- 对于带参数的URL，可能需要自定义`DUPEFILTER_CLASS`# 提取子页面链接但不跟踪，调用parse_item处理。# 发起子页面请求，指定回调。

2025-08-15 15:25:44 1513 1

原创使用Python将PDF/HTML转为Markdown的几种方法

在爬虫项目中，我们经常需要将PDF或HTML内容转换为更易处理的Markdown格式。以下是几种常用的。

2025-08-15 15:22:01 1636

原创 Python爬虫生成随机请求头 - fake-useragent封装

路径python。

2025-08-15 15:17:54 1377

原创 Python爬虫解析HTML代码

soup = BeautifulSoup(html_content, 'html.parser') # 也可以使用'lxml'或'html5lib'links = tree.xpath('//a/@href') # 获取所有a标签的href属性。titles = tree.xpath('//h1/text()') # 获取所有h1标签的文本。d('a').attr('href') # 获取第一个a标签的href。d('title').text() # 获取title文本。

2025-08-15 15:15:33 1704

原创 GBDT 和 Random Forest 热度为什么一直那么高

GBDT和Random Forest的热度源于其在。

2025-08-14 11:58:45 728

原创 Python实现自动化报表

product_analysis['销售额占比'] = (product_analysis['销售额'] / product_analysis['销售额'].sum()).round(4)monthly['利润率'].plot(kind='line', marker='o', ax=ax3, color='green')monthly['销售额'].plot(kind='bar', ax=ax1, color='steelblue')

2025-08-14 11:56:23 1195

原创 Python3实现中文文章分词、词云图与TOP词频统计

python# 添加自定义词典# user_dict.txt格式：# 词语词频(可省略) 词性(可省略)# 例如：# 区块链 10 n# 人工智能 5 n。

2025-08-14 11:51:59 757

原创 Python实现GBDT（参数介绍；调用；调参）

GBDT是通过迭代地训练一系列决策树来最小化损失函数的梯度提升算法。每棵新树都试图纠正前一棵树的错误。参数说明典型值树的数量（迭代次数）50-500学习率/收缩系数0.01-0.2loss损失函数（分类：deviance/exponential；回归：ls/lad/huber/quantile）随机种子任意整数。

2025-08-14 11:49:03 1124

原创 Python3 实现文本相似度计算（查重机制）

print(f"Jaccard相似度: {jaccard_similarity(text1, text2):.2f}")print(f"TF-IDF余弦相似度: {tfidf_cosine_similarity(texts):.2f}")print(f"SimCSE相似度: {simcse_similarity(text1, text2):.2f}")print(f"SBERT相似度: {sbert_similarity(text1, text2):.2f}")

2025-08-14 11:22:12 1016

原创 Python3爬虫实现批量获取国家区号

print("数据已保存为country_codes_countrycode.csv")rows = table.find_all('tr')[1:] # 跳过表头。print("合并后的数据已保存为merged_country_codes.csv")print("数据已保存为country_codes_wiki.csv")print("数据已保存为country_codes_api.csv")print("数据已保存为country_codes_lib.csv")'国家/地区': country,

2025-08-14 11:19:15 1258

zpzsp60573的博客