Huggingface网页解析和下载爬虫

最新推荐文章于 2025-07-01 07:00:00 发布
最新推荐文章于 2025-07-01 07:00:00 发布
阅读量1.3k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Python 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41967600/article/details/134279512
文章介绍了如何使用Python库requests和BeautifulSoup解析HuggingFace平台上的InternLM模型页面，提取链接并演示了下载其中一个模型文件的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

解析网页：

import requests
from bs4 import BeautifulSoup

# 目标网页URL
url = 'https://huggingface.co/internlm/internlm-20b/tree/main'

# 发送GET请求
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 假设我们要找到所有的链接
    for link in soup.find_all('a'):
        href = link.get('href')
        if href:  # 确保href不为空
            print(href)
else:
    print("网页请求失败，状态码：", response.status_code)


/
/models
/datasets
/spaces
/docs
/pricing
/login
/join
/internlm
/internlm/internlm-20b
/models?pipeline_tag=text-generation
/models?library=transformers
/models?library=pytorch
/models?other=internlm
/models?other=feature-extraction
/models?other=custom_code
/models?license=license%3Aapache-2.0
/internlm/internlm-20b
/internlm/internlm-20b/tree/main
/internlm/internlm-20b/discussions
/internlm/internlm-20b/tree/main
/internlm/internlm-20b/commits/main
/internlm/internlm-20b/commits/main
/x54-729
/internlm/internlm-20b/commit/2d83118d863d24565da1f9c6c0fe99d3e882f25c
/internlm/internlm-20b/blob/main/.gitattributes
/internlm/internlm-20b/resolve/main/.gitattributes?download=true
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/blob/main/README.md
/internlm/internlm-20b/resolve/main/README.md?download=true
/internlm/internlm-20b/commit/509b748b2160d0571d067d85f8a21df018cdee29
/internlm/internlm-20b/commit/509b748b2160d0571d067d85f8a21df018cdee29
/internlm/internlm-20b/blob/main/config.json
/internlm/internlm-20b/resolve/main/config.json?download=true
/internlm/internlm-20b/commit/2d83118d863d24565da1f9c6c0fe99d3e882f25c
/internlm/internlm-20b/commit/2d83118d863d24565da1f9c6c0fe99d3e882f25c
/internlm/internlm-20b/blob/main/configuration_internlm.py
/internlm/internlm-20b/resolve/main/configuration_internlm.py?download=true
/internlm/internlm-20b/commit/53d4840ed4326a633e59501ba4ac3342757fed34
/internlm/internlm-20b/commit/53d4840ed4326a633e59501ba4ac3342757fed34
/internlm/internlm-20b/blob/main/generation_config.json
/internlm/internlm-20b/resolve/main/generation_config.json?download=true
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/blob/main/modeling_internlm.py
/internlm/internlm-20b/resolve/main/modeling_internlm.py?download=true
/internlm/internlm-20b/commit/c8f2f9979075c3ccd0399d042823ac719d545840
/internlm/internlm-20b/commit/c8f2f9979075c3ccd0399d042823ac719d545840
/internlm/internlm-20b/blob/main/pytorch_model-00001-of-00005.bin
/docs/hub/security-pickle
/internlm/internlm-20b/resolve/main/pytorch_model-00001-of-00005.bin?download=true
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/blob/main/pytorch_model-00002-of-00005.bin
/docs/hub/security-pickle
/internlm/internlm-20b/resolve/main/pytorch_model-00002-of-00005.bin?download=true
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/blob/main/pytorch_model-00003-of-00005.bin
/docs/hub/security-pickle
/internlm/internlm-20b/resolve/main/pytorch_model-00003-of-00005.bin?download=true
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/blob/main/pytorch_model-00004-of-00005.bin
/docs/hub/security-pickle
/internlm/internlm-20b/resolve/main/pytorch_model-00004-of-00005.bin?download=true
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/blob/main/pytorch_model-00005-of-00005.bin
/docs/hub/security-pickle
/internlm/internlm-20b/resolve/main/pytorch_model-00005-of-00005.bin?download=true
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/blob/main/pytorch_model.bin.index.json
/internlm/internlm-20b/resolve/main/pytorch_model.bin.index.json?download=true
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/blob/main/special_tokens_map.json
/internlm/internlm-20b/resolve/main/special_tokens_map.json?download=true
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/blob/main/tokenization_internlm.py
/internlm/internlm-20b/resolve/main/tokenization_internlm.py?download=true
/internlm/internlm-20b/commit/632df84a18d93aa5b40238a1472a8ffb38e2611c
/internlm/internlm-20b/commit/632df84a18d93aa5b40238a1472a8ffb38e2611c
/internlm/internlm-20b/blob/main/tokenizer.model
/internlm/internlm-20b/resolve/main/tokenizer.model?download=true
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/blob/main/tokenizer_config.json
/internlm/internlm-20b/resolve/main/tokenizer_config.json?download=true
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa
/internlm/internlm-20b/commit/b8825fe3394608fe84f0f5eb6471454384fb83aa

下载代码：

import requests
from tqdm.auto import tqdm

file_url = 'https://huggingface.co/internlm/internlm-20b/resolve/main/pytorch_model-00001-of-00005.bin?download=true'

# 获取文件大小
response = requests.head(file_url)
total_size = int(response.headers.get('content-length', 0))

# 设置流下载模式
response = requests.get(file_url, stream=True)

# 检查是否请求成功
if response.status_code == 200:
    file_path = 'pytorch_model-00001-of-00005.bin'
    # 设置进度条
    with tqdm.wrapattr(open(file_path, "wb"), "write", miniters=1,
                       total=total_size, desc=file_path) as fout:
        for chunk in response.iter_content(chunk_size=4096):
            fout.write(chunk)
    print("文件下载完成")
else:
    print("下载失败，状态码：", response.status_code)
《Python基础教程》内容总览篇（持续更新中）
weixin_43178406的博客
08-26 30万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为优快云博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
基于Transformers与SimCSE的Python爬虫内容相似度检测实战：从原理到亿级数据优化
2201_76125261的博客
06-24 54
本文将深入探讨如何利用Python爬虫结合最新的自然语言处理技术（如Transformers和SimCSE）构建高效的内容相似度检测系统。我们将从基础爬虫开发讲起，逐步深入到分布式爬虫架构、深度学习模型部署以及大规模相似度计算优化，最终实现一个可处理亿级数据的工业级解决方案。新闻聚合去重版权侵权检测电商商品相似度分析社交媒体内容监控本文详细介绍了从基础爬虫开发到构建亿级内容相似度检测系统的完整技术栈。
实验二：Huggingface数据集页面遍历爬取
Xm041206的博客
04-24 543
read.pytry:except:all_tag=[]# 提取标签文本try:"""print("标签:", tag_text)"""# 提取小标签及其链接try:print("小标签:", small_tag_text)print("小标签链接:", small_tag_link)continuecontinue。
【huggingface transformers笔记】基于Bert的中文电商文本分类
晴空
10-31 810
基于Bert的中文电商文本分类
Python爬虫（一）—爬虫的预备知识（爬虫概念、HTTP与HTTPS、请求与响应）
luoz_java的博客
05-26 543
这篇博文，主要是结合CriseLYJ/Python-crawler-tutorial-starts-from-zero内关于Python爬虫的预备知识进行记录的。 爬虫的定义、分类和流程 爬虫定义 网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。 爬虫就是模拟浏览器的行为，越像越好，越像就越不容易被发现。 原则...
2019年十大顶级Python库
Python爬虫和机器学习专栏
03-11 638
点击上方“Python高校”，关注文末干货立马到手欢迎回到我们第5年度版的顶级Python库列表。在这里，你会发现一些开源世界中隐藏的珍宝，它们会让你开始你的新项目，或者让你现有的项目更...
基于Llamaindex的网页内容爬取实战
大数据，大模型，服务器，技术、架构，方案
12-13 655
本文不关注如何解析网页 html 元素和各种 python 爬虫技术，仅作为一种网页数据的预处理手段进行研究。Llamaindex 也并不是爬虫技术的集大成者，使用它是为了后续的存查一体化。观察到获取到的正文内容无用字符，边角料颇多。使用下面的 Loader，获取到的正文效果好很多。关于这个报错，查阅了官方文档，VectorStoreIndex 的确是没有。这个方法的，所以应该是官方示例 demo 写错了。注释部分是补充安装的内容。
LangChain实战：从零构建网页爬虫与内容分析工具
2501_91588927的博客
04-11 1387
LangChain作为大语言模型（LLM）的编程框架，正在重塑AI应用开发范式。其核心价值在于：‌将LLM、记忆模块、工具调用等抽象为可插拔组件通过Chain实现复杂逻辑的流程化控制支持OpenAI、HuggingFace等主流模型平台本文将以‌网页内容抓取与分析‌场景为例，演示如何用LangChain快速构建智能工具。
Python爬虫与图像识别：搜索引擎的多模态搜索
专注搜索引擎技术
05-13 825
网络爬虫系统的设计与实现图像特征提取与识别技术多模态数据索引与检索算法实际系统集成与性能优化文章首先介绍基础概念和技术背景，然后深入核心算法原理，接着通过实际案例展示完整实现，最后讨论应用场景和未来趋势。多模态搜索：能够同时处理和理解多种数据形式(如文本、图像、视频等)的搜索技术特征提取：将原始数据转换为具有代表性的数值向量的过程倒排索引：一种数据结构，用于快速查找包含特定特征的文档自监督学习：减少对标注数据的依赖多模态预训练：如CLIP、ALIGN等统一架构边缘计算。
langchain调用大模型方式和模板角色解析
java_leaf的博客
05-10 977
总结：llm.invoke() 是 LangChain 中最直接的模型调用方式，平衡了灵活性和易用性。我们可以理解 大模型是数据库，langchain是jdbc驱动。LangChain 是一个用于开发由大型语言模型 (LLMs) 驱动的应用程序的框架。案例：如果想添加模型的历史回复（多轮对话），可以加入 assistant 角色。总结：我一般使用ollama和HuggingFace 模型其他很少用。这样分角色：能精细控制模型行为，适合复杂任务。作用：同步调用语言模型生成文本。如果调用openAI的模型?
！LangChain模型微调的基本概念与流程解析
最新发布
Android开发领域创作者
07-01 1326
LangChain是一个用于开发基于大型语言模型（LLM）的应用程序的框架。它提供了一系列工具和组件，帮助开发者将LLM与其他数据源和计算资源结合，构建强大的自然语言处理应用。模块化设计：LangChain提供了多种模块，如Prompt模板、索引、链等，这些模块可以灵活组合，满足不同的应用需求。与多种LLM集成：LangChain支持与多种LLM集成，如OpenAI的GPT系列、Hugging Face的Transformers等。支持多种数据源。
[特殊字符]Python爬虫实战：抓取社交媒体数据并进行情感分析
2201_76125261的博客
04-22 288
在社交网络高度发达的今天，用户每天在微博、Twitter、知乎、小红书等平台上发布亿级别的信息，其中情绪信息广泛存在于每一条评论、状态与回复之中。🟢正面情绪（如满意、赞扬）🔴负面情绪（如愤怒、不满）⚪中性情绪（如陈述、无强烈态度）
智能新闻聚合AI Agent：LLM驱动的信息整合与分析
AI天才研究院
02-25 967
在当今信息爆炸的时代，新闻信息呈现出海量、繁杂且分散的特点。传统的新闻获取方式已经难以满足用户对高效、精准、个性化新闻内容的需求。智能新闻聚合AI Agent的出现，旨在利用大语言模型（LLM）的强大能力，将来自不同渠道的新闻信息进行整合，并对其进行深入分析，为用户提供更优质、更符合个性化需求的新闻服务。本文的范围主要聚焦于智能新闻聚合AI Agent的技术实现层面，包括核心概念、算法原理、数学模型、项目实战等方面，同时也会探讨其实际应用场景、相关工具资源以及未来发展趋势。背景介绍。
构建基于NLP的金融合同风险条款提取系统
AI天才研究院
03-27 445
在金融领域，合同是规范各方权利和义务的重要法律文件。金融合同中往往包含大量的条款，其中一些条款可能存在潜在的风险，如违约条款、利率调整条款等。人工审查金融合同以识别这些风险条款不仅效率低下，而且容易出现疏漏。因此，构建基于NLP的金融合同风险条款提取系统具有重要的现实意义。本系统的目的是利用自然语言处理技术，自动从金融合同文本中提取出潜在的风险条款，为金融机构和企业提供快速、准确的合同风险评估工具。系统的范围涵盖了常见的金融合同类型，如贷款合同、保险合同、投资合同等。
Python编写程序，生成一个包含 20 个随机整数的列表，然后对其中偶数下标的元素进行降序排列，奇数下标的元素不变。
热门推荐
AIOT魔法师
12-26 1万+
import random # 第一题 list=[] for i in range(20): t=random.randint(1,100)#1-99 list.append(t) print(list) list_Ou=[] for i in range(20): if(i%2==0): list_Ou.append(list[i]) print(list_Ou) list_Ou=sorted(list_Ou,reverse=True) print(list.
编写程序，输入一个大于2的自然数，然后输出小于该数字的所有素数组成的列表。
AIOT魔法师
12-26 1万+
首先，要明白什么是素数：素数是处理1和本身没有其他因数的数。 其次，根据题目要求小于该数的所有素数，所以说输入的这个数字，起到一个范围作用。也就是在遍历这个范围内的所有数字，并判断每个数字是不是素数即可，是素数存入list中。 代码： t=int(input("请输入一个大于2的自然数")) ls=list()#定义一个列表 for j in range(2,t):#输入数字范围 count=0 for i in range(1,j+1): #这里范围是从1到该数本身
Pycharm中使用pip指令安装依赖库文件
AIOT魔法师
09-23 1万+
声明：此教程专为山东省大学生软件设计大赛官方所写，谢谢大家的支持。 首先我们打开Pycharm显示到主界面。 点击左下角的Terminal按钮 弹出如图所示的对话框： 在这里我们可以使用pip指令安装依赖库文件，在此我们以安装pymep这个库为例子。 在terminal窗口中输入 pip install pymep然后回车等待安装结束即可。 当提示Successfully...
python从0000到9999数字表
AIOT魔法师
12-26 8649
for i in range(10000): print(f'{i:04}')
tkinter选择文件或文件夹
AIOT魔法师
04-29 5691
1、选择文件： from tkinter import filedialog img_path = filedialog.askopenfilename() 2、选择文件夹： from tkinter.filedialog import askdirectory IMG_PATH = askdirectory()
dify和Elasticsearch工作流的应用案例
03-15
### Dify与Elasticsearch结合的工作流应用案例 #### 背景介绍 Dify 是一种支持复杂对话场景构建的技术框架，能够通过自定义 Agent 和多阶段工作流实现智能化的任务处理[^1]。而 Elasticsearch 则是一种分布式搜索引擎，擅长全文检索、数据分析以及大规模数据存储[^2]。两者的结合可以显著提升企业级应用场景中的效率。 --- #### 多阶段工作流设计 ##### 需求澄清阶段 在这一阶段，系统会通过自然语言理解技术解析用户的输入，并识别其中的模糊部分。例如，在涉及文档查找的需求中，如果用户仅提供了关键词而不明确范围，则可以通过追问机制进一步获取上下文信息。此过程可由 Dify 的 `ResearchAgent` 类完成： ```python class ClarificationAgent(Node): def run(self, inputs): query = inputs['query'] if not is_query_clear(query): # 假设有一个函数判断查询是否清晰 follow_up_questions = generate_follow_ups(query) return {"follow_up": follow_up_questions} else: return {"clarified_query": query} ``` 上述代码片段展示了如何动态生成追问问题以消除歧义。 --- ##### 知识检索阶段 在此阶段，利用 Elasticsearch 提供的强大搜索功能来执行高效的数据检索操作。具体来说，可以从内部数据库（如向量数据库）和外部资源（如网络爬虫抓取的内容）并行查询相关信息。以下是基于 Elasticsearch 实现的一个简单示例： ```python from elasticsearch import Elasticsearch def elastic_search(query, index_name="documents"): es_client = Elasticsearch() response = es_client.search( index=index_name, body={ "query": { "multi_match": { # 支持跨字段匹配 "query": query, "fields": ["title", "content"] } }, "size": 10 # 返回前十个结果 } ) hits = [hit["_source"] for hit in response["hits"]["hits"]] return hits ``` 该方法允许快速定位目标文档或记录，从而为后续决策提供依据。 --- ##### 方案生成阶段 最后一步是整合来自不同来源的信息形成最终解答。这可能涉及到结构化数据提取、摘要生成或者可视化展示等多种形式。下面是一个简单的例子说明如何将 ElasticSearch 查询到的结果转化为易于阅读的形式： ```python def summarize_results(results): summaries = [] for result in results: summary = f"Title: {result.get('title', 'N/A')}\nContent Summary: {summarize_text(result.get('content', ''))}" summaries.append(summary) return "\n---\n".join(summaries) # Helper function to create short abstract of long texts. def summarize_text(text): from transformers import pipeline summarizer = pipeline("summarization") return summarizer(text)[0]['summary_text'][:200] + "..." elastic_results = elastic_search(clarified_query, "knowledge_base") final_output = summarize_results(elastic_results) return final_output ``` 这里采用了 HuggingFace Transformers 库来进行自动文本总结。 --- #### 主要优势分析 - **高性能**：借助 Elasticsearch 的倒排索引机制，即使面对海量数据也能保持毫秒级响应速度。 - **灵活性**：通过调整插件配置文件路径 `/plugins` 或工具管理接口 `/tools` ，管理员可以根据实际业务需求灵活定制扩展模块。 - **易维护性**：整个流程被拆解成独立的功能单元，便于单独测试调试以及后期升级优化。 ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AIOT魔法师

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值