- 博客(18)
- 收藏
- 关注
RSS订阅原创 使用Hugging Face Transformers进行多标签文本分类推理
多标签文本分类是指一个文本样本可能同时属于多个类别的任务（如一篇新闻同时属于"政治"和"经济"类别）。这与单标签分类（每个样本仅属一个类别）有本质区别。单标签任务：使用softmax激活函数多标签任务：使用sigmoid激活函数+阈值判定。
2025-06-16 03:33:58
451
原创 项目后端部分开发
这是一个基于 Electron 和 SQLite 的大模型自动管理的AI笔记软件后端架构，实现了完整的文档管理、标签分类、对话上下文管理等功能。项目采用了分层架构设计，包括数据访问层、业务逻辑层和接口服务层，具有良好的模块化和扩展性。文档智能管理（AI集成）：自动生成摘要、标签和分类对话式组织：通过标签关联文档形成对话流多窗口协作：主窗口+编辑窗口的交互模式本地化存储：SQLite嵌入式数据库实现数据持久化高效检索：支持标签、分类、模糊搜索等多种查询方式。
2025-06-16 01:17:12
778
原创 山东大学软件学院创新实训团队周报（五）
属性名类型默认值说明idNumber文档的唯一标识符titleString文档标题contentString文档内容摘要categoryArray[]文档所属分类tagsArray[]文档标签Booleanfalse是否显示分类信息Booleanfalse是否显示内容摘要showTagBooleanfalse是否显示标签信息。
2025-06-16 00:07:28
1014
原创 山东大学软件学院创新实训团队周报（七）
text: content//调用模型的summary接口并传入content})})这部分我们采用了8000端口运行，为了解耦另一部分在8001端口，这里每个函数都跟模型规定的方法url（如下）对应。通过上网查询标准的通信方式以及之前已经定义好了的apiclient，这边也是通过少量的代码就分别完成了前后端的通信以及后端与模型间的通信。
2025-06-15 22:22:19
873
原创 山东大学软件学院创新实训团队周报（六）
这是一个基于 Electron 和 SQLite 的大模型自动管理的AI笔记软件后端架构，实现了完整的文档管理、标签分类、对话上下文管理等功能。项目采用了分层架构设计，包括数据访问层、业务逻辑层和接口服务层，具有良好的模块化和扩展性。自动生成摘要、标签和分类对话式组织：通过标签关联文档形成对话流多窗口协作：主窗口+编辑窗口的交互模式本地化存储：SQLite嵌入式数据库实现数据持久化高效检索：支持标签、分类、模糊搜索等多种查询方式。
2025-06-14 18:19:03
619
原创 使用PEGASUS模型进行中文文本摘要模型微调
文本摘要是自然语言处理中的核心任务，旨在将长文本压缩为保留核心信息的简短摘要。PEGASUS是Google专门为摘要任务设计的预训练模型，其独特的GSG预训练目标（Gap Sentences Generation）使其在摘要生成任务上表现出色。我将使用百度百科和维基百科的中文摘要数据集，微调PEGASUS模型实现中文文本摘要生成。
2025-06-08 21:15:08
205
原创 后端模型接口测试
使用fastapi安装：pip install fastapi uvicorn启动：uvicorn main:app --reload二.后端接口测试效果1.摘要模型后端接口测试效果
2025-05-06 19:05:27
182
原创 基于DeepSeek-1.5B的语义一致性测试：验证大模型蒸馏可行性
在知识蒸馏任务中，我们发现一个关键挑战：当学生模型（如MiniLM）试图模仿教师模型（如DeepSeek-1.5B）的logits输出时，教师模型对于。的logits分布？本实验通过系统测试验证这一假设。
2025-03-29 19:39:20
406
原创 山东大学软件学院创新实训团队周报（二）
3.利用2中训练后的模型生成文本摘要，本地部署deepseek7b，使用deepseek7b蒸馏（教导）MiniLM模型，将文本摘要分别输入deepseek7b和MiniLM，生成文本向量，对比两者原始输出logits让两者趋近（微调）（使用lora微调算法/某些软件，便于调整参数，进行蒸馏/微调），完成“小deepseek”（蒸馏）的生成。1.使用爬虫爬取的万级数量级的百度百科数据询问学校提供的api连接的deepseek大模型，生成文本摘要，构造百度百科数据与其文本摘要一一对应的数据集。
2025-03-23 16:44:19
1161
原创 DeepSeek-R1模型-oneAPI接口测试
头携带Bearer Token，密钥从环境变量读取更安全。作为模型ID，不同平台模型标识不同，需通过接口文档确认。验证密钥有效性：在控制台重新生成测试密钥。路径，这是oneAPI的标准接口路径。参数需要API支持才能生效。避免在代码中硬编码密钥。
2025-03-23 15:18:49
275
原创 基于Python的维基百科多语言文章爬虫——实现数据集获取
本周实现了一个基于Python实现的多语言维基百科文章爬取工具，包含两个核心脚本：单语言爬虫程序（wikipedia-crawler.py）和多语言批量执行程序（batch-runner.py）。该工具具有以下特性：支持任意语言版本的维基百科智能跳过图片和特殊页面自动维护爬取会话状态可配置请求间隔时间文本内容清洗处理断点续爬功能本工具为获取多语言百科数据提供了便捷的解决方案，通过模块化设计实现了高可扩展性，使用此工具可获取足够的用于模型训练的数据集。
2025-03-21 22:34:05
596
原创 解决 One - Hot 向量长度问题：使用列表表示标签索引
在处理分类任务时，当类别数量较多时，One - Hot 编码会导致向量长度过长，带来存储和计算上的诸多问题。使用列表表示标签索引是一种简单而高效的解决方案，它能够显著降低存储需求，提高计算效率，同时简化代码实现。在实际应用中，我们可以根据具体情况选择合适的标签表示方式，以优化模型的性能。
2025-03-16 18:18:23
1387
原创 torch.cuda.is_available()返回false——解决办法
因为conda镜像安装了CPU版本，你以为下载的是GPU版本，必须手动去官网用pip下载安装GPU版本。如果你的CUDA，cuDNN版本都对，只有Pytorch安装成了CPU的，那么先对它进行卸载，然后再安装。，先注册登录，查看自己的CUDA版本号对应自己的cuDNN，如果有对应不上的一个，先进行卸载，再安装新的。将最下面区域的命令复制在cmd，下载Pytorch，直接使用pip安装。首先判断自己是否适合使用GPU版本的torch，打开cmd输入。如果输出结果为True，说明安装成功。
2025-03-16 16:49:43
2599
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人