- 博客(13)
- 收藏
- 关注
原创 chrome 扩展 V3 版本设置 background js 文件内的变量重置问题
上面“background.js"文件内定义的变量,如果十几分钟不激活浏览器,变量会重置,如何能让文件内的变量保持到浏览器关闭都不变呢。原因是 chrome 扩展 v3 禁止后台程序长时活跃,一种解决方法是使用 chrome.storage.session。chrome 扩展使用 manifest V3 版本,
2025-02-11 12:11:22
190
原创 书生·浦语大模型实战营之评测 InternLM-1.8B 实践
OpenCompass 提供了 API 模式评测和本地直接评测两种方式。其中 API 模式评测针对那些以 API 服务形式部署的模型,而本地直接评测则面向那些可以获取到模型权重文件的情况。这样我们使用了 CMMLU Benchmark 的每个子数据集的 1 个样本进行评测.更多使用说明,请参考 OpenCompass。以评测 internlm 模型为例。
2025-01-12 22:21:43
397
原创 书生·浦语大模型实战营之 XTuner 微调实践微调
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter 层的(模型格式转换后的)路径以及最终保存的路径。安装 XTuner。
2025-01-12 20:40:15
987
原创 书生·浦语大模型实战营之Llamaindex RAG 实践
正常情况下,其会自动从互联网上下载,但可能由于网络原因会导致下载中断,此处我们可以从国内仓库镜像地址下载相关资源,保存到服务器上。源词向量模型 Sentence Transformer:(我们也可以选用别的开源词向量模型来进行 Embedding,目前选用这个模型是相对轻量、支持中文且效果较好的,同学们可以自由尝试别的开源词向量模型) 运行以下指令,新建一个python文件。注意:第一次运行会下载相关数据需要一段时间,请耐心等待,如中断可能导致第二次运行因为文件损坏报错!运行以下命令,获取知识库。
2025-01-12 10:45:34
475
原创 书生·浦语大模型实战营之玩转书生「多模态对话」与「AI搜索」产品
MindSearch 开源的 AI 搜索引擎书生·浦语 InternLM 开源模型官方的对话类产品书生·万象 InternVL 开源的视觉语言模型官方的对话产品
2024-12-31 15:38:42
143
原创 书生·浦语大模型实战营之书生·浦语大模型开源开放体系
书生葡语大模型的开源体系是一个全链条的解决方案,从数据收集、数据标注,到模型训练、微调、评测,再到基于大模型的应用部署,我们已实现了全程开源。过去一年,书生葡语团队通过不断努力,成功推出了多个重要版本,涵盖了从小型到大规模的不同模型,逐步在多个技术领域取得了进展。书生葡语大模型的开源体系,涵盖了从数据、预训练、微调、部署到评测的全链条解决方案,致力于为科研机构、中小企业及开发者提供强大的技术支持。在未来,我们将继续优化模型性能,推动大模型技术的普及和应用,助力人工智能行业的发展。
2024-12-31 15:06:51
646
原创 书生·浦语大模型实战营之玩转Hugging Face/魔搭/魔乐平台
考虑到个人GitHub CodeSpace硬盘空间有限(32GB可用),而7B的模型相对较大,这里我们先演示如何下载模型文件夹的特定文件。下载速度跟网速和模型参数量大小相关联,如果网速较慢的小伙伴可以只尝试下载1.8b模型对应的config.json文件以及其他配置文件。使用Hugging Face平台、魔搭社区平台(可选)和魔乐社区平台(可选)下载文档中提到的模型(至少需要下载config.json文件、model.safetensors.index.json文件)在这个文件中,粘贴以下代码。
2024-12-11 21:20:40
334
原创 书生·浦语大模型实战营之Git前置基础
推送分支到远程仓库# 接下来就是git操作三部曲 git add . git commit -m "add git_camp4_id_introduction" git push origin class_id这里可能会出现一个身份验证的问题:按照提示点击允许,将获得验证码,去 github 网址输入验证即可。
2024-12-10 21:51:54
250
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人