T-Rain777-优快云博客

原创基于Ollama对Deepseek本地部署实现AI助手——超详细避雷

安装好进入后会让你进行设置，点击配置本地模型，选择模型提供方为OllamaAPI，模型选择为你下载的对应模型。复制右侧代码ollama run deepseek-r1:7b，直接win+R，cmd进入命令窗口，粘贴刚才复制的代码，回车即开始下载模型。注意，这里第一次是没有东西的，需要新建，变量名为OLLAMA_MODELS，值为刚才自己新建的ollamaimagers路径粘贴进去。尽管我们更改了Ollama的安装路径，但即将部署的本地模型安装路径仍在c盘，需要配置环境变量来进行更改。

2025-03-16 16:07:32 2022

原创大模型学习——评测 InternLM-1.8B 实践

以 OpenAI 的 GPT 模型为例，你只需要在 OpenAI 官网申请一个 API Key，然后在评测配置文件中设置好这个密钥和相应的模型参数就可以开始评测了。internlm_url = 'https://internlm-chat.intern-ai.org.cn/puyu/api/v1/' # 你前面获得的 api 服务地址。d['reader_cfg']['test_range'] = '[0:1]' # 这里每个数据集只取1个样本, 方便快速评测.batch_size=1, # 批处理大小。

2025-02-17 15:14:19 1635

原创书生大模型学习——XTuner 微调实践

parser.add_argument("--new_text", default="闻星", help="Text to replace with")parser.add_argument("--old_text", default="尖米", help="Text to be replaced")我们写一个脚本生成修改我们需要的微调训练数据，在当前目录下创建一个。# 创建 `change_script.py` 文件。# 将处理后的对象转回 JSON 字符串。# 递归函数来处理嵌套的字典和列表。

2025-02-17 03:09:00 620

原创书生大模型——Llamaindex RAG 实践（检索增强生成技术）

给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考。类比人类编程的过程，第一种方式相当于你记住了某个函数的用法，第二种方式相当于你阅读函数文档然后短暂的记住了某个函数的用法。messages=[{"role": "user", "content": "xtuner是什么？复制完成后，在本地查看环境。

2025-02-17 01:39:47 727

原创学习笔记——浦语提示词工程实践

例如，如果我们要生成一篇关于“人工智能”的文章，我们可以使用“人工智能”作为Prompt，让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。在提示工程中，第一点给出清晰的指令是至关重要的。Prompt还可以包含一些特定的指令或要求，用于控制生成文本的语气、风格、长度等方面。例如，我们可以使用“请用幽默的语气描述人工智能的发展历程”作为Prompt，让模型生成一篇幽默风趣的文章。总之，Prompt是一种灵活、多样化的输入方式，可以用于指导大语言模型生成各种类型的内容。

2025-02-16 22:23:15 343

原创玩转书生「多模态对话」与「AI搜索」产品

1.MindSearch开源的 AI 搜索引擎对话实例：2.书生·浦语InternLM 开源模型官方的对话类产品逻辑推理能力应用实例：3.书生·万象InternVL 开源的视觉语言模型官方的对话产品应用实例（模型InternVL2.5-78B）：

2025-02-16 22:06:50 231

原创书生大模型全链路开源开放体系应用介绍

该体系不仅开源了预训练模型参数，还提供了配套工具链、数据集、训练框架及行业解决方案，形成从底层技术到上层应用的完整闭环。：提供不同参数量级的预训练模型（如百亿级、千亿级），涵盖自然语言处理、计算机视觉、多模态融合等领域。：包括分布式训练框架、轻量化推理引擎、模型压缩工具等，优化训练效率与部署成本。：提供面向教育、医疗、金融等行业的开源解决方案，支持开发者快速定制场景化模型。：通过模型剪枝、量化技术，将大模型压缩至10%以下体积，适配边缘设备。：支持千卡级分布式训练，优化算力利用率，训练效率提升30%以上。

2025-02-16 21:41:52 1431

原创使用Hugging Face平台进行InternLM模型下载

下载速度跟网速和模型参数量大小相关联，如果网速较慢的小伙伴可以只尝试下载1.8b模型对应的config.json文件以及其他配置文件。考虑到个人GitHub CodeSpace硬盘空间有限（32GB可用），而7B的模型相对较大，这里我们先演示如何下载模型文件夹的特定文件。注意到在CodeSpace平台上是没有GPU资源的，因此我们Python代码中只使用CPU进行推理，我们需要修改跟CUDA有关的API，在。以下载模型的配置文件为例，先新建一个hf_download_josn.py 文件。

2025-02-16 21:30:27 834

原创大模型开发实践——Git基础掌握

Git就是为了解决这些问题而生的，它是一个开源的分布式版本控制系统，可以有效、高速的处理从很小到非常大的项目版本管理。Git的诞生离不开Linux社区的努力，它是开源的，而且是免费的。我们传统的合作开发工程就是压缩打包发送工程文件，上传网盘或QQ微信直传，效率低下而且无法追踪历史，无法多人合作开发，无法查看修改记录与时间。4.4推送分支到远程仓库。4.1有了Github账号后，将本项目直接fork到自己的账号下，这样就可以直接在自己的账号下进行修改和提交。如图所示，可以看到你的分支已经被推送到远程仓库。

2025-01-23 18:05:06 367

原创大模型开发实践——使用vscode连接开发机进行python debug

简单来说，“debug”就是能再程序中设置中断点并支持一行一行地运行代码，观测程序中变量的变化，然后找出并修正代码中的错误。通过遵循以上步骤，你可以使用VSCode的debug功能来更容易地找到和修复你Python代码中的错误。点击VSCode侧边栏的“Run and Debug”（运行和调试），选择调试配置后，点击绿色箭头（开始调试）按钮，或者按F5键。如果你找到了代码中的错误，可以修复它，然后重新运行debug来确保问题已经被解决。: 单步跳过，可以理解为运行当前行代码，不进入具体的函数或者方法。

2025-01-20 17:37:38 654

原创大模型开发实践——SSH连接开发机

复制运行hello_world.py,发现没有端口映射本地IP无法进入网页。使用VScode拓展插件Remote-SSH，上端窗口输入对应指令。4、使用ssh命令进行端口映射并运行hello_world.py。将自定义服务中的代码输入本地终端（注意不是开发机）点击ssh进入，将在终端生成的密钥输入。打开运行网址，发现此时可以成功打开网页。打开终端输入 ssh-keygen。首先开发机窗口pip下载对应包。出现以下窗口代表终端映射在进行。2、创建开发机，设置密钥。1、安装VScode。3、SSH连接开发机。

2025-01-17 18:33:48 252

m0_66206007的博客