冀辉的博客

在进行机器学习或大模型微调时，需要观察训练的损失率变化。如果对这些损失率可以实现可视化的展示，则能更直观的了解训练的程度。有一个在线网站https://wandb.ai/，可以将训练的数据上传到该网站，实现数据的可视化

对于使用Heygem生成数字人，需要注意几个问题：+ 需要使用Nvidia的显卡。+ 需要在Windows上进行本地部署。主要原因为客户端是Windows的，客户端对上传的视频写入硬编码的`D:\heygem_data\voice\data`目录，需要在容器上读取这些文件。+ 需要在Windows上部署Docker，将Windows的目录映射到容器中，由容器中的服务进行读取。+ 需要特别注意，一定要有D盘，这个D盘是Windows的D盘，不能是插入的USB设备后产生的D盘。+ 需要下载3个Doc

最近通义万相开源了其视频生成模型。模型有两个版本，一个是1.3B的，一个是14B的。对于1.3B的版本，模型大小约17G，14B的版本模型大小约70G。由于显存限制，下面测试了1.3B版本的文生视频。总体来说，1.3B的版本，实测的视频生成内容，还是有些粗糙，也许1.3B的版本，只是用于让大家熟悉和学习的。小伙伴们如果有条件的，可以测试一下14B的视频生成结果。下面是我测试过程的一些记录，供大家参考。

Ubuntu2204下使用NVIDIA GeForce RTX 4090进行DeepSeek-R1-Distill-Llama-8B模型微调使用unsloth，可以方便地对大模型进行微调。以微调DeepSeek-R1-Distill-Llama-8B为例：微调过程中，大概需要9G以上的显存，即可正常工作。训练时间与训练的参数per_device_train_batch_size和max_steps有关。当per_device_train_batch_size为2时，使用RTX 4090训练一次大概需

测试印象：整体模型体积较小，个人可以部署并使用。图像识别效果不错，不但可以识别一般的图片，也可以识别一些图纸类的内容。显存占用不高，24G显存即可以运行图片识别和图像生成。部署相对简单，如果不考虑模型下载时间，半小时就可以进行简单测试。图片识别时，如果图片是格式复杂的文本类（如试卷），在OCR时，会出现较严重的问题。生成图片时，必须用英文。生成图片时，当提示词过于简单时，会出现物品不完整的现象。总体来说，在开源的多模态大模型中，还是一个非常不错的产品。

deepseek在大语言模型上的进步确实不错，相比最初的百川在CPU上运行14B模型输出一次对话要20分钟，deepseek使用1.5B时，完全可以在CPU上快速输出内容，性能提升非常显著，完全满足个人在笔记本上开发大模型应用的基本要求。虽然deepseek每次对话都要思考一下，使用了较多时间，但在实际输出内容时，还是比较快速的，在游戏本上至少可以每秒输出5个token以上。下面内容是我在自己的游戏本上测试结果，没有进行任何优化，供大家参考。

最近Kimi也发布了他们的视觉大模型，简单测试了一下，效果还不错，对图片中的物品识别的比较准确和细致。Kimi的视觉分析，和之前的文本调用非常接近。Kimi采用了将图片进行Base64编码为文本的方式，进行参数传递，可以直接使用OpenAI客户端进行调用。

安装使用的为6G显存的3090，安装后，只使用了2.4G。使用游戏笔记本电脑，完全可以部署一个大模型，供本地学习。这是安装时，使用的主机信息，使用了11434端口。安装的一些信息，可以从下面的路径查找。我们可以直接输入信息，大模型进行回复。输出的模型信息中，包含可用的模型名称。好了，可以开启你的大模型开发之旅了。下载后，得到如下安装文件。至此，大模型已经安装完成。

OpenAI支持将语音转文字，调用接口可以直接将语音文件转为文字。选择一个声音文件，将文件内容提交给大模型。可以从下面的输出中，确认大模型的名称。这个例子是调用了一个私有部署的。

使用llama3.2大模型进行图片内容的提取取分析

如何部署大模型，自动生成代码。

如何使用大模型，解析图片中的内容。下面使用千问的7B模型进行了尝试，效果还不错。阿里这方面给赞一下。

需要从一段话中，使用大模型提取操作信息，考虑使用Few Show进行提示词的编写。

初次尝试直接使用PPT格式，效果读取的不好。后面改为另存为PDF格式，整体效果有明显改善。程序成功从PDF中提取了多个图片中的内容，并将PPT中的信息，总结出一段文档后输出。测试结果见下面的程序输出。有一个PPT，是之前从百度文库中做的截图，尝试使用Kimi将这样的文档进行一下整理。

如何使用Kimi API开发应用。