分享
扫一扫
超级会员免费看
vandh
20年以上金融、互联务、物联网经验，历任ＣＴＯ、技术总监、项目经理、架构师等职。具有丰富的技术战略指导、团队管理、项目管理、架构搭建等经验。精通物联网、大数据、区块链、数字孪生、人工智能等领域类应用与开发；精通java、python、go、c等开发语言；精通mysql、Oracle、Taos、Redis、MongoDB等数据库；精通微服务架构；精通业务需求分析与设计、数据建模；精通K8s、docker、DevOps等智能运维；精通单片机、各种传感器开发；精通机器人slam、mpc、wbc相关理论与应用；接受一对一技术咨询服务。
展开
-
调用deepseek大模型时智能嵌入函数
DeepSeek-R1 当前炙手可热，以其强大的自然语言处理和推理能力而广受赞誉。饶是如此，却并不原生支持函数调用（function_call），这是开发过程中不可或缺的一部分。虽有第三方调校的模型支持，然终非官方自带，还需假以时日。本文虽然简短，应该是全网写得最通透的了吧。万事俱备，上代码运行，注意，ollama部署的模型，openai支持的访问地址为：http://localhost:11434/v1。本机8GB vram，只能用qwen2.5:7b了进行测试了。原创 2025-03-27 17:37:47 · 102 阅读 · 0 评论 -
小样本微调deepseek大模型
用自定义的小样本数据集，训练deepseek r1 8b 4位量化的模型。安装cuda,torch,Unsloth, huggingface,wandb等，见前述章节；微调服务器配置：单机笔记本显卡4060，32GB ram，8GB vram，原创 2025-03-26 15:40:09 · 24 阅读 · 0 评论 -
对deepseek进行微调
平台上托管了超过 90 万个开源机器学习模型，提供了超过 20 万个数据集，允许用户托管机器学习演示应用程序，支持使用 Gradio 和 Streamlit 等工具构建交互式应用，提供模型推理 API，用户无需下载模型即可直接调用。缺点是资源需求高，开发周期长，技术难度大，如果没有足够的数据或优化经验，模型性能可能不如现有的预训练模型。模型的计算图和权重。3. .pt 和 .pth 格式：PyTorch 的原生格式，.pt 通常保存完整模型（包括结构和参数），而 .pth 更多用于保存模型的状态字典。原创 2025-03-07 16:54:22 · 160 阅读 · 0 评论 -
deepseek分布式推理多机部署实践
这种情况下，如果有多台8GB的显卡，是可以考虑上32b的。如果报python not found，在环境变量path中检查一下python路径是不是正确，否则要重装一下python，直接如下命令可以显示：python -V。如果添加节点后显示的ip不对，因为某节点有多个ip,可以先在网络配置中禁用其它不用的虚拟网卡，然后删除该节点后重新安装。报没有合适的节点，上图中，调度方式要选择手动，在弹出框中选择识别的2个节点，且显存之和要小于部署的模型要求的显存。1台windows笔记本，4060显卡，8GB显存；原创 2025-03-05 17:13:14 · 254 阅读 · 0 评论 -
十二、部署自已的企业大模型
基于LangChain+ChatGLM3-13B+minio+Paraformer，其中langchain实现本地知识库微调，chatGlm作为大模型基座，minio作为语音存储库，paraformer作为本地文本与语音识别库。原创 2024-09-04 15:27:07 · 336 阅读 · 0 评论 -
十一、搭建自己的GPT模型
基于GPT-2 1.3B模型，优点是cpu也可以跑，简单，快速。我们训练模型的过程，就是通过不断的迭代计算，使用梯度下降的优化算法，使得损失函数越来越小。直白来说，就是用它来描述我们模型的鲁棒性，损失函数越小，模型的鲁棒性就越好。如果仔细观察，会发现我们正在训练一个GPT，其上下文大小最多为256个字符，384个功能通道，它是一个6层的Transformer，每层有6个头。结束后，进入D:\Simon\nanoGPT\out-tang目录下，生成了一个ckpt.pt文件，这就是模型了。原创 2023-06-08 15:33:15 · 5617 阅读 · 2 评论 -
十、chatGPT4.0
只有购买了ChatGPT plus会员，才能快速获得访问GPT-4的权限。或者申请研究人员访问计划，会对研究人员访问优先，可以访问这个地址来提交申请 ：https://openai.com/form/researcher-access-program。打开：https://chat.openai.com/chat，点进购买 Plus 链接, 虽然使用的是美国的服务器，也是一样被拦截了，亲测无效。在首页点击加入候补名单，进入地址：https://openai.com/waitlist/gpt-4-api。原创 2023-05-24 17:27:41 · 5110 阅读 · 0 评论 -
九、开源小语言模型之chatLLaMA
这段时间我们能看到科技圈在集体“追风口”，大量资源（注意力、算力、人才、政策等）都被投入到OpenAI引领的大语言模型热潮中，有些高校甚至出现了“不做LLM就没有算力用”的局面，追逐OpenAI的赛道已经十分拥挤。在我们都将注意力放到企业 AI 大战时，谷歌内部人员反而指出，最后的赢家不是谷歌和 OpenAI，反而是开源模型。原创 2023-05-24 16:22:09 · 758 阅读 · 0 评论 -
八、微调模型
开始微调作业后，可能需要一些时间才能完成。训练我们的模型可能需要几分钟或几小时，具体取决于模型和数据集的大小。openai api completions.create -m ada:ft-personal-2023-05-24-06-22-13 -p 你要到哪里去。执行以下命令，将修改后的文件写入当前目录下，我的目录为：`/home/project/model/tang_prepared.json`1、环境配置，安装python，环境变量，中文字体设置等。工作完成后，显示微调模型的名称。原创 2023-05-24 14:46:06 · 122 阅读 · 0 评论 -
七、嵌入模型与知识库应用
以搜索为例，介绍如何使用openAI嵌入模型，创建一个"农村产权流转交易服务知识库系统"，在指定范围内回答我们的提问。下面放所有的文本文件，每一个主题内容一个文件，文件内不需要再写标题，每个文件大小限制在500字以内，详图。4、GptResp.py，编写响应服务类，根据指定的样本，回答提问。请注意要替换自己的token。3、GptParser.py，编译文本，生成嵌入式训练样本。原创 2023-05-24 11:46:02 · 305 阅读 · 0 评论 -
六、关于autogpt
autoGPT 是一个基于GPT的agent，可以根据思考结果进行各种操作，比如上网、使用第三方工具、直接操作你的电脑，然后再根据使用工具的结果进一步思考，实现了一个「行动 – 观察行动结果 – 思考 – 决定下一步行动」的自我循环。# 问目标是什么，可以写5个关联的任务，如我这里的是：查找姓名王中天，保存到d:/wzt.txt，然后打开这个文件。# 问预算，因为chatGPT是收费的，所以担心问题太多太长，超过你的费用了，回车即可。# 是否采用上次的配置，包括名称，角色，目标，api预算，输入 n。原创 2023-05-24 10:43:15 · 129 阅读 · 0 评论 -
五、前端集成chatGPT
采用vue+iview框架，展示调用chatGPT后的效果。1、package.json参考。2、chatGPT.vue页面完整源代码。原创 2023-05-24 09:59:55 · 732 阅读 · 0 评论 -
二、安装配置图形化浏览器
在centos中运行图形化浏览器的办法有三，一是安装文本浏览器elinks，二是安装图形化桌面，三是代理服务器。最后一步是重点，能安装成功的，在此一篇。原创 2023-05-05 21:17:35 · 188 阅读 · 0 评论 -
一、海外服务器租赁方案及配置与登录
为什么要租赁海外服务器，ChatGPT是能听懂人话的人工智能，能够模拟人类的思考和表达，图灵测试对它来说是小儿科了。它的出现标志着人工智能技术在自然语言处理和智能对话系统领域的重大进展和突破，其历史意义，不亚于互联网和个人电脑的诞生。它虽然可以被全世界的用户访问和使用，然而，有些国家的网络访问可能会受到一些限制，可能需要使用fan qiang等技术才能访问到chatGPT。而租赁阿里云海外服务器无疑是一种最合法的方式，访问架构如下图原创 2023-05-05 20:21:50 · 649 阅读 · 0 评论