- 博客(20)
- 收藏
- 关注
RSS订阅原创 docker容器中的KTransformer更新
这里安装flash-attn有坑：（看github中有人提到，非官方docker容器编译总是报错，要用cpufeature=0.2.2版本才行）我们可以使用0.2.3版本的docker容器，作为项目运行环境，这样就不用再下一次了：（叉叉，还是不能偷懒，后面一堆报错，建议从头开始）找到与自己环境cuda版本一致的镜像，我这里用的是pytorch2.5.1，cuda12.1，devel版本。进入容器，其实后面步骤就是普通的部署过程了，我参考的是知乎上一位大佬的操作：？网络好的可以直接运行这行代码，不报错就行）
2025-04-16 10:20:22
528
原创 本地构建知识向量库+大模型问答系统
本地化知识库+大模型=RAG，rag技术简单来说就是三个过程：retrieval检索+ augment增强 + generate生成；其中检索部分我选择使用milvus向量数据库实现，生成部分由本地大模型完成。
2025-04-14 15:58:42
842
原创 Quite-STaR论文阅读
原文：[2403.09629] Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking自学推理器（STaR：Self Taught Reasoner），LLM通过抽样基本原理来尝试回答问题，在基本原理上进行训练，如果回答正确，则重复该过程迭代以解决更困难的问题，从而在问答对数据集中引导大模型推理能力。然鹅，这种方法将大模型训练限制在精心准备的QA数据集，限制了基本原理的规模和普遍性，提高大模型训练的难度；同时，原始文
2025-04-09 17:15:21
542
1
原创 基于Ktransformer部署DeepSeek-R1模型
我这边离线机器跑起来居然没有报错，成功后可以访问10012端口看看，一般会显示detail Not Found，访问后缀加/web/index.html即可进入聊天页面。其中gguf_path为gguf文件路径，需要有config配置文件在同一路径；记录一次在离线机器上使用kt框架部署Deepseek:671B模型过程。model_path为模型路径，不知道为什么没有后会报错（再看看；cpu_infer为用于推理CPU线程数，越多越快？一、前置准备下载（在联网的机器上操作）我这里下载的是Q5模型。
2025-03-18 17:07:55
256
原创 rust实现大语言模型 记录
Tensor结构拥有四个字段，分别为存储数据的data、张量形状shape、数据起始偏移量offset、数据长度length；其中用Arc（原子引用计数）实现数据共享，以实现多个Tensor共享底层数据功能。其中，new方法接收数据和形状，将数据转换为Boxed切片并用Arc包装；而default方法创建一个默认值的张量，大小由形状决定；data方法返回不可变数据的切片；
2025-02-10 22:43:29
788
2
原创 在linux系统中的python虚拟环境管理
目前遇到linux系统机、windows系统机器中使用wsl、windows系统机器中使用虚拟机运行linux几种，都按上面建议重装吧，为图方便这里使用miniconda。不同电脑环境奇奇怪怪，建议打包环境后，全部删除重装（注意有些涉及显卡版本的包需要手动适配版本！deactivate退出虚拟环境后，删除该虚拟环境所在目录即可。将上面保存的requirem.txt逐一安装就可以了。
2025-01-22 11:44:00
423
原创 人工智能对网络空间安全带来的新机遇和新挑战工程科技学术研讨会 分论坛二:大模型赋能网络安全 总结
主题：大模型应用于网络安全（大模型网络攻击流量识别、网络安全防御可解释性、遇攻击的自动化配置等）流程：嘉宾工作汇报分享+专家点评+问答。
2024-10-12 09:33:21
1067
原创 使用docker-compose一键本地化部署fastgpt，并连接本地ollama部署的大模型
环境：win11+wsl2+docker，但主要操作在wsl中完成。
2024-08-20 01:10:46
1947
原创 基于OpenMP实现利用泰勒级数计算正弦函数sin(x)的并行程序
本文主要为个人查询网络资料的总结，便于后续的学习过程，如有不妥，敬请指教。
2024-03-23 20:27:55
500
1
原创 交叉验证法和自助法的异同
在机器学习中，我们使用随机采样方法，从数据集D划分训练集和测试（验证）集进行模型的选择，也就是人工智能中模型评估常用的三种方法：留出法、交叉验证法和自助法（其中留出法也叫简单的交叉验证法）。本文则针对其中交叉验证法和自助法的异同进行探讨。ps：本文主要为个人查询网络资料的总结，便于后续的学习过程，如有不妥，敬请指教。
2023-09-15 15:38:09
437
使用cuda在GPU 实现上实现矩阵相乘程序+报告
2025-02-09
MPI并行矩阵乘法编程实验+报告
2025-02-09
OpenMP编程实验+报告
2025-02-09
并行排序编程实验+报告
2025-02-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人