- 博客(29)
- 收藏
- 关注
RSS订阅原创 【GPUStack】【dify】【RAGflow】：本地部署GPUStack并集成到dify和RAGflow
查看操作系统安装内核头文件和开发包安装contrib库下载驱动报错使用清华或者阿里镜像也报错查看后发现，国内镜像站基本上都下线了相关驱动官网下载官网也更新了不是以前的样式，更加精细了注册临时GPG共有密钥安装本地仓库更新apt专有内核模块安装安装成功如下如果出现如下情况：NVIDIA驱动内核模块（如nvidia.ko）的版本与用户空间库（如libnvidia-ml.so）的版本不一致第一步建议先重启，再次运行nvidia-smi 如果可以那就结束。
2025-03-26 11:48:43
1146
原创 【vLLM】【基准测试】：vLLM部署大模型的基准测试
从以上基准测试来看，在使用Qwen2___5-Coder-32B-Instruct-GPTQ-Int8和QwQ-32B-Preview模型进行vllm推理时，模型本身就比较大，外加生成的文本质量高就会带来更多的负担，更改为7B级别的chat模型之后，会有比较高的一个正确率，但是相应的文本质量就会降低，综上vllm启动的OpenAI的APi端口，有不错的稳定性，并不会因为大量的请求出现宕机的情况，但是由于本身算力的限制和迫切生成高质量文本的本能，会导致请求的成功率比较低，换言之，即API的并发性不高。模型。
2025-02-25 14:09:29
1340
原创 【DeepSeek】【GPT-Academic】:DeepSeek集成到GPT-Academic（官方+第三方）
项目介绍：为GPT/GLM等LLM大语言模型提供实用化交互接口，特别优化论文阅读/润色/写作体验，模块化设计，支持自定义快捷按钮&函数插件，支持Python和C++等项目剖析&自译解功能，PDF/LaTex论文翻译&总结功能，支持并行问询多种LLM模型，支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。
2025-02-25 13:57:40
1594
原创 【LangChain】【Qwen】：本地大模型推理
成功调用，但是我想在langchain中使用，这个大模型，要是是我可以使用类似于apikey的方式远程调用，要么将模型调用和langchain结合。虽然可以通过远程调用了，但是如果langchain能自己调用，显然更加方便。测试之后完全可以，可以与langchain的链，解析输出等操作相结合。阅读 Qwen 和 langchain的官方文档，得到两个示例。得出最新的本地调用qwen模型。进入fastAPI文档界面。由于加载模型溢出，遂放弃。使用post请求进行调用。通过将两个模块相结合。
2024-12-23 17:18:58
873
1
原创 【4090】【LLaMA-Factory】：硬件评估
综上得出一张4090的卡性能在435个tokens左右，而且因为是代码相关的，代码相关的有一个特点，就是输入比较少，而结果特别长，这也就导致tokens可能会低一些，借此我们评估4张4090显卡的性能大概在 1720 - 1760 个tokens左右（其他对面模型可能要比这个高一些）期间尝试了 更改为全部序列，在我将内容输出看，看到只加载到了一张卡上，期间尝试分配到多张卡上，发现只有第0张卡在使用。其他尝试 更换为 deepseek-v1.5-coder-7b模型。微信图片_20241203230。
2024-12-23 17:13:09
568
原创 【LLM】【LLaMA-Factory】：Qwen2.5-Coder-7B能力测评
大模型框架：LLaMA-FactoryCG客户端镜像：hiyouga/LLaMA-Factory/LLaMA-Factory / v4cpu 架构 核心数 线程数 频率内存使用情况操作系统GPU：四张4090显卡CUDApython 以及相关依赖包pytorch。
2024-11-08 14:50:07
1732
2
原创 【LLM】【OpenFOAM】：通过LLM生成可运行的OpenFOAM算例流程测试
返回的格式清晰且合理，使得下一步的流程描述能够更加准确地转化为Python代码；返回的内容存在一定差异，更加倾向于基础示例，例如八个点构成的扁平长方体，但针对其他更复杂的算例，很难在此基础上进行适度的调整；在压强、速度、粘度等小的方面，格式保持一致，但内容上可能有所不同。由于上一步返回了合理的格式，这使得在这一阶段能够高效且准确地生成对应的Python代码。只要保持上一步的格式不变，就能顺利地实现代码的生成。
2024-11-08 13:35:21
739
原创 【LLaMA-Facrory】【模型评估】：代码能力评估——Qwen-Coder-7B 和 deepseek-coder-7b-base-v1.5
总的来说，这组数据表明该模型在生成文本时具有较好的质量（通过 BLEU 和 ROUGE 分数反映出来），但在性能上存在一定的延迟（较高的运行时间和低的每秒样本处理率）。改进的方向可能包括优化模型的推理速度、并行化处理、或使用更高效的硬件资源。使用webui查看数据格式：可以清晰地看到提示词为一个计算机算法题目（包含题目描述，输入输出样式，甚至算法性能要求），回答为描述加代码。模型的性能进行比较，主要从多个指标入手，包括文本生成质量和处理效率。v2版本的因为测试时显存溢出，所以选择v1.5版本。
2024-10-24 17:04:12
1754
原创 【2024】【字节青训营】：字节青训营入营测试题——Java版本（已提交通过）
要求：简单题不少于10道题中等题目不少于4道题困难题目不少于1道题介绍：本次24青训营，入营和之前的考核模型有所不同，之前是做题，几十个选择题，两道算法题，一道简答题，现在则是在ai的辅助下进行刷题考核，这么做的原因无非是推广自己家的智能编码助手，还有就是此次代码考核在在线平台上，就能得到大量的数据，然后使用这些数据去强化编码助手，最后就是ai助手有点傻，一个是你把他给你的代码，都过不了示例，然后他容易顺着你代码的想法，往后推理，如果你一开始的想法不对，就会进入死角。
2024-10-24 03:35:26
1981
15
原创 【LLaMA-Factory】【Windows】：在windows操作系统配置大模型微调框架LLaMA-Factory
PyTorch拥有一个庞大的社区和丰富的生态系统，这意味着在使用LLaMA-Factory时，如果遇到问题或需要额外的功能，可以很容易地找到相关的解决方案或库。综上所述，PyTorch、CUDA、Python以及相应模型在LLaMA-Factory框架中各自扮演了重要的角色，共同支持了模型的高效训练和推理。综上所述，安装PyTorch是在本地配置LLaMA-Factory时的一个必要步骤，它确保了LLaMA-Factory能够高效地利用GPU资源进行模型训练和微调，并提供了丰富的社区支持和生态系统。
2024-10-23 16:00:58
4343
10
原创 【LLaMA-Factory】【autoDL】：大模型微调实践
后面我仔细阅读文档，修改了 dataset_info.json文件，可以通过数据，达到内存溢出哪一步。但是 结果路径也可以直接使用训练结果的文件夹，会有训练成功的下拉框选项。更改模型：因为我的数据是对话模式的，所以需要使用chat级别的模型。小点的模型已经尝试过，还有清理碎片，释放显存等。模型名称：选择要微调的模型，例如LLaMA3-8B-Chat。更改为chat模型后，仍然和instruct模型相同的错误。所以我选择换回我的instruct模型，仍然溢出。语言：选择模型支持的语言，例如zh。
2024-10-23 11:31:16
2789
6
原创 【2024】【字节青训营】：字节青训营入营测试题
要求：简单题不少于10道题中等题目不少于4道题困难题目不少于1道题介绍：本次24青训营，入营和之前的考核模型有所不同，之前是做题，几十个选择题，两道算法题，一道简答题，现在则是在ai的辅助下进行刷题考核，这么做的原因无非是推广自己家的智能编码助手，还有就是此次代码考核在在线平台上，就能得到大量的数据，然后使用这些数据去强化编码助手，最后就是ai助手有点傻，一个是你把他给你的代码，都过不了示例，然后他容易顺着你代码的想法，往后推理，如果你一开始的想法不对，就会进入死角。
2024-10-15 15:15:35
3104
4
原创 【Mybatis-plus】【MybatisX】:Mybatis-plus快速上手 and MybatisX插件的使用——加强开发效率
注解：其实对于mybatis来说这里面应该写User相关数据库操作的接口，但是因为接入了mybatisplus，也就是继承BaseMapper,这里面都开发好了，不用我们去写，直接调用就可以。因为咱们选择了单独的一个generator路径，就生成了如下，检查代码后，迁移到自己的mapper model srvice 里面。配置yal文件设置了程序名称，连接数据库的驱动，地址，账号密码，还有后端启动的端口号。创建model文件夹，用来存放实体类，并且创建一个User的实体类。
2024-09-25 16:45:23
897
1
原创 【TS】TypeScript 一小时速成
本文适用于刚刚学完react18（使用jsx开发的版本），想使用ts开发，但是又不想投入太多时间学习ts的详细语法，想快速上手使用ts开发react的同学进入TS官网我们练习可以有两种方式一个是下载相关的开发工具，另外就是官网里有在线的方式我使用的是在线版本，后续开发会在react项目里加上ts，使用下面命令行就可以。
2024-08-01 14:48:48
810
1
原创 【阿里云人机认证】:React + SpringBoot阿里云人机认证(滑块，图形等)
下载下来打开，里面有两个demo，分为弹出和嵌入的，已经封装好了两个组件，将自己选择好的组件的index.js复制到自己项目里（创建一个.js文件就好，然后导入到自己需要用到的页面里）大家看着阿里的实例都是纯原生的如何加到react里有点懵逼，我也蒙蔽，所以在阿里云文档最下面有一个react的案例，下载下来，解压打开。4.7人机认证实现时候，如果认证通过则会有后续相关的操作可以在如下地方修改，比如修改全局变量。购买服务后进入控制台，点击控制台左侧的控制管理，进入控制管理界面之后选择构建新的场景。
2024-07-24 18:41:31
1637
6
原创 【数据结构与算法】【考研】（四）：线性表——单链表的定义
在内存中申请空间 p = (ElemSN*)malloc(sizeof(ElemSN));③结果：链表并不真正节省空间，只是利用（因为在绝对空间上增加了单元地址的存储消耗）结构：数据域：用来存书数据元素 指针域：用来存放后继节点的地址。首元节点：链表中存放线性表首元素的节点 特点：无前驱。②特点：利用内存零散空间，单元地址必须存储下来。尾节点：链表中最后一个节点 特点：无后继。A）结点：存储每一个数据元素的存储单元。①作用：以零散的空间以换取时间效率。1链表：A)逻辑结构：线性表。
2023-09-13 00:05:49
191
2
原创 【操作系统】【C语言】：共享资源分配与银行家算法
给系统资源状态数据结构开辟存储空间，提示用户依次输入进程数量，资源种类数，根据输入的资源种类数，提示用户输入个资源的总数，输入每个进程对各种资源的最大需求数量，输入已给进程分配的系统资源的数量，起初Available的值为系统总资源数，状态全为就绪状态，完成标志为false，本代码中用0表示false，用1表示true，将各个进程已分配的资源数赋值给Allocation，Need=MAX-Allocation，系统可用资源数等于总资源数减每个进程已分配的各个资源数，返回系统资源状态S。
2023-07-14 22:52:02
1649
2
原创 【AcWing语法基础课】：数组之AcWing 753. 平方矩阵 I
输入整数 N，输出一个 N阶的回字形二维数组。数组的最外层为 1，次外层为 2，以此类推。输入格式输入包含多行，每行包含一个整数 N。当输入行为 N=0 时，表示输入结束，且该行无需作任何处理。输出格式对于每个输入整数 N，输出一个满足要求的 N阶二维数组。每个数组占 N 行，每行包含 N 个用空格隔开的整数。每个数组输出完毕后，输出一个空行。数据范围0≤N≤100。
2023-03-01 17:09:32
211
4
原创 【AcWing语法基础课】：循环之AcWing 727. 菱形
输入一个奇数 n，输出一个由构成的 n 阶实心菱形。输入格式一个奇数 n。输出格式输出一个由构成的 n阶实心菱形。具体格式参照输出样例。数据范围1≤n≤995。
2023-02-25 11:04:08
283
2
原创 【AcWing语法基础课】：循环之AcWing 726. 质数
一个大于 1 的自然数，如果除了 1 和它自身外，不能被其他自然数整除则称该数为质数。例如 7 就是一个质数，因为它只能被 1 和 7 整除。现在，给定你 N个大于 1 的自然数，请你依次判断这些数是否是质数。输入格式第一行包含整数 N，表示共有 N个测试数据。接下来 N 行，每行包含一个自然数 X。输出格式每个测试用例输出一个结果，每个结果占一行。如果测试数据是质数，则输出X is prime，其中 X 是测试数据。如果测试数据不是质数，则输出，其中 X是测试数据。数据范围。
2023-02-25 10:41:54
210
2
原创 【AcWing语法基础课】：循环之AcWing 717. 简单斐波那契
以下数列被称为斐波纳契数列。这个数列从第 3 项开始，每一项都等于前两项之和。输入一个整数 N，请你输出这个序列的前 N项。输入格式一个整数 N。输出格式在一行中输出斐波那契数列的前 N 项，数字之间用空格隔开。数据范围0
2023-02-25 10:00:28
204
2
原创 【操作系统】【C语言】：C语言实现进程调度
其中包含两个带头结点的链表表示的队列分别为就绪队列和阻塞队列，首先创建就绪队列ready和阻塞队列block，创建一个后期循环调度需要用到的中间进程队列end，首先循环遍历进程队列中各个进程结点，将进程状态为就绪的进程结点插入就绪队列中，将进程状态为阻塞的进程结点插入阻塞队列中。输入进程数为3，第一个进程的进程ID为1，优先数为3，需要运行的时间为4，时间2之后进入阻塞，阻塞时间为2，第二个进程进程ID为2，优先数为1，需要运行的时间为3，创建相应的就绪队列和阻塞队列的头节点解决了此问题。
2023-01-04 21:16:46
7610
2
原创 【数据结构与算法】【考研】（三）：线性表——顺序表编程练习题
分析首先将数组中的值存到x中，通过判断实现去重写入，而关于a和b数组谁先遍历完成的问题，假设a先遍历完成，那么j=m，会一直写入a数组，直到i==n，不在进入循环。分析虽然说是前半段和后半段互换，其实是将前半段移动到了后面，可以采取一个一个移动的办法，也可以采取我下面这个，将整个数组逆置，此时咱们想要的前半段，已经到了后面，只不过顺序仍然是反的，再将前半段后后半段分别翻回来就可以了。...
2022-07-14 19:49:28
1187
2
原创 【数据结构与算法】【考研】（二）：线性表——顺序表
目录一、顺序表的相关概念二、顺序表的代码实现1.遍历顺序表2.移动顺序表3顺序表的查找4顺序表的删除5顺序表的插入1.顺序表：在逻辑结构上是线性表，在物理存储结构上是顺序存储（用连续的存储单元存储） A)顺序表满足线性表的特征 B)顺序表采用顺序地址映像——地址可计算 ——可以实现随机访问顺序表存储的地址可计算的相关解释i>数组名表示数组首元素地址 a等价于&a[0]ii>A
2022-06-25 00:24:00
1080
2
原创 【数据结构与算法】【考研】（一）：线性表——重要概念
1.线性表属于数据结构的逻辑结构2.线性结构：一个数据集合的数据元素的有序集1）序偶：2）只可存放同类数据元素3）特征：A)有且只有一个数据元素无前驱——首元素或第一元素B)有且只有一个数据元素无后继——尾元素或最后元素C)除首尾元素外其余元素有唯一前驱唯一后继3.线性表的定义：满足线性结构的数据集合称为线性表4线性表的类型定义：1）图例法2）二元组法D-S = (D,S)D:数据集合 S:D上的数据逻辑次序表示：序偶例：线性表{a1，a2，a3 ······an}A)图例B)二元组D-S =......
2022-06-21 22:52:05
280
1
原创 Android studio 修改了 android:background=“@drawable/welcome“后无法启动
新建的项目 就修改了一个android:background="@drawable/welcome"就无法启动了删了android:background="@drawable/welcome"后又可以顺利启动大佬们可以解答一下吗 是代码位置不对吗还是配置有问题...
2021-10-30 22:24:34
1488
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人