
随笔
文章平均质量分 66
ToTensor
AI算法工程师
Qwen-WisdomVast (千问-智瀚)、Llama3-Chinese作者
公众号:AI算法之门
Github:https://github.com/seanzhang-zhichen
展开
-
开源实时语音交互大模型Ultravox-cn
Ultravox是一种新型的多模态LLM,能够理解文本和人类语音,无需单独的自动语音识别(ASR)阶段。基于等研究,Ultravox能够将任何开放权重LLM扩展为一个多模态投影器,直接将音频转换为LLM使用的高维空间。由于官方版本模型对中文支持较差,因此,我们训练了基于Qwen2.5-7B-Instruct和whisper-large-v3-turbo的中文友好的语音多模态模型。原创 2025-04-13 21:36:56 · 476 阅读 · 0 评论 -
LightRAG简要概述
多种模式问答: “naive”, “local”, “global”, “hybrid”, “mix”4、插入图数据库,其中,实体描述和关系描述,都会被向量化,插入向量数据库中,以便检索时使用。3、合并实体,根据多个实体描述,进行摘要,作为最后的实体描述。2、LLM判断是否有漏掉的实体与关系,如有则接着提取。直接用query检索文档chunk,不展开叙述。local 与 global得到的数据进行合并。hybrid 与 naive得到的数据进行合并。如果没有找到低级关键词,则走global模式。原创 2025-03-17 20:18:46 · 710 阅读 · 0 评论 -
Ktransformers实践-仅用14G显存就能跑Deepseek-R1 671B
KTransformers 的原理主要基于以下核心技术:1. **异构计算与任务卸载**:通过混合专家(MoE)架构的稀疏性,将稀疏矩阵卸载到 CPU/DRAM 处理,稠密部分保留在 GPU 上,从而大幅降低显存需求。2. **高性能算子优化**:- 在 CPU 端,使用 Llamafile 内核结合多线程、任务调度和负载均衡优化,提升推理效率。- 在 GPU 端,引入 Marlin 内核,专门优化量化矩阵计算,相比传统库加速 3.87 倍。原创 2025-03-04 15:14:45 · 1864 阅读 · 1 评论 -
VLLM 格式化LLM输出
vllm OpenAI Compatible Server 提供了格式化LLM输出的能力,默认的格式化解码后端应该是outlinesguided_json: 按照给定的json schema输出guided_choice: 从给定的选项里面选一个guided_regex: 按照给定的正则表达式输出guided_grammar: 按照给定的 扩展巴科斯范式(EBNF)格式 的上下文无关语法输出(我也不懂)下面我们直接看看如何使用这四个参数,控制LLM的输出messages=[],原创 2024-11-27 18:12:05 · 1812 阅读 · 0 评论 -
CUDA环境安装终极指南——Linux(其它系统也一样)
不用看其它文章了,这篇文章保你不踩任何坑,安装方法简单快速。原创 2024-10-30 15:48:29 · 1738 阅读 · 0 评论 -
使用Qdrant + CNCLIP + Gradio 实现图文检索
效果。原创 2024-09-04 13:29:50 · 752 阅读 · 0 评论 -
Could not create share link. Please check your internet connection or our status page: https://statu
【代码】Could not create share link. Please check your internet connection or our status page: https://statu。原创 2023-07-27 19:17:01 · 3965 阅读 · 6 评论 -
Could not create share link. Missing file: /xxxx/frpc_linux_amd64_v0.2.
在当前目录按步骤执行。原创 2023-07-27 19:23:31 · 3638 阅读 · 1 评论 -
Python Flask 封装ChatGPT流式输出接口
Python Flask 封装ChatGPT流式输出接口原创 2023-05-22 20:09:19 · 8187 阅读 · 9 评论 -
优快云客服体验记录20220817
本着从贯彻公司文化出发,倾听用户的声音,让自身所做的工作更具结果导向意义,今天体验了2小时的客服工作。在正式工作开始前,通过客服同事的使用文档及讲解帮助,熟悉了下客服系统,了解如何使用。通过此次客服体验,发现自己对于其他业务的产品和功能还是不够了解,绝大多数问题都需要在客服同事的帮助下才能解答处理。无论是提高客服工作效率,还是提升产品体验,我们都应该去倾听用户的声音,了解用真正户需求,满足用户的需要,这样才能成为用户喜欢的产品。...原创 2022-08-17 16:43:34 · 466 阅读 · 1 评论 -
2014第五届蓝桥杯—第二题:切面条
图片引用自:【蓝桥杯题目分析】2014年第五届——第二题:切面条1、不对折(对折零次),从中间切一刀,得到 2 根面条, 2、对折一次,从中间切一刀,得到 3 根面条, 3、对折两次,从中间切一刀,得到 5 根面条, 4、对折三次,从中间切一刀,得到 9 根面条, …11、对折十次,从中间切一刀,得到 根面条原创 2022-06-02 14:45:27 · 3100 阅读 · 7 评论 -
MySQL学习笔记(三)表的增删改
文章目录前言mysql常见数据类型一、表的创建create二、插入数据insertinsert插入日期insert插入多条数据将查询结果插入到一张表当中三、修改数据update四、删除数据delete快速删除表中的数据 truncate五、约束非空约束:not null唯一性约束: unique主键约束:primary key,简称PK外键约束:foreign key,简称FK前言视频教程:老杜带你学mysql-基础教程为了记录学习历程,方便以后查找,写下此博客。本文所使用的数据:链接:mysq原创 2022-01-16 17:07:41 · 1096 阅读 · 1 评论 -
MySQL学习笔记(二)多表查询
文章目录前言一、去重二、连接查询内连接之等值连接内连接之非等值连接外连接子查询union合并查询结果集limit关于DQL语句的大总结前言视频教程:老杜带你学mysql-基础教程为了记录学习历程,方便以后查找,写下此博客。本文所使用的数据:链接:mysql_document提取码:umui一、去重1、把查询结果去除重复记录注意: distinct只能出现在所有字段的最前方。mysql> select distinct job from emp;+-----------+|原创 2021-12-26 13:16:37 · 1552 阅读 · 0 评论 -
MySQL学习笔记(一)单表查询
文章目录前言一、本地登录二、mysql常用命令三、条件查询四、数据处理函数(单行处理函数)五、分组函数(多行处理函数)六、分组查询总结前言视频教程:老杜带你学mysql-基础教程为了记录学习历程,方便以后查找,写下此博客。一、本地登录mysql -uroot -p111111mysql -uroot -p二、mysql常用命令1、查看mysql中有哪些数据库?mysql> show databases;输出+--------------------+| Databas.原创 2021-12-18 17:14:16 · 302 阅读 · 0 评论 -
十字链表与邻接多重表的画法
文章目录前言一、十字链表1.画邻接表2.增加弧节点的域3.自己指向自己二、邻接多重表1.画顶点2.画边3.自己指向自己前言近期一直在构建算法技能树的数据,借此机会,重新把数据结构与算法又温习了一遍,在看到十字链表与邻接多重表的画法时,十分的不理解,在C站找资料时,发现也看不懂,于是上B站,终于明白了十字链表与多重邻接表的画法。一、十字链表我们以下面的有向图为例来进行讲解首先我们有几个定义要搞清楚:如果:则我们称V0是弧尾, v3是弧头反之,如果:则我们称v1是弧尾,v0是弧头。顶原创 2021-11-06 17:54:22 · 9257 阅读 · 6 评论