- 博客(37)
- 收藏
- 关注
原创 Datawhale llm-universe
当验证集较小的时候使用人工评估,随着验证集扩张,体量会不断的增大,以至于人工评估时间和人力成本会扩大到无法接受的程度,所以需要使用自动评估的方法,自动评估系统对每一个验证案例的输出质量,从而评估整体的性能。优化知识库的构建方式,针对此类的文档,使用LLM对文档进行概括总结,预设问题让LLM作出回答,从而将此类问题的答案预先填入知识库作为单独的chunk,解决该问题。对用户的query改写,对用户的query,通过LLM将用户的query改写为一种合理的形式,去除次要关键词,错字,漏字影响。
2025-05-25 00:12:25
672
原创 Data Whale
Streamlit 无需深入了解web开发,web框架,只需要编写普通的python板块。Streamlit提供了一组简单而强大的基础模块,用于构建数据应用程序:st.write():这是最基本的模块之一,用于在应用程序中呈现文本、图像、表格等内容。st.title()、st.header()、st.subheader():这些模块用于添加标题、子标题和分组标题,以组织应用程序的布局。st.text()、st.markdown():用于添加文本内容,支持 Markdown 语法。
2025-05-23 23:02:28
499
原创 DataWhale llm universe
词向量:是一种以单词为单位的将每个单词转化为实数向量的技术,这些实数可以被计算机更好的理解,如果是相近的理念或者相关的对象在向量空间中距离很近词向量实际上将单词转化为固定的静态向量,在一定程度上捕获表达文本中的语义信息,但是忽略了单词在不同语境中的意思会受到影响这个事实,所以在RAG的时候一般使用通用文本向量,和词向量不同的是向量的量化单位是输入文本RAG:(检索增强生成)搭建RAG系统,往往可以通过向量模型构造向量。
2025-05-22 17:32:52
762
原创 DataWhale LLM
大语言模型指的是理解和生成人类语言的人工智能模型,LLM通常包含更多的参数,国内的有DeepSeek,通义千问,豆包,Kimi,文心一言,GLM语言建模历史:从上世纪90年代,主要集中在统计学方法进行预测词汇。在2003年使Bengio提出使用神经网络模型,在2018年提出transformer网络,提高各种模型在自然语言处理中的表现。通常大模型由三个阶段构成:预训练、后训练和在线推理。
2025-05-13 15:12:12
1065
原创 FastAPI【05】
比如,可以定义依赖其他依赖项的依赖项。路径操作装饰器依赖项(以下简称为“路径装饰器依赖项”)的执行或解析方式和普通依赖项一样,但就算这些依赖项会返回值,它们的值也不会传递给路径操作函数。FastAPI 不会为同一个请求多次调用同一个依赖项,而是把依赖项的返回值进行「缓存」,并把它传递给同一请求中所有需要使用该返回值的「依赖项」。如果在同一个路径操作 多次声明了同一个依赖项,例如,多个依赖项共用一个子依赖项,FastAPI 在处理同一请求时,只调用一次该子依赖项。用正确的参数调用依赖项函数(「可依赖项」)
2024-12-05 11:26:24
441
原创 Fast API【04】
接收的不是 JSON,而是表单字段时,要使用 Form。声明表单体要显式使用 Form ,否则,FastAPI 会把该参数当作查询参数或请求体(JSON)参数。UploadFile 支持以下 async 方法,(使用内部 SpooledTemporaryFile)可调用相应的文件方法。content_type:内容类型(MIME 类型 / 媒体类型)字符串(str),例如,image/jpeg;可在一个路径操作中声明多个 File 与 Form 参数,但不能同时声明要接收 JSON 的 Body 字段。
2024-12-05 10:40:45
862
原创 吃瓜教程【3】
对数几率回归西瓜书3.27西瓜书 梯度下降西瓜书 牛顿法西瓜书 3.30西瓜书 3.31西瓜书线性判别西瓜书 3.32西瓜书 3.37到3.39西瓜书3.43西瓜书 3.44西瓜书 3.45
2024-11-22 01:47:37
207
原创 Awesome Compression【02】
涉及到整个神经元,卷积核,层,或者更复杂的结构,通常以filter进行单位进行剪枝,可以通过GPU进行加速。是模型压缩中的一门重要的技术,思想是把模型中不重要的权重和分支裁减掉,将网络稀疏化。考虑模型整体的结构性能,可能会移除整个神经元,卷积核,层或者更复杂结构。稀疏矩阵被压缩,存储非零的数据值,还有一个存储非零元素的位置。基于权重大小,基于梯度大小,基于尺寸,基于二阶。非结构化剪枝,结构化剪枝,和半结构化剪枝条。训练后剪枝,训练时剪枝,训练前剪枝。均匀分层剪枝,非均匀分层剪枝。迭代剪枝,单次剪枝,
2024-11-16 00:33:25
260
原创 FastAPI【02】
使用Field在Pydantic模型内部进行声明校验和元数据。可以声明拥有特定属性名称,类型和校验的深度嵌套的Json对象。任意dict构成的请求体, 无需事先知道有效的字段或者属性。查询参数既可以使用get进行请求也可以进行put请求。参数的三种类型:路径参数,查询参数,请求体参数。导入Header,定义header进行请求。导入Cookie,定义Cookie参数。使用request库进行请求。
2024-11-15 23:35:12
254
原创 FastAPI【01】
POST和PUT的区别(1) POST是用来提交数据的。提交的数据放在HTTP请求的正文里,目的在于提交数据并用于服务器端的存储,而不允许用户过多的更改相应数据(主要是相对于在url 修改要麻烦很多)。(2) PUT操作是幂等的。所谓幂等是指不管进行多少次操作,结果都一样。(3)POST操作既不是安全的,也不是幂等的,比如常见的POST重复加载问题:当我们多次发出同样的POST请求后,其结果是创建出了若干的 资源。
2024-11-13 01:57:06
375
原创 磁盘(主要)两边是磁盘(恢复)
7.delete partition override进行删除操作。磁盘(主要)两边是磁盘(恢复),需要进行扩展,此时扩展卷是灰色的。5.输入list partition [num],显示磁盘信息。6.select partition [num],选择分区。4.输入select disk [num],选择磁盘。3.之后输入list disk列出磁盘信息。输入diskpart.exe,按下回车键。1.按住win+R,进入命令行界面。输入rescan,进行电脑配置扫描。2.之后进入DISKPART模式。
2023-11-01 10:53:48
588
1
原创 VMware虚拟机可以ping主机,但是主机ping不了虚拟机
ipconfig查看Vmware8的ip地址:查看主机的ip地址:虚拟机ping主机:主机ping虚拟机:修改主机的网络设置。
2023-08-20 16:33:37
399
1
原创 ACI操作简单的代码
神通数据库对string类型的数据写入,具体使用ACIStmtExecute,ACIBindByPos函数可以参考文档。具体使用场景,使用ACI操作神通数据库,c++代码。
2023-05-25 09:03:46
198
原创 神通数据库ACI编程基础
在 UTF-16 中准备好语句后,绑定和定义缓冲区的字符集默认为 UTF-16。从当前位置获取的行数,如果在 nrows 参数设置为 0 的情况下调用ACIStmtFetch ,则将关闭游标。与要执行的语句关联的语句句柄。该语句必须使用先前对ACIEnvNlsCreate 的调用的 charset 参数指定的编码。唯一可接受的值为 ACI_FETCH_NEXT,这也是默认值。语句的长度(以字符或字节数为单位),取决于编码。指向用于诊断的错误句柄的指针。指向返回的语句句柄的指针。作用:从查询中获取行。
2023-05-11 20:50:58
615
原创 在银河麒麟V4系统下使用Qt(程序方面)
项目需求,在Qt软件下使用restful网络通信接口,进行json数据传输,主要包括了读取和发送数据,使用c++编程。
2023-04-07 19:12:29
792
原创 在银河麒麟V4系统下使用Qt(软件配置方面)
最近做一个项目,在银河麒麟V4系统下使用Qt,做一个使用restful接口传输Json数据的通信代码。
2023-04-07 15:35:50
2474
原创 博弈论—完全信息静态博弈
定义:在n个参与者标准博弈GS1S2Sn;u1...un中,如果战略组合s1∗s2∗sn∗s1∗s2∗...sn∗满足对每一个参与者i,si∗s_i^*si∗(至少不是最劣) 相对于其他的n-1个参与者所选择的战略s1∗s2∗si−1∗si1∗sn∗s1∗s2∗...si−1。
2023-04-07 15:04:16
881
Qt写的一个server程序
2023-04-11
树莓派4B使用设置说明
2023-01-15
计算机接口技术读书报告
2022-12-10
研究生《矩阵分析》思维导图
2022-11-20
研究生《数值分析》思维导图
2022-11-20
python强化学习SAC算法
2024-04-16
PPO离散化二维追击问题不收敛
2024-03-24
PPO算法离散空间训练不收敛
2024-03-24
计算图中出现的误差方向传播问题
2024-03-23
PPO强化学习训练不收敛
2024-03-22
BP网络不收敛,python
2024-03-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅