- 博客(14)
- 收藏
- 关注
RSS订阅原创 大模型的function call功能介绍使用
GPT4o效果不错，换成GPT-3.5时，“计算1.4的两倍是多少”问题会调用calculator_abs，出现错误（{'content': None, 'role': 'assistant', 'function_call': {'arguments': '{"num":"1.4"}', 'name': 'calculator_abs'}, 'tool_calls': None}）。计算1.4的绝对值是多少。计算1.4的两倍是多少。计算1.4的平方是多少。
2024-09-02 14:22:32
708
原创 RAG之优化策略
目前，适配器是以小型前馈神经网络的形式实现的，插入到预训练模型的层之间。a) adatpive retrieval 在检索模块前新增一个模块，根据用户query判断是否需要调用外部知识库，避免滥用检索造成的资源浪费跟模型幻视问题。a) prompt engineering 懂得都懂，大模型对于prompt还是很敏感的，正确掌握大模型的使用方式可以得到足够惊艳的效果。，这是一种功能强大但使用简单的技术，可以扩展嵌入式内容，使其更好地与用户的任务保持一致，利用用户对检索文档相关性的反馈来训练适配器。
2024-08-08 15:50:00
831
原创 The prompt report: A Systematic Survey of Prompting Techniques-prompt综述-阅读笔记
Prompt是一段输入给生成式AI模型的文本，用于引导模型产生期望的输出。这个定义点明了Prompt的本质属性和功能定位。
2024-07-29 09:52:35
1251
原创 中文NLP工具LTP：原理与使用
其内核为基于Electra的联合模型：由一个共享编码器和几个处理不同任务的解码器组成。整个框架共享一个编码器，每个任务使用各自的任务解码器，所有任务使用一个联合学习机制同时进行优化。（Language Technology Platform） 提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。
2024-07-22 11:43:48
1135
原创 RAG之文本分块策略
rag系统在构建向量库时，调用embedding模型之前需要考虑如何将原始文本做分块，好的分块策略可以帮助我们优化从向量库被召回的内容的准确性。
2024-06-11 19:21:00
678
原创 RAG之milvus向量库使用
milvus相对于chroma来说更强大，chroma适用于构建一个小的demo，而milvus可以用于开发更大规模的系统，同时可以使用图形化管理工具 Attu来管理我们的milvus向量库，让日常对向量库的查看、管理更为方便。里对比了chroma、milvus等向量库的特性，这里详解整理一下milvus向量库的使用方法。关于collection、schema、field的概念、区别。这里是milvus的教程。这里是Attu工具代码。
2024-05-09 14:35:03
676
原创 LLM超参数temperature，top-p使用
一般来说，prompt 越长，描述得越清楚，模型生成的输出质量就越好，置信度越高，这时可以适当调高 temperature 的值；Top-p 通常设置为较高的值（如 0.75），目的是限制可能被采样的低概率 token 的长尾。从上面的原理可以看到，temperature、top-p等参数用于控制生成文本的随机性，值越大随机性越大，意味着多样性和创造性，但可能产生胡言乱语。大模型选择输出token的时候，会有一个采样策略，用于选择输出哪些token，其中两种主要的采样方法就是top-k和top-p。
2024-05-09 11:13:12
2950
原创 AI-agent (1)：设计模式和常用框架
AI-agent也称人工智能代理，是大模型技术驱动下的一种能够感知环境、进行决策和执行动作的智能实体。我们可以将其简单理解为：在这里LLM作为系统的大脑，为agent提供决策分析能力。有了agent系统，我们不再局限于以api接口的形式调用大模型，而是可以基于大模型搭建一个完整的应用系统，实现更强大的能力。
2024-04-17 20:46:49
1569
原创 Text-to-sql学习大纲
NL2SQL的任务是将用户的自然语言问句转化为可以执行的SQL语句，是实现人类和数据库无缝交互和提高数据库分析效率的核心技术。本篇仅讨论基于大语言模型的text-to-sql技术方案。
2024-04-08 11:02:01
1536
原创 RAG之大模型常用向量数据库对比
通过Faiss，企业可以构建高效的语义搜索和推荐系统、广告技术平台等应用，实现数据的精准匹配和价值最大化。它特别适用于大规模内容检索、图像和视频搜索等场景，如智能安防系统、图像和视频搜索引擎等。通过Milvus，企业可以轻松应对不断增长的数据挑战，实现快速、准确的内容检索和分析。通过Chroma，用户可以快速构建语义搜索原型、研究或教学项目，并实现准确的数据匹配和检索。随着数据和查询规模的增加，Milvus 还提供了集群分片的解决方案，支持读写分离、水平扩展、动态扩容等功能，实现了对于超大数据规模的支持。
2024-04-08 10:15:49
4579
原创 RAG之query改写优化
RAG系统涉及到对用户query做检索召回，好的query更有利于召回正确的结果。所以query analysis要做的就是对输入query做一个改写，让其语义更完善或格式更清晰。基于query改写好的文档如下，然后我们可以分别基于query和文档做检索。
2024-04-08 10:09:54
2885
原创 大模型学习 -- CLIP
这样做的好处是减小了sequence的长度，也就减少了计算量，训练速度更快；CLIP的双塔结构分别提取图像和文本的全局特征做对比学习，缺少局部信息的交互，FILIP增加了image tokens和text tokens的细粒度交互。最后，为了减少分布上的gap(训练mask测试一版不mask)，FLIP会在最后增加少量的unmasking训练，可以进一步提升模型的性能。一种简单高效的CLIP加速训练方法，只需mask掉部分图像，就可以将CLIP的训练过程加速2~3倍，而且能实现更好的性能。
2023-06-02 15:52:38
6929
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人