- 博客(109)
- 资源 (2)
- 收藏
- 关注
原创 探索GPT-4V:大型多模态模型的创新与应用前瞻
大型语言模型 (LLM)[22,94,27,10,116,50] 的突破在各个领域和任务中表现出了卓越的多功能性和能力。该领域的下一个发展是大型多模态模型 (LMM),旨在通过集成多感官技能(multi-sensory skills)来扩展 LLM 的功能,以实现更强大的通用智能。鉴于视觉在人类感官中的主导地位 [30, 55],许多 LMM 研究都是从扩展视觉能力开始的。
2024-08-02 10:26:35
960
1
原创 浦语大模型全链路开源 InternLM2:实战营技术笔记解析
自从ChatGPT和GPT-4的出现以来 (OpenAI, 2023),大型语言模型(LLMs)在学术界和工业界迅速走红。训练在数十亿令牌上的模型展现了深刻的情感理解和问题解决能力,引发了人们普遍认为AGI时代即将到来的猜测。尽管如此,开发出与ChatGPT或GPT-4相当能力的模型的道路仍然模糊不清。开源社区正在努力缩小专有LLM与开源模型之间的差距。在过去的一年里,如LLaMA (Touvron et al., 2023a;
2024-08-02 10:25:52
508
原创 使用LangChain与向量数据库提升RAG:高级语义搜索实践CVP技术解析:ChatGPT与LLMs结合向量数据库的智能检索TruLens:探索语言模型评估新工具,优化搜索体验
搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排精排重排混排)、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战(含码源)专栏详细介绍:搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排精排重排混排)、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战(含码源)前人栽树后人乘凉,本专栏提供资料:
2024-08-02 10:25:20
431
原创 【实战分享】TensorRT+LLM:大模型推理性能优化初探
TensorRT-LLM可以视为TensorRT和FastTransformer的结合体,旨为大模型推理加速而生。
2024-07-31 13:20:50
419
原创 增强GLIPv2:添加negative phrase与分割功能实战解析
论文:GLIPv2: Unifying Localization and Vision-Language Understanding代码:https://github.com/microsoft/GLIP,但当前仓库里边并没有 glipv2 的代码HuggingFace 路径:https://huggingface.co/GLIPModel/GLIP/tree/main出处:NIPS2022 | 华盛顿大学 | Meta | Microsoft | UCLA时间:2022.10grounding 任
2024-07-30 08:44:05
503
原创 PyTorch实战:探索num_workers的奥秘与性能测试
在 PyTorch 中,num_workers 是 DataLoader 中的一个参数,用于控制数据加载的并发线程数。它允许您在数据加载过程中使用多个线程,以提高数据加载的效率。具体来说,num_workers 参数指定了 DataLoader 在加载数据时将创建的子进程数量。当 num_workers 大于 0 时,DataLoader 会自动利用多个子进程来加速数据加载。这有助于减少主进程的等待时间,并使得数据加载更加并行化。
2024-07-30 08:43:22
490
原创 「GPT大模型」探索未来:应用架构的创新实践与突破
在人工智能的黄金时代,大模型如GPT(Generative Pre-trained Transformer)已成为技术创新和应用发展的前沿。它不仅重新定义了人机交互的方式,还在多个领域内展现出了巨大的应用潜力。本文将深入探讨大模型GPT的应用架构,并且探索其在各个行业中的创新实践。
2024-07-30 08:42:50
476
原创 智谱AI布局情感智能:收购聆心智能,推出CharacterGLM大模型
话题:聆心智能与智谱AI合作发布CharacterGLM超拟人大模型。话题:智谱AI投资了聆心智能的天使轮以及Pre-A轮融资。曝智谱AI全资收购清华系大模型公司聆心智能。#CharacterGLM超拟人大模型。话题:聆心智能被智谱AI全资收购。#聆心智能、智谱AI、全资收购。
2024-07-28 22:25:45
375
原创 编程进阶探索:以LangGPT为例,构建LLM的高效提示模板框架
定义的内置模块已经尽可能全面地涵盖了提示的许多方面。此外,还添加了LangGPT涵盖的应用场景和模块。但受限于自身的能力和领域知识,无法考虑LLM的所有应用场景。因此,除了内置模块和基本元素之外,还定义了扩展模块和自定义元素,以提高提示的通用性和复用性。扩展模块和自定义元素的设计流程如图2所示。这个过程可以帮助用户快速分析他们的需求并提出提示中需要包含的要点。基于LangGPT提供的设计模板以及设计流程,可以优化高质量提示以快速匹配应用场景。图 2:扩展模块和自定义元素的设计流程。
2024-07-28 22:25:12
616
原创 Python实战:GPT-2驱动的机器学习模型构建指南
GPT-2是一种属于Generative Pre-trained Transformers的算法,是自然GPT-2是一种属于Generative Pre-trained Transformers的算法,是自然语言处理(NLP)领域具有重要影响力的算法之一。GPT-2模型的结构与GPT一脉相承,适用于语言模型,即预测给定一系列上下文词语后,下一个词的概率。值得注意的是,每一代GPT模型的参数量都在不断增长,例如2019年发布的GPT-2拥有15亿参数,而2020年发布的GPT-3则达到了1750亿参数。
2024-07-28 22:24:40
410
原创 Transformer模型:人工智能界的全能跨界王
Transformer凭借强大特征提取能力补齐了传统RNN在NLP领域中的诸多短板,其多种衍生模型在NLP任务上表现出色。此外,随着CNN模型的发展从成熟走向瓶颈,Transformer为CV领域注入了新鲜血液,从分类到分割,从图像到视频,Transformer已逐步代替CNN成为解决CV领域问题新范式。除强大的特征提取能力外,Transformer的自注意力结构在多类型数据模式对齐上也同样表现优秀,为处理文本、语音、图像、视频等多类型数据融合问题提供了新思路。
2024-07-26 20:09:11
1481
原创 GPT-4引领:AI新浪潮的转折点
Yann LeCun当时到处说这是一个技术上的瓶颈。2016年左右开始创办OpenAI时,这一领域的研究者还很少,我们当时的同事大多来自Google/DeepMind,他们有从业经验,但思路相对而言比较狭窄,有所束缚。两位创始人在交谈中表现出的异常敏捷的表达能力,Ilya的语速相对平缓很多,但他的思考要比说出口的内容更深远。那个引发深度学习新一轮革命浪潮的AlexNet也与Ilya有关,他是AlexNet的作者之一,后续随之而来的AlphaGo、GPT、CLIP、DALL-E和Codex都离不开他的贡献。
2024-07-26 20:08:39
359
原创 大模型与Prompt模板:全新升级解析
在接入大模型方面,新的千帆大模型平台实现了质的飞跃,将更多的优质资源整合到平台上,使用户能够更方便地选择和应用。在Prompt模板方面,新的平台提供了更全面的模板,使用户能够根据自身需求进行选择,更好地发挥大模型的潜力。千帆大模型平台是一个基于云计算的大模型训练及推理平台,它为用户提供了丰富的人工智能工具和资源,帮助用户更好地利用大模型进行创新和应用。这些大模型的接入,使用户可以根据自己的需求,选择最适合的模型进行应用和扩展,极大地提高了用户的效率和准确性。,进一步提高了用户的AI体验。
2024-07-26 20:08:08
385
原创 PyTorch深入理解:named_parameters(),parameters()与state_dict()的区别解析
为何model.parameters()迭代出来的所有参数的require_grad属性都是True,因为它们在被创建时,默认的require_grad就是True。这也符合逻辑,即,使用nn.Parameter()创建的变量是模型参数,本就是要参与学习和更新的;而不参与模型学习和更新的呢?
2024-07-25 22:32:26
766
原创 GPT模型调优:探索Top-k、Top-p与Temperature参数
上一篇文章介绍了几个开源LLM的环境搭建和本地部署,在使用ChatGPT接口或者自己本地部署的LLM大模型的时候,经常会遇到这几个参数,本文简单介绍一下~top_ptop_k。
2024-07-25 22:31:51
1839
原创 PyTorch实战:探索Dataloader的num_workers工作机制
最近遇到一个问题,发现dataloader中数据加载异常的慢,慢慢的排查到了dataloader这一步,我以前一直以为num_work共同维护一个大小为batch size的队列,但是不是,它每次会开启num_work个线程,分别去加载dataset里面的数据,直到每个worker加载数据量为batch size 大小(num_work*batch_size)才会进行下一步训练。而不是我之前理解的,只要总数据量达到batch size就立刻进行下一步训练。
2024-07-25 22:31:18
226
原创 使用LibTorch加载预训练PyTorch模型实践
PyTorch如今发布到1.1稳定版本,新增的功能让模型部署变得更为地简单,本文记录如何利用C++来调用PyTorch训练好的模型,其实也是利用官方强大的LibTorch库。
2024-07-24 22:09:17
346
原创 视觉语言动作模型:从网页知识到机器人控制的实战RT-2
Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Xi Chen, Krzysztof Choromanski, Tianli Ding, Danny Driess, Avinava Dubey, Chelsea Finn, Pete Florence, Chuyuan Fu, Montse Gonzalez Arenas, Keerthana Gopalakrishnan, Kehang Han, Karol Hausman, A
2024-07-24 22:08:45
1164
转载 深度解析MobileNetV2:倒置残差与线性瓶颈及PyTorch实现
前言:最近在看EfficientNet,里面用到了与MobileNetV2相似的结构,所以找来看一下并记录。MobileNetV2是一个轻量化网络,论文题目和地址如下:论文题目:MobileNetV2: Inverted Residuals and Linear Bottlenecks。
2024-07-24 22:08:14
1296
原创 GPT模型背后:数据驱动的人工智能技术揭秘
这次大模型的成功是多个子领域的成功碰撞出的结果,例如模型设计(Transformer)、Data-centric AI(对数据质量的重视)、强化学习(RLHF)、机器学习系统(大规模集群训练)等等,缺一不可。从GPT-1到ChatGPT/GPT-4,所用的训练数据大体经历了以下变化:小数据(小是对于OpenAI而言,对普通研究者来说也不小了)->大一点的高质量数据->更大一点的更高质量数据->高质量人类(指能通过考试的标注者)标注的高质量数据。顾名思义,大语言模型指的是比较「大」的(神经网络)语言模型。
2024-07-21 21:34:58
374
原创 GPT模型解析:走进大模型系列
https://blog.youkuaiyun.com/None_Pan/article/details/106392965
2024-07-21 21:34:26
92
原创 深度学习大结合:Transformer、BERT、GPT与GPT2探索
转载于:https://www.cnblogs.com/wuxiangli/p/10409162.html。进化史:https://zhuanlan.zhihu.com/p/49271699。
2024-07-21 21:33:43
115
原创 TensorFlow与PyTorch:模型参数查看与可视化攻略
目前netron支持 ONNX (.onnx, .pb, .pbtxt), Keras (.h5, .keras), Core ML (.mlmodel), Caffe (.caffemodel, .prototxt), Caffe2 (predict_net.pb, predict_net.pbtxt), Darknet (.cfg), MXNet (.model, -symbol.json), ncnn (.param) and TensorFlow Lite (.tflite)。
2024-07-16 09:09:45
1101
原创 阿里云ECS实战:构建LobeHub,一站式AI整合平台,搭载ChatGPT等前沿智能工具
利用白嫖阿里云的ECS搭建了最近的一个LobeHub这个项目,如果对LobeHub项目还不熟的兄弟们,简单给大家介绍一下。项目地址:项目更新很快啊。看它的更新日志,隔几天就有一个更新,下面简单介绍一下如何在阿里云上搭建一个自己的Lobehub项目,建议用海外ECS,安装好操作系统,建议Uubuntu 20以上,如果装了其他系统,可以先停止服务器,然后参照下图更换操作系统。
2024-07-16 09:09:13
828
原创 Meta Llama 2: 探索下一代开源大型语言模型的奥秘
大型语言模型(LLM)是一种人工神经网络,可以从大量文本数据中学习并生成各种主题的自然语言文本。LLM 接受的语料库包含来自不同来源的数十亿或数万亿单词,例如书籍、网站、社交媒体帖子、新闻文章等。LLM 可以执行各种自然语言处理(NLP)任务,例如文本分类、情感分析、问答、机器翻译、文本摘要、文本生成等。流行的 LLM 的一些例子包括 OpenAI 的 ChatGPT、Google 的 Bard、微软的 Turing-NLG、IBM 的 Project CodeNet 等。
2024-07-13 21:38:55
877
原创 PyTorch实战:使用transformers的Trainer微调预训练模型
transformers提供了非常便捷的api来进行大模型的微调,下面就讲一讲利用Trainer来微调大模型的步骤。利用Trainer提供的api,只需要简简单单的九步,十几行代码就能进行大模型的微调,你要不要动手试一试?第六步:调用map()来将该分词函数应用于整个数据集。第三步:获取分词器tokenizer。比如这个里面设置了epoch等于2。第八步:初始化Trainer。第一步:加载预训练的大模型。第二步:设置训练超参。
2024-07-13 21:38:23
636
原创 PyTorch入门教程(2): Tensor的创建与属性详解——size、dtype、device与layout
Torch.device 是表现 torch.Tensor被分配的设备类型的类,其中分为’cpu’ 和 ‘cuda’两种,如果设备序号没有显示则表示此 tensor 被分配到当前设备, 比如: ‘cuda’ 等同于 ‘cuda’: X , X 为torch.cuda.current _device() 返回值。其中, torch.dtype 是展示 torch.Tensor 数据类型的类,pytorch 有八个不同的数据类型,下表是完整的 dtype 列表.dtype - 可以返回想要的tensor类型。
2024-07-13 21:37:50
850
原创 大模型对决:Dolly、LLaMA等在NL2SQL任务中的ChatGPT探索(一)
ChatGPT的成功引发了一场AI竞赛,研究人员致力于开发新的大型语言模型(LLMs),以匹敌或超越商业模型的语言理解和生成能力。近期,许多声称其性能接近GPT-3.5或GPT-4的模型通过各种指令调优方法出现了。然而,重要的是要带着审查意识去看待这些声明,并确定这些模型的实际有效性。因此,我们将六个流行的大型语言模型相互对比,系统评估它们在九个基准数据集上的文本到SQL解析能力,涵盖了五种不同的提示策略,包括零样本和少样本场景。
2024-07-10 22:41:01
887
原创 Meta发布Llama 2驱动的AI代码生成器:Code Llama,开源来袭!
Code Llama 提供了三种不同大小的模型,分别具有 7B、13B 和 34B 参数,可以用于代码补全和调试。每个模型都使用 500B 代码 tokens 和代码相关数据进行训练,此外 7B 和 13B 基础模型和指令模型经过了中间填充 (FIM) 功能的训练,支持在现有代码中插入代码的功能。34B 模型返回最佳结果并提供更好的编码辅助,但较小的 7B 和 13B 模型速度更快,更适合需要低延迟的任务,例如实时代码补全。生成代码和有关代码的自然语言,支持多种主流编程语言,
2024-07-10 22:40:28
419
原创 Meta发布Llama 2驱动的AI代码生成模型:Code Llama开源版
Code Llama 提供了三种不同大小的模型,分别具有 7B、13B 和 34B 参数,可以用于代码补全和调试。每个模型都使用 500B 代码 tokens 和代码相关数据进行训练,此外 7B 和 13B 基础模型和指令模型经过了中间填充 (FIM) 功能的训练。34B 模型返回最佳结果并提供更好的编码辅助,但较小的 7B 和 13B 模型速度更快,更适合需要低延迟的任务,例如实时代码补全。它们具有开放式模型中领先的性能、填充能力、对大型输入上下文的支持以及用于编程任务的零指令跟随能力。
2024-07-10 22:39:55
488
原创 LLaMA2模型开源商用:实力比肩ChatGPT,探索AI新高度
2023年7月19日:Meta 发布开源可商用模型 Llama 2。Llama 2是一个预训练和微调的生成文本模型的集合,其规模从70亿到700亿个参数不等。经过微调的LLMs称为Llama-2-Chat,针对对话用例进行了优化。Llama-2-Chat模型在我们测试的大多数基准测试中都优于开源聊天模型,在对有用性和安全性的人工评估中,与ChatGPT和PaLM等一些流行的封闭源代码模型不相上下。LLaMA-2-chat 几乎是开源模型中唯一做了 RLHF 的模型。
2024-07-08 08:29:05
365
原创 PyTorch与NumPy数据类型转换完全指南
如果tensor数据在gpu上,那么需要将tensor数据先转移到cpu上面,然后在进行转化。注意:torch 和 numpy 转化后 指向地址相同。如果tensor数据在cpu上,直接使用。
2024-07-08 08:28:32
600
原创 深入探索:Transformer模型——AI大模型时代的基石
文本分类:输入是一段文本,输出是该文本的类别命名实体识别:输入是一段文本,输出是该文本中的某些关键要素或者信息机器翻译:输入是一段语言文本,输出是 另一种语言文本;按照技术的发展,目前机器翻译主要有两种方法:基于统计的机器翻译和基于神经网络的机器翻译文本摘要:输入是一段较长文本,输出是对该文本的一段精简表达文本;
2024-07-08 08:28:01
1014
原创 FastSpeech2中文语音合成就步解析:TTS数据训练实战篇
Step 9 : 当训练步数到达预先设定的synth_step时,调动utils文件夹下tool.py里的log function 和 synth_one_sample function(具体用来干什么没看懂)Step 8 : 当训练步数到达预先设定的log_step时,调动utils文件夹下tool.py里的log function,记录loss和step。Step 7 :开始训练,前向传播,计算损失,反向传播,梯度剪枝,更新模型权重参数。调用utils文件夹下的model.py加载模型,声码器,
2024-07-07 08:32:14
1227
原创 挑战极限:500行SQL打造GPT大模型实战
生成式 LLM 是一个函数。它接受一个文本字符串作为输入(在人工智能术语中称为“提示”),并返回一个字符串和数字数组。该函数的签名如下所示:这个函数是确定性的。它在底层做了很多数学运算,但所有这些数学运算都是硬连线的。如果您使用相同的输入重复调用它,它将始终返回相同的输出。对于任何使用ChatGPT和类似产品的人来说,这可能会感到惊讶,因为它们可以对同一问题给出不同的答案。然而,这是真的。我们很快就会看到它是如何工作的。
2024-07-07 08:31:42
1081
原创 PyTorch实现InceptionResNetV2:预训练模型适应多类别任务代码解析
Imagenet的预训练inceptionresnetv2是1000个类别,根据笔者添加了一个bottleneck层和一个head层使得可以进行自定义类别训练。
2024-07-07 08:31:10
606
原创 LLM模型在Text2SQL任务中的实战探索
LangChain是一个面向大语言模型的应用开发框架,如果将大语言模型比作人的大脑,那么可以将LangChain可以比作人的五官和四肢,它可以将外部数据源、工具和大语言模型连接在一起,既可以补充大语言模型的输入,也可以承接大语言模型的输出。通过上例,我们可以借助LangChain提供的SQLDatabaseChain,轻松地连接LLM与Database,自然语言的方式输入,自然语言的方式输出,借助LLM的强大能力来理解问题、生成SQL查询数据并输出结果。这样可以防止 LLM 看到数据库中的任何内容。
2024-07-06 22:21:36
1389
原创 大模型实战:RAG的应用探索
个人理解大模型的应用就是两大类:理解和生成(哈哈,又回到了NLU和NLG的思维上)。在目前主流的LLM应用上,对于NLU的解决方案通常就是RAG(有可能还有其他,请允许我的小白)。NLG的应用解决方案也许就是LLM本身的能力吧(哈哈,把它看成人,NLG就是一个人的创新能力)但是随着国内开源大模型的开放,越来越多人觉得通用LLM的价值很低(可能是商业利益的驱使)。RAG最初是为了解决LLM的各类问题的(后面会提到)产生的,但后面大家发现在现阶段的很多企业痛点上,使用RAG好像是更好的解决方案。
2024-07-06 22:21:04
186
基于STM32 的波浪测量系统
2024-06-23
基于spark的系统/算法实现的实时网约车系统设计
2024-06-23
Django框架实现的任务管理系统
2024-06-23
windows hugo安装包 0.127.0版本
2024-06-23
高分毕设-居住证申报系统微信小程序的设计实现-API接口基于ssm框架实现
2024-06-21
高分毕设-私家车位共享系统微信小程序的设计实现-API接口基于ssm框架实现
2024-06-21
高分毕设-绘画学习平台微信小程序的设计实现-API接口基于ssm框架实现
2024-06-21
高分毕设-外籍人员管理系统微信小程序的设计实现-API接口基于ssm框架实现
2024-06-20
高分毕设-电子竞技信息交流平台微信小程序的设计实现-API接口基于ssm框架实现
2024-06-20
高分毕设-4S店客户管理系统微信小程序的设计实现-API接口基于ssm框架实现
2024-06-20
高分毕设-在线课堂微信小程序的设计实现-API接口基于ssm框架实现
2024-06-19
高分毕设-外卖小程序微信小程序的设计实现-API接口基于ssm框架实现
2024-06-19
高分毕设-课堂助手微信小程序的设计实现-API接口基于php框架实现
2024-06-19
高分毕设-商品展示微信小程序的设计实现-API接口基于ssm框架实现
2024-06-18
高分毕设-电子商城购物平台微信小程序的设计实现-API接口基于ssm框架实现
2024-06-18
高分毕设-助农扶贫微信小程序的设计实现-API接口基于ssm框架实现
2024-06-18
高分毕设-英语学习交流平台微信小程序的设计实现-API接口基于ssm框架实现
2024-06-15
高分毕设-阅读网站微信小程序的设计实现-API接口基于ssm框架实现
2024-06-15
高分毕设-小说阅读器微信小程序的设计实现-API接口基于ssm框架实现
2024-06-15
高分毕设-考试系统微信小程序的设计实现-API接口基于ssm框架实现
2024-07-16
高分毕设-在线投稿系统微信小程序的设计实现-API接口基于ssm框架实现
2024-07-16
高分毕设-智能社区服务微信小程序的设计实现-API接口基于ssm框架实现
2024-07-16
高分毕设-马拉松报名系统微信小程序的设计实现-API接口基于ssm框架实现
2024-07-02
高分毕设-购物系统微信小程序的设计实现-API接口基于php框架实现
2024-07-02
高分毕设-四六级词汇学习微信小程序的设计实现-API接口基于ssm框架实现
2024-07-02
高分毕设-追星小程序微信小程序的设计实现-API接口基于ssm框架实现
2024-07-01
高分毕设-音乐室预约微信小程序的设计实现-API接口基于ssm框架实现
2024-07-01
高分毕设-乐室预约微信小程序的设计实现-API接口基于ssm框架实现
2024-07-01
高分毕设-畅阅读微信小程序微信小程序的设计实现-API接口基于ssm框架实现
2024-06-26
高分毕设-高校体育场管理系统微信小程序的设计实现-API接口基于ssm框架实现
2024-06-26
高分毕设-校园外卖平台微信小程序的设计实现-API接口基于ssm框架实现
2024-06-26
高分毕设-微信小程序电影订票系统微信小程序的设计实现-API接口基于ssm框架实现
2024-06-25
高分毕设-校园二手交易平台微信小程序的设计实现-API接口基于ssm框架实现
2024-06-25
高分毕设-云上考场微信小程序的设计实现-API接口基于ssm框架实现
2024-06-25
a高分毕设-网上商城微信小程序的设计实现-API接口基于ssm框架实现
2024-06-24
高分毕设-消防隐患在线举报微信小程序的设计实现-API接口基于ssm框架实现
2024-06-24
高分毕设-培训机构客户管理系统微信小程序的设计实现-API接口基于ssm框架实现
2024-06-24
基于稀疏表示求解的人脸识别
2024-06-23
基于Python的PyGame库实现的贪吃蛇小游戏
2024-06-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人