LDG_AGI-优快云博客

原创【深度学习】多目标融合算法（五）：定制门控网络CGC（Customized Gate Control）

本文详细介绍了CGC多任务模型的算法原理、算法优势，他是下一篇PLE多层多任务模型的基础，并以小红书业务场景为例，构建CGC网络结构并使用pytorch代码实现对应的网络结构、训练流程。相比于MMoE，CGC新增独享专家网络，通过gate门控的串联，切断任务Tower与其他任务独享专家的联系，使得独享专家能够更专注的学习本任务内的知识与信息。

2025-03-19 17:42:43 1227 55

原创【深度学习】多源物料融合算法（一）：量纲对齐常见方法

本文初步介绍了多种将不同量纲的多源物料转换为同一量纲的方法，主要目标就是让不同业务场景的推荐排序结果可以比较，通过公式化的序列转换，快速达到可比的预期，计算效率更高。在实践中，Z-score+Sigmoid方法更为实用。

2025-03-12 19:40:57 869 3

原创【深度学习】多目标融合算法（四）：多门混合专家网络MMOE（Multi-gate Mixture-of-Experts）

本文详细介绍了MMoE多任务模型的算法原理、算法优势，并以小红书业务场景为例，构建网络结构并使用pytorch代码实现对应的网络结构、训练流程。相比于MoE，MMoE可以更好的学习不同Task任务的相关性和差异性。是深度学习推荐系统中多目标或多场景类问题中必须掌握的根基模型。

2025-02-10 16:49:56 3019 109

原创【2024 优快云博客之星】技术洞察类：从DeepSeek-V3的成功，看MoE混合专家网络对深度学习算法领域的影响（MoE代码级实战）

本文代码级脚踏实地讲解了DeepSeek大模型、MMoE推荐模型中的MoE（Mixture-of-Experts）技术，该技术的主要思想是通过门控（gate）或路由（router）网络，对多个专家进行加权平均或筛选，将一个DNN网络裂变为多个DNN网络后，投票决定预测结果，相较于单一的DNN网络，具有更强的容错性、泛化性与准确性，同时可以提高推理速度，节省推理资源。

2025-01-20 18:35:40 4137 132

原创【深度学习】多目标融合算法（二）：底部共享多任务模型（Shared-Bottom Multi-task Model）

本文从技术原理、技术优缺点方面对推荐系统深度学习多任务多目标“Shared-Bottom Multi-task Model”算法进行讲解，该模型使用深度学习模型对多个任务场景多个目标的业务问题进行建模，使得用户在多个场景连续性行为可以被学习，在现实推荐系统业务中是比较基础的方法，后面本专栏还会陆续介绍MoE、MMoE等多任务多目标算法，期待您的关注和支持。

2025-01-09 15:08:49 2835 53

原创【深度学习】多目标融合算法（一）：样本Loss加权（Sample Loss Reweight）

本文从技术原理和技术优缺点方面对推荐系统深度学习多目标融合的“样本Loss加权”进行简要讲解，以达到对预期指标的强化，具有模型简单，成本较低的优点，但同时优化周期长、多个指标跷跷板问题也是该方法的缺点，业界针对该方法的缺点进行了一系列的升级，专栏中会逐步讲解，期待您的关注。

2024-12-31 18:31:54 1980 53

原创【人工智能】Transformers之Pipeline（二十八）：视觉问答（visual-question-answering）

本文对transformers之pipeline的视觉问答（visual-question-answering）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用多模态中的视觉问答（visual-question-answering）模型。

2024-12-05 17:46:29 4931 67

原创【人工智能】Transformers之Pipeline（二十七）：蒙版生成（mask-generation）

本文对transformers之pipeline的蒙版生成（mask-generation）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用多模态中的蒙版生成（mask-generation）模型。

2024-12-02 17:08:54 5188 71

原创【人工智能】Transformers之Pipeline（二十六）：图片转文本（image-to-text/image-text-to-text）

本文对transformers之pipeline的图片转文本（image-to-text）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用多模态中的图片转文本（image-to-text）模型。

2024-11-29 17:26:47 1105 50

原创【人工智能】Transformers之Pipeline（二十五）：图片特征抽取（image-feature-extraction）

本文对transformers之pipeline的图片特征抽取（image-feature-extraction）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用多模态中的图片特征抽取（image-feature-extraction）模型。

2024-11-25 16:26:55 5471 61

原创【人工智能】Transformers之Pipeline（二十四）：文本特征抽取（feature-extraction）

本文对transformers之pipeline的文本特征抽取（feature-extraction）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用多模态中的文本特征抽取（feature-extraction）模型。

2024-11-22 16:58:40 995 78

原创【人工智能】Transformers之Pipeline（二十三）：文档视觉问答（document-question-answering）

本文对transformers之pipeline的文档视觉问答（document-question-answering）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用多模态中的文档视觉问答（document-question-answering）模型。

2024-11-12 19:25:08 5618 77

原创【人工智能】Transformers之Pipeline（二十二）：零样本文本分类（zero-shot-classification）

本文对transformers之pipeline的零样本文本分类（zero-shot-classification）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的零样本文本分类（zero-shot-classification）模型。

2024-11-06 18:28:09 6091 77

原创【人工智能】Transformers之Pipeline（二十一）：翻译（translation）

本文对transformers之pipeline的翻译（translation）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的翻译（translation）模型。

2024-10-24 16:30:09 1394 80

原创【人工智能】Transformers之Pipeline（二十）：令牌分类（token-classification）

本文对transformers之pipeline的令牌分类（token-classification）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的令牌分类（token-classification）模型。

2024-10-22 15:27:30 5067 66

原创【人工智能】Transformers之Pipeline（十九）：文生文（text2text-generation）

本文对transformers之pipeline的文生文（text2text-generation）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的文生文（text2text-generation）模型。

2024-09-23 19:07:33 4383 95

原创【人工智能】Transformers之Pipeline（十八）：文本生成（text-generation）

本文对transformers之pipeline的文本生成（text-generation）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的文本生成（text-generation）模型。

2024-09-13 18:01:57 4850 116

原创【人工智能】Transformers之Pipeline（十七）：文本分类（text-classification）

本文对transformers之pipeline的文本分类（text-classification）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的文本分类（text-classification）模型。

2024-09-11 20:34:12 5398 96

原创【人工智能】Transformers之Pipeline（十六）：表格问答（table-question-answering）

本文对transformers之pipeline的表格问答（table-question-answering）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的表格问答（table-question-answering）模型。

2024-09-10 11:47:46 3160 89

原创【人工智能】Transformers之Pipeline（十五）：总结（summarization）

本文对transformers之pipeline的总结（summarization）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的总结（summarization）模型。

2024-09-04 20:39:08 2590 104

原创【人工智能】Transformers之Pipeline（十四）：问答（question-answering）

本文对transformers之pipeline的问答（question-answering）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的问答（question-answering）模型。

2024-08-30 19:47:44 2617 96

原创【人工智能】Transformers之Pipeline（十三）：填充蒙版（fill-mask）

本文对transformers之pipeline的填充蒙版（fill-mask）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的填充蒙版（fill-mask）模型。

2024-08-27 17:34:02 2593 106

原创【人工智能】Transformers之Pipeline（十二）：零样本物体检测（zero-shot-object-detection）

本文对transformers之pipeline的零样本物体检测（zero-shot-object-detection）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用计算机视觉中的零样本物体检测（zero-shot-object-detection）模型。

2024-08-23 19:50:25 3254 109

原创【人工智能】Transformers之Pipeline（十一）：零样本图片分类（zero-shot-image-classification）

本文对transformers之pipeline的零样本图片分类（zero-shot-image-classification）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用计算机视觉中的零样本图片分类（zero-shot-image-classification）模型。

2024-08-20 21:42:05 3156 115

原创【人工智能】Transformers之Pipeline（十）：视频分类（video-classification）

本文对transformers之pipeline的视频分类（video-classification）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用代码极简的代码部署计算机视觉中的视频分类（video-classification）模型，应用于视频判别场景。

2024-08-15 17:20:12 4306 123

原创【人工智能】Transformers之Pipeline（九）：物体检测（object-detection）

本文对transformers之pipeline的物体检测（object-detection）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用计算机视觉中的物体检测（object-detection）模型。

2024-08-11 13:56:14 2352 122

原创【人工智能】Transformers之Pipeline（八）：文生图/图生图（text-to-image/image-to-image）

本文对文生图/图生图（text-to-image/image-to-image）从概述、SD技术原理、SD文生图实战、模型排名等方面进行介绍，读者可以基于DiffusionPipeline使用文中的极简代码进行文生图的初步体验

2024-08-06 23:50:22 4225 130

原创【人工智能】Transformers之Pipeline（七）：图像分割（image-segmentation）

本文对transformers之pipeline的图像分割（image-segmentation）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用计算机视觉中的图像分割（image-segmentation）模型。

2024-08-02 18:26:36 5736 157

原创【人工智能】Transformers之Pipeline（六）：图像分类（image-classification）

本文对transformers之pipeline的图像分类（image-classification）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用计算机视觉中的图像分类（image-classification）模型。

2024-07-29 20:33:45 4088 258

原创【人工智能】Transformers之Pipeline（五）：深度估计（depth-estimation）

本文对transformers之pipeline的深度估计（depth-estimation）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的代码极简的使用计算机视觉中的深度估计（depth-estimation）模型，应用于3D建模、自动驾驶距离测算等。

2024-07-24 21:11:43 5467 152

原创【人工智能】Transformers之Pipeline（四）：零样本音频分类（zero-shot-audio-classification）

本文对transformers之pipeline的零样本音频分类（zero-shot-audio-classification）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的代码极简的进行零样本音频分类推理，模型目前比较冷门，但介于pipeline设计了这个task，为了完整性，还是写了这一篇。

2024-07-22 20:17:29 4507 191

原创【人工智能】Transformers之Pipeline（三）：文本转音频（text-to-audio/text-to-speech）

本文对transformers之pipeline的文本生成语音（text-to-audio/text-to-speech）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline以及tts的python和命令行工具完成文字生成语音、文字参考语音生成语音、语音参考语音生成语音，应用于有声小说、音乐创作、变音等非常广泛的场景。

2024-07-18 21:47:54 15938 251

原创【人工智能】Transformers之Pipeline（二）：自动语音识别（automatic-speech-recognition）

本文对transformers之pipeline的自动语音识别（automatic-speech-recognition）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的代码极简的进行自动语音识别推理，应用于语音识别、字幕提取等业务场景。

2024-07-15 22:02:05 6658 127

原创【人工智能】Transformers之Pipeline（一）：音频分类（audio-classification）

本文对transformers之pipeline的音频分类（audio-classification）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的代码极简的进行音频分类推理，应用于音频情感识别、音乐曲风判断等业务场景。

2024-07-12 22:07:10 8167 110

原创【人工智能】Transformers之Pipeline（概述）：30w+大模型极简应用

本文为transformers之pipeline专栏的第0篇，后面会以每个task为一篇，共计讲述28+个tasks的用法，通过28个tasks的pipeline使用学习，可以掌握语音、计算机视觉、自然语言处理、多模态乃至强化学习等30w+个huggingface上的开源大模型。让你成为大模型领域的专家！

2024-07-10 21:33:17 11799 256

原创【机器学习】Google开源大模型Gemma2：原理、微调训练及推理部署实战

Gemma 是 Google 推出的轻量级、先进的开放模型系列，采用与 Gemini 模型相同的研究成果和技术构建而成。它们是仅使用解码器的文本到文本大型语言模型（提供英语版本），为预训练变体和指令调整变体具有开放权重。Gemma 模型非常适合各种文本生成任务，包括问题解答、摘要和推理。由于它们相对较小，因此可以将其部署在资源有限的环境（如笔记本电脑、桌面设备或您自己的云基础架构）中，让更多人能够使用先进的 AI 模型，并帮助促进每个人的创新。

2024-07-04 22:52:53 7018 225

原创【机器学习】FFmpeg+Whisper：二阶段法视频理解（video-to-text）大模型实战

本文在音频转文本的基础上，引入了视频转音频，这样可以采用二阶段法：先提取音频，再音频转文字的方法完成视频内容理解。之后可以配上LLM对视频内提取的文本进行一系列应用。

2024-07-01 20:39:26 5413 223

原创【机器学习】Whisper：开源语音转文本（speech-to-text）大模型实战

本文是上一篇chatTTS文章的夫妻篇，既然教了大家如何将文本转语音，就一定要教大家如何将语音转成文本，这样技术体系才完整。首先简要概述了Whisper的模型原理，然后基于transformers的pipeline库2行代码实现了Whisper模型推理，希望可以帮助到大家。码字不易，如果喜欢期待您的关注+3连+投票。

2024-06-28 18:31:49 20025 241

原创【机器学习】ChatTTS：开源文本转语音（text-to-speech）大模型天花板

本文首先以VITS为例，对TTS基本原理进行简要讲解，让大家对TTS模型有基本的认知，其次对ChatTTS模型进行step by step实战教学，个人感觉4万小时语音数据开源版本还是被阉割的很严重，可能担心合规问题吧。其次就是没有特定的角色与种子值对应关系，需要人工去归类，期待更多相关的工作诞生。

2024-06-25 01:01:00 8810 262

原创【机器学习】GLM-4V：图片识别多模态大模型（MLLs）初探

本文首先在引言中强调了一下OpenAI兼容API的重要性，希望引起读者重视，其次介绍了GLM-4V的原理与模型结构，最后简要讲了下FastAPI以及搭配组件，并基于FastAPI封装了OpenAI兼容API的GLM-4V大模型服务端接口，并给出了客户端实现。本文内容在工作中非常实用，希望大家能有所收获并与我交流。期待您的关注+三连！

2024-06-21 01:59:57 9736 209

空空如也

空空如也