自然语言处理_人工智能博客-专业IT技术发表平台

推荐付费专栏 VIP文章

【通义千问】蓝耘元生代 | 免费千万Token！解锁通义Qwen2.5-72B-Instruct自然语言处理新体验本文详述蓝耘元生代MaaS平台与Qwen2.5-72B-Instruct模型，涵盖平台特性、使用流程，还展示应用实例，新用户可获千万Token，前景可期。

阅读 2.3k

126赞

计算机视觉与自然语言处理的融合：VQA 技术详解计算机视觉与自然语言处理的融合：VQA 技术详解，人工智能，计算机视觉，大模型，AI，在人工智能蓬勃发展的当下，计算机视觉（Computer Vision, CV）和自然语言处理（Natural Language Processing, NLP）作为其两大重要领域，各自取得了令人瞩目的成果。计算机视觉致力于让计算机理解和解释图像、视频等视觉信息，实现目标检测、图像分类、语义分割等任务；自然语言处理则聚焦于使计算机能够理解、生成和处理人类语言，涵盖机器翻译、文本摘要、情感分析等应用。

阅读 16.5w

57赞

从神经网络语言模型(NNLM)到Word2Vec：自然语言处理中的词向量学习摘要：本文介绍了Word2Vec及相关语言模型。首先阐述了统计语言模型的核心思想——通过条件概率链式法则计算句子概率。针对传统方法的不足，介绍了n-gram模型及其平滑策略（加一平滑、加k平滑、Kneser-Ney平滑）。然后重点讲解了神经网络语言模型（NNLM）和Word2Vec，包括one-hot编码的局限性、词向量概念以及两种主要模型：skip-gram（用中心词预测上下文）和CBOW（用上下文预测中心词）。这些方法能有效捕捉词语间的语义关系，解决了传统方法的高维和稀疏性问题。

阅读 709

26赞

【自然语言处理（NLP）】生成词向量：ELMo（Embedded from Language Models）原理及应用 ELMo（Embedded from Language Models）是一种深度语境化的词表示方法，由AllenNLP团队于2018年提出。与传统的词嵌入方法（如Word2Vec、GloVe）不同，ELMo能够根据上下文动态生成词向量，从而捕捉到词的多义性和复杂的语言特征

阅读 1.7w

73赞

微服务远程调用完全透传实现：响应式与非响应式解决方案一、核心挑战：为何需要完全透传？在微服务架构中，服务间通信常面临以下痛点：错误信息丢失：客户端库（如WebClient/RestClient）默认将4xx/5xx响应转换为异常响应不一致：网关层无法获取下游服务的原始错误详情调试困难：生产环境难以定位根因问题透传的核心要求：保留原始HTTP状态码（如404、503等）透传所有响应头（Content-Type、X-Request-ID等）完整传递响应体（JSON/XML/二进制等）

阅读 1.3k

76赞

云边有个稻草人

【AI】探索自然语言处理（NLP）：从基础到前沿技术及代码实践自然语言处理（NLP）是计算机科学和人工智能领域的一个重要研究方向，它涉及计算机如何处理和分析大量自然语言数据。自然语言指的是我们日常使用的语言，如英语、中文等，而处理这些语言的任务需要计算机理解语言的结构、语法、语义等多个层面。文本预处理：如分词、去除停用词、词形还原等。语法分析：包括句法分析、依存句法分析等。情感分析：判断文本中的情感倾向（正面、负面、中立等）。机器翻译：将一种语言的文本转换为另一种语言。命名实体识别（NER）：识别文本中的实体（如人名、地点名、组织名等）。

阅读 3.3k

85赞

诗人啊_程序员

(!万字血书!)文本预处理：NLP 版 “给数据洗澡” 指南文本预处理是NLP任务的关键基础，本文系统介绍了从基础到实践的完整流程。首先通过分词、词性标注等基础方法分解文本结构，然后探讨了One-Hot、Word2Vec等文本向量化方法。数据分析环节重点讲解了标签分布、句子长度和词频统计的实用技巧。最后介绍了N-Gram特征提取、数据增强等高级处理方法，帮助提升模型性能。文章采用代码示例+理论解析的方式，为NLP开发者提供了一套实用的文本预处理指南。

阅读 1.9k

63赞

小馒头学python

蓝耘云智算|使用 Deepseek R1 模型优化 BERT 在 NLP 任务中的表现本文通过实际案例演示了如何利用 Deepseek R1 模型来优化传统 BERT 模型在情感分析任务中的表现，这极大的提高了我们工作的效率，无需为优化模型苦恼，Deepseek R1可以帮你扩宽思路；最后我将蓝耘云智算的注册链接贴出来，不想麻烦的，或者只想体验一下模型的小伙伴可以试试~注册链接：https://cloud.lanyun.net//#/registerPage?

阅读 4.8k

101赞

【自然语言处理（NLP）】自注意力（Self-Attention）原理及代码实现、位置编码、相对位置信息在自注意力中，查询（Query）、键（Key）和值（Value）都来自同一个输入序列。它能够计算输入序列中每个位置与其他所有位置之间的关联程度，从而捕捉序列内部的依赖关系。以自然语言处理中句子为例，假设输入是一个由单词组成的句子，自注意力机制可以计算每个单词与句子中其他单词的关联分数，这些分数反映了单词之间的语义相关性。比如对于句子“我爱自然语言处理”，自注意力机制会计算“我”与“爱”“自然语言处理”等词的关联分数，同理也会计算其他单词之间的关联分数。

阅读 1.6w

80赞

优选源码库sony52086

JAVA即时聊天IM聊天系统源码支持微信公众号+微信小程序+H5+APP 全渠道覆盖的JAVA即时聊天IM系统源码解析：社交+金融一体化解决方案

阅读 341

9赞

开源技术探险家

开源模型应用落地-LangChain实用小技巧-获取token消耗（五）使用get_openai_callback监控与AI模型交互时的资源消耗情况

阅读 4.4k

419赞

Springboot 整合 Java DL4J 打造自然语言处理之语音识别系统在当今数字化时代，**语音识别技术**正变得越来越重要。从智能手机中的语音助手到智能家居设备的语音控制，**语音识别**为人们提供了一种更加便捷、自然的人机交互方式。语音识别系统本质上是将语音信号转换为计算机能够理解和处理的文本形式。这一过程涉及到多个复杂的技术环节，包括**音频信号处理**、**特征提取**以及基于神经网络的**模型训练**等。我们将探索如何使用`Spring Boot`整合`Java Deeplearning4j`来构建一个语音识别系统。

阅读 8.9k

97赞

AI规划师-南木

多模态检索：CLIP实现图文互搜系统搭建（transformer丨人工智能丨机器学习丨深度学习丨神经网络丨NLP自然语言处理丨多模态大模型）图文互搜作为多模态检索的核心场景，传统方案（如ResNet+BM25）面临跨模态语义鸿沟、长尾数据泛化差等问题。本文将基于CLIP（Contrastive Language-Image Pre-Training）构建端到端图文互搜系统，从环境搭建到生产级优化全流程解析，附带COCO数据集实战经验和工业级部署方案。

阅读 1.2k

20赞

宅男很神经

【Python】NLP入门中文自然语言处理（NLP）与西方语言（如英语）的NLP在基础层面就存在显著差异。这些差异源于汉语言自身的独特结构和表达方式，它们既带来了计算上的挑战，也蕴藏着独特的机遇。理解这些特性是构建高效中文NLP系统的第一步。这是中文与大多数西方语言最核心的区别。在英语中，单词之间通常用空格自然分隔，例如 “I love Python”。计算机可以直接根据空格将句子划分为一个个独立的单词。然而，在中文中，句子通常是由连续的汉字序列构成，字与字之间没有显式的分隔符来指示词的边界。例如，句子 “上海东方明珠广播电视塔很高

阅读 957

28赞

小馒头学python

【Python数据分析五十个小案例】使用自然语言处理（NLP）技术分析 Twitter 情感情感分析（Sentiment Analysis）是文本分析的一部分，旨在识别文本中传递的情感信息，例如正面、负面或中立情绪。tweepy：用于访问 Twitter APInltk：提供 NLP 工具，如分词、停用词处理scikit-learn：模型训练与评估TensorFlow：深度学习框架社交媒体情感分析利用自然语言处理（NLP）技术对平台上的用户文本进行情感分类，旨在识别推文或评论中的情绪倾向，如正面、负面或中立。这项技术在商业、舆情监控和社会研究等领域有广泛应用。

阅读 2.9k

93赞

Reuters-21578: NLP文本分类与聚类资源宝库 Reuters-21578语料库源自路透社1987年公开发布的一组新闻文档，共计21,578篇报道，涵盖诸多主题，被广泛用作文本分类研究与开发的数据基础。语料库的发布，为自然语言处理和机器学习领域提供了宝贵的资源，促进了相关技术的快速发展。文本分类可以定义为一个映射过程，它将一组文本数据映射到预定的类别空间。在处理过程中，文本首先需要预处理，包括分词、去除停用词、词干提取等。预处理之后，文本可以转换成特征向量形式，这样就可以应用机器学习算法来训练分类模型。

阅读 899

14赞

AI大模型应用之禅

无监督学习在自然语言处理(NLP)中的创新应用自然语言处理（NLP）的核心是让机器“理解”人类语言，但传统监督学习依赖大量标注数据（如“这句话是正面评价吗？”需要人工打标签）。然而，互联网上99%的文本是未标注的——就像图书馆里有1000本书，只有1本写了“重点笔记”，其余都是“无字天书”。本文将聚焦“无监督学习”这把“金钥匙”，讲解它如何让机器从海量“无字天书”中自学语言规律，并探索其在情感分析、文本生成、低资源语言处理等场景的创新应用。本文将按照“概念→原理→实战→应用”的逻辑展开：先通过“小书虫自学”的故事引入无监督学习；

阅读 939

21赞

自然语言处理训练营Task02 数据读取与数据分析暂无。

阅读 836

8赞

AI大模型应用之禅

探索AI人工智能领域自然语言处理的关键技术发展趋势自然语言处理（Natural Language Processing，NLP）作为人工智能领域的重要分支，旨在让计算机能够理解、处理和生成人类语言。本文章的目的在于深入探索NLP领域的关键技术发展趋势，为研究人员、开发者和相关从业者提供有价值的见解。范围涵盖了从基础的语言理解和生成技术到前沿的预训练模型、多模态处理等方面的内容。本文将按照以下结构进行阐述：首先介绍自然语言处理的核心概念与联系，包括其原理和架构；接着详细讲解核心算法原理和具体操作步骤，并结合Python代码进行说明；

阅读 914

35赞

自然语言处理之语言模型：XLNet：自然语言处理基础理论语言模型（Language Model）是自然语言处理（NLP）领域中的一个核心概念，它用于评估给定句子的概率，即衡量一个句子在语言中的自然度。语言模型在许多NLP任务中扮演着关键角色，包括机器翻译、语音识别、文本生成和问答系统等。其主要作用是预测下一个词出现的概率，从而帮助理解和生成自然语言。XLNet基于Transformer-XL架构，这是一种长序列文本处理的自回归模型。与传统的自回归模型（如GPT系列）不同，XLNet在预测每个位置的词时，可以同时利用该词之前和之后的信息，这得益于其独特的训练策略。

阅读 1.0k

20赞

基于图神经网络的自然语言处理：融合LangGraph与大型概念模型的情感分析实践基于图神经网络的自然语言处理技术，特别是与大型概念模型和LangGraph框架的结合，为企业级文本分析提供了革命性的解决方案。LCMs通过概念级的语义理解超越了传统的词汇级处理局限，而图结构建模则有效捕获了文本间的复杂关系。混合符号-语义架构不仅提高了分析精度，还增强了结果的可解释性和业务价值。这种技术融合使企业能够更深入地挖掘非结构化数据的价值，为数据驱动的商业决策提供了强有力的技术支撑。作者：Samvardhan Singh。

阅读 879

25赞

【面试】解释类别不平衡，并给出NLP中对这个问题的解决方案在分类任务中，不同类别的样本数量分布不均衡的情况。解决类别不平衡问题的方法：包括欠采样、过采样、SMOTE等方法，通过调整样本数量平衡数据集。通过加权交叉熵、聚焦损失等方法，使模型更关注少数类样本。通过生成新样本增加少数类的样本数量和多样性。使用平衡随机森林、Bagging、Boosting等方法，提高少数类的识别能力。

阅读 1.1k

10赞

作者推荐

亚里随笔: 某巴LLM/RLHF算法工程师量化交易 | LLM最前线一起学习、共同成长 IP：「亚里随笔」欢迎关注交流整理了LLM、量化投资、机器学习方向的学习资料，关注同名公众号「亚里随笔」即刻免费解锁

关注

训意学: 涉及自然语言处理（NLP）、知识图谱、认知科学、脑神经科学、系统科学（信息论）、哲学、符号学、逻辑学、中国传统语言文字学（训诂学、文字学、音韵学）、语义学（认知语义学）等交叉学科领域，致力于深层语义分析，探索人类底层逻辑一致性的规律。

关注

贾全: 人工智能领域博士，现任某集团公司具身智能实验室主任

关注

曼城周杰伦: 行走在路上的AI工程师

关注

鸡腿爱学习: 做大做强做大做强做大做强

关注

AI小白熊: 初来乍到的小白熊

关注

视觉语言导航: Vision and language navigation!

关注

大模型本地部署: 大模型算法工程师大模型本地部署分享干货和经验希望能够帮助到大家

关注

985小水博一枚呀: 谢谢粉丝宝宝们的关注，我会持续分享深度学习笔记|地学应用|论文推荐和学术会议推荐！！！每日必更！！！需要发表学术会议论文SCI检索EI检索scope检索IEEE收录|参会经历—口头汇报或者海报展示的同学可以私戳我！！！射手座//国内985摸鱼的小水博/爱好学习和讨论/欢迎留言交流/欢迎提供可以解析的素材

关注

pen-ai: 在职算法工程师，目前研究计算机视觉、深度学习

关注