组内NLP讨论班阶段总结

一文综述:自然语言处理技术NLP Preprocessing预处理 Tokenization令牌化、标记化 Stop Words 停用词 Stemming and Lemmatization词干提取和词形还原(英文单词) Parts-of-Speech Tagging词性标记 Bag of Words and N-Grams词袋模型、N元模型 Term Frequency–Inverse Document Frequency(TF-IDF) Negation Detection否定检测 WORD EMBEDDINGS文本嵌入 Word2ve 阅读详情


讨论班进行了三期了,效果比想象的要好很多。但也遇到不少问题:


1. 公式推导和编码实现

    困惑是在讲解模型过程中,不可避免地涉及公式推导和编码实现。讨论班上是否对公式推导进行讲授,讨论班后是否组织大家进行编码实现这两点把握不准。

    理想情况下讨论班应该只是成为一个“引子”,通过大家一起的讨论学习对某一个概念有了大致的了解。在后面学习或者实际应用中碰到该概念或者模型知道它是怎么回事,然后自己查资料来补充、深入了解。但是实际中大部分的自觉性并没有那么高,大家更一方面希望能快速了解数学推导和编码实现,另一方面也舍不得把时间花在讨论班的所讨论的题目上(毕竟,讨论的东西对大家眼前的科研课题没什么大帮助。)。


2. 机器学习模型的讲解

     个人认为比起博客大家写来写去的那些东西,机器学习实战的经验更加重要。有经验的同学能够更好地把理论结合实际编码情况进行讨论,这一点是我这种看博客“纸上谈兵”的学习者所缺少的。后面机器学习讲解希望能找一些实际应用过,遇到过真实问题的同学来做讲解。

     那么问题来了,很多模型,包括很多简单实用的模型(逻辑斯蒂回归、决策树等)平时大家都用的很少,是看是讲是个问题。     

     

3. 前沿热点的追逐

     Memory Network,Reinforcement Learning和GAN这些前沿热点谁来科普下,也是个头痛的事情。组里博士生偏少,硕士生对这些东西也不是特别感兴趣(就我自己看到的情况)。



    自己科研和工程项目任务也重,也没有办法把精力放到讨论班讨论上。现在更多的是参与,负责牵头找有经验的同学或者老师来讲授。后面如何把讨论班持续下去也是一个头痛的问题。




深入理解NLP中LayerNorm的原理以及LN的代码详解 在NLP中,大多数情况下大家都是用LN(LayerNorm)而不是BN(BatchNorm)。最直接的原因是BN在NLP中效果很差,所以一般不用。LN是把**normalized_shape这几个轴的元素**都放在一起,取平均值和方差的,然后对每个元素进行归一化,最后再乘以对应的$\gamma$和$\beta$(**每个元素不同**)。**LN共有N1*N2个mean和var**(假设输入数据的维度为(N1,N2,normalized_shape),normalized_shape表示多个维度)...... 阅读详情

相关推荐

AI自然语言处理NLP原理与Python实战:主题模型的应用

主题模型是一种无监督的文本挖掘方法,可以用于识别文本中的主题结构。它通过将文本分解为一组主题,从而可以更好地理解文本的内容和结构。主题模型的核心思想是:文本中的每个词都可以归属于一个或多个主题,而每个主题也可以由一组相关的词组成。通过学习这些主题,我们可以更好地理解文本的内容和结构。在本文中,我们介绍了主题模型的核心概念、算法原理、具体操作步骤以及数学模型公式。我们还提供了一个具体的代码实例,并详细解释其中的每一步。最后,我们回答了一些常见问题,并讨论了主题模型的未来发展趋势和挑战。

AI天才研究院 1312

讨论班-第一次

今天讨论班由两个人做报告。第一个人zuo.le关于 dsp的内容,第二个人做的是非线性复杂网络的内容。检索一下相关内容:DSP是一种快速强大的微处理器,独特之处在于它能即时处理资料,正是这项即时能力使得DSP最适合支援无法容忍任何延迟的应用。举例来说,您是否曾使用过一种不允许双方同时说话的手机?您必须等到对方把话说完后,您才能接着说;如果您们两个人同时讲话,讯号就会被切断,使您听不到对方声音。今日

计算机视觉之光 1535

iOS平台NLP自然语言处理实战开发指南

苹果公司在2018年随iOS 12发布了一套全新的系统级自然语言处理工具集——,标志着其在移动设备端构建本地化、高效且隐私安全的NLP能力迈出了关键一步。该框架并非一个独立运行的服务或云端API调用接口,而是深度集成于iOS操作系统底层的语言分析引擎,支持从文本分词、语言识别到词性标注、命名实体识别等多种核心任务。

weixin_35749786的博客 1140

2018/3/7 论文新思路 在 word2vec 的基础上做改进。

1. 刚开始学习的时候会发现许多的问题, 这个时候比较容易看到被别人忽略掉的细节。

monkeylist的博客 1118

LSTM预测股票数据---数据预处理

# 导入相应的模块 import pandas as pd import numpy as np import matplotlib.pyplot as plt import tensorflow as tf # 获取训练集 def get_train_data(data,batch_size = 60 ,time_step = 20,train_begin = 0,train_end = 58...

qq_35358021的博客 3359

xhs私信协议分析

之前分析过xhs的shield算法,今天再聊聊xhs的私信,文章仅供学习参考研究交流,如有侵权请联系删帖。经过抓包分析发现私信接口并不是走的http协议,而是socket协议。而要获取socket包则需要使用wireshark软件1、protobuf的包体中的序号7,多次验证后发现文字信息的需要需要固定成12、protobuf的包体中的序号12,多次验证后发现文字信息的需要需要固定成1后续有时间的话,再研究一下视频和图片格式的私信协议,这次就分析到这里吧。

佛系更新... 3485

[14.05.09] CVPR 2014 讨论班总结

很久没有记讨论班的内容了,一方面是因为手懒 利益方面,从上次讨论班jieshi

liu6tot的专栏 1557

【智能体评测】BrowserUse:一款超越 Anthropic Computer Use 的开源智能体

本文将全面介绍 BrowserUse 的核心功能、配置与使用方法,以及通过多场景测试评估其性能。

surfirst的博客 4099

自然语言处理(NLP)入门学习资源清单

致谢 钟崇光博士参与了数据派THU于6月5日、THU数据派于6月8日发布的《循序渐进提升Kaggle竞赛模型精确度,以美国好事达保险公司理赔为例》一文的校对工作,并且给出了许多有建设性的意见,在此数据派翻译组对钟博士表达诚挚的感谢! 作者:Melanie Tosik 翻译:闵黎 校对:丁楠雅 本文长度为1100字,建议阅读3分钟 Melanie Tosik目

lb521200200的专栏 1万+

详细推导波特图增益和相位曲线

文章来源:https://mp.weixin.qq.com/s/UCy9mRRok5Hc9qHq3qde5g 今天这篇文章想把近段时间关于波特图方面学习的内容整理一下。波特图将会是梳理闭环控制这个系列的开始。目前的计划是,以无源器件为基础,然后结合运放,再过渡到开关电源的环路控制方面。如果对这方面感兴趣的朋友,可以持续一起学习起来,目标就是掌握开关电源的闭环控制。 1. 什么是波特图? 波特图最常见的应用是在线性非时变的系统中,用于对传递函数的增益和相位进行分析,从而判断出系统随频率的响应是否稳定。因此,波

ltqdxl的博客 2万+

Windows环境下pcl点云库 安装配置全流程(精简、有效)

本文为Windows配置点云库pcl步骤,具体是win10、visual studio 2017、pcl1.11.1。

zaibeijixing的专栏 1万+

深度学习培训班当天小结1

宁波深度学习培训当日小结1来了宁波参加一个深度学习的培训班,虽然大部分的内容其实是之前自学的时候都有了了解,但还是借此机会做个总结。 传统机器学习 深度学习简介 环境设置 传统机器学习在这个简单的机器学习介绍中, 我们从线性回归讲起,快速浏览机器学习中涉及的回归、分类、训练数据、测试数据、cost function、算法、模型、特征工程、优化方法、交叉验证、评价指标等等概念。线性回归:(监督学习的例

hehangjiang的博客 3193

从零开始:EAS2+Elmo+Maxon电机调试全流程(含电流环优化技巧)

本文详细解析了从零开始搭建基于EAS2软件、Elmo驱动器和Maxon电机的运动控制系统的全流程。内容涵盖硬件连接规范、EAS2基础配置、核心的电流环模型辨识与手动优化技巧,以及速度环、位置环的搭建与调试策略,旨在帮助工程师构建稳定、高性能的伺服控制核心。

i0j1k2l3m的博客 502

什么是 NLP (自然语言处理)

NLP(自然语言处理)到底是做什么?NLP 的全称是 Natural Language Processing,翻译成中文称作:自然语言处理。它是计算机和人工智能的一个重要领域。顾名思义,该...

YeJuliaLi的博客 5万+

Label Studio + SAM2分割半自动标注与yolo11训练

Label Studio + SAM2分割半自动标注与yolo11训练

schFallingCloud 1408

Ultralytics YOLOv8 英伟达™ Jetson®处理器部署

英伟达™(NVIDIA®)Jetson 是一系列嵌入式计算板卡,旨在为边缘设备带来加速的 AI(人工智能)计算。这些小巧而功能强大的设备围绕英伟达™(NVIDIA®)的GPU架构打造,能够直接在设备上运行复杂的人工智能算法和深度学习模型,而无需依赖云计算资源。Jetson 板卡通常用于机器人、自动驾驶汽车、工业自动化和其他需要在本地以低延迟和高效率执行人工智能推理的应用中。此外,这些板卡基于 ARM64 架构,与传统 GPU 计算设备相比运行功耗更低。英伟达™(NVIDIA®)JetPack SDK。

机器人控制与仿真应用 3875

自然语言处理NLP

首先先要明确NLP不是某一项具体的技术,而是一个很大的领域。自然语言处理 (NLP,Natural Language Processing),先给个定义:自然语言处理(NLP)指以计算机为工具解决一系列现实中和自然语言相关的问题。可以分成两部分理解:自然语言、处理过程。首先自然语言就是人类市场交流所使用的语音和字符系统,换句话说字符系统就是NLP的研究对象,处理过程指对字符进行理解融合应用。...

gls_nuaa的博客 1826

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

自然语言处理-NLP

自然语言处理-NLP 致命密码:一场关于语言的较量 自然语言处理的发展历程 兴起时期 符号主义时期 连接主义时期 深度学习时期 自然语言处理技术面临的挑战 语言学角度 同义词问题 情感倾向问题 歧义性问题 对话/篇章等长文本处理问题 探索自然语言理解的本质问题 计算角度 自然语言处理的常见任务 使用深度学习解决自然语言处理任务的套路 使用飞桨探索自然语言处理

ZhangJiqun&191cm&85kg 2201

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

自然语言处理好找工作吗?NLP就业困难?

自然语言处理好找工作吗?NLP就业困难?先说结论,当前技术发展阶段,无论是就业还是学术研究,nlp都很有钱/前途。有个前提是毕业后是走技术路线。如果你以后工作不打算走技术路线的话,那这个讨论就没有啥价值了。自然语言处理好找工作吗?Nlp是一个很大的类,里面细分了很多具体应用,比如搜索,推荐,问答,机器机器阅读理解,情感分析,文本挖掘,机器翻译等等等等。基本上凡是涉及到语言,文字的地方都会有nlp的用武之地,甚至语音识别里面也有language model。就业面,就业前景当然是非常的广的。只是在产品落地中存

gu1857035894的博客 4930

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

NLP自然语言处理(零)—— NLP的来龙去脉

网上有些人说的DeepNLP,不是什么深层次的自然语言处理模型 DeepNLP=Deep Learning + NLP 就是用深度学习的方法来进行自然语言处理 现在研究的热点也就是用深度学习的方法来进行自然语言处理,即现在研究的热点也就是DeepNLP 一、DeepNLP的核心关键:语言表示(Representation) 最近DeepNLP非常火热。当常规的机器学习Machine Learning升级发展到了一定的阶段后,慢慢的被后起的深度学习Deep Learning夺势而去...

hxxjxw的博客 518

探索自然语言处理:从入门到精通的完整指南

自然语言处理是一个充满挑战和机遇的领域,它正在改变着我们的生活和工作方式。通过系统地学习和实践,我们可以从入门到精通地掌握NLP技术,成为这一领域的专家和领导者。希望本文能够为初学者提供一份有深度的指南,帮助他们快速入门和掌握NLP技术,共同推动NLP技术的发展和应用。

优快云7689的博客 1860

自然语言处理(NLP)知识结构总结

自然语言处理(NLP)知识结构总结 自然语言处理知识太庞大了,网上也都是一些零零散散的知识,比如单独讲某些模型,也没有来龙去脉,学习起来较为困难,于是我自己总结了一份知识体系结构,内容来源主要参考黄志洪老师的自然语言处理课程,主要参考书为宗成庆老师的《统计自然语言处理》,可能很多内容写的不清楚,但好像中文NLP书籍就这一本全一些,如果想看好的英文资料,可以到我的GitHub上下载: http://github.com/lovesoft5/ml 下面直接开始正文: ▌一、自然语言处理概述 1)自然语言处理:利

Jason_Honey2的博客 3040

自然语言处理(NLP)历史中的6个主要时期你知道吗?

在自然语言处理(NLP)历史中,Jurafsky和Martin[1]确定了6个主要时期,见表13.1。本章将简要地描述这些时期。各小节所述的内容与Jurafsky和Martin提供的这些时期大致呼应。 进一步的讨论请参阅第11章。 表13.1 NLP的6个时期(参见Jurafsky和Martin的文章,2008,第9~12页) 时期编号 时期名称 年份 1 基础期 20世纪40...

人邮异步社区 4393

自然语言处理NLP(2)——统计语言模型、语料库

在上一部分中,我们已经了解了自然语言处理的基本知识:自然语言处理NLP(1)——概述。 在这一部分中,我们将简要介绍NLP领域的基本模型——语言模型,我们还将对自然语言处理的基础——语料库的概念进行介绍。这些都是在学习自然语言处理之前所必备的知识。此外,我们默认大家有一定的信息论和概率论基础,在这里不对信息论和概率论知识进行赘述。 接下来,我们进入正题。 【一】语言模型 在这一部分中...

echoKangYL的博客 8603

NLP第21课:中文自然语言处理的应用、现状和未来

自然语言理解和自然语言生成是自然语言处理的两大内核,机器翻译是自然语言理解方面最早的研究工作。自然语言处理的主要任务是:研究表示语言能力和语言应用的模型,建立和实现计算框架并提出相应的方法不断地完善模型,根据这样的语言模型设计有效地实现自然语言通信的计算机系统,并研讨关于系统的评测技术,最终实现用自然语言与计算机进行通信。目前,具有一定自然语言处理能力的典型应用包括计算机信息检索系...

米饭超人的专栏 3104
上一篇: TensorFlow Seq2Seq Model笔记
下一篇: 深度学习中Dropout策略
warrioR_wx
博客等级 码龄16年 388粉丝 113原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值