
NLP
NLP相关
剑哥的后仰跳投
这个作者很懒,什么都没留下…
展开
-
深度学习中 shuffle 的作用
shuffle(洗牌、混乱),shuffle在机器学习与深度学习中代表的意思是,将训练模型的数据集进行打乱操作。原始的数据,在样本均衡的情况下可能是按照某种顺序进行排列,如前半部分为某一类别的数据,后半部分为另一类别的数据。但经过打乱之后的数据排列就会拥有一定的随机性,在顺序读取的时候下一次得到的样本为任何一类的数据的可能性相同。shuffle 是一种训练技巧,因为机器学习其假设和对数据的要求就是要满足独立同分布。所以任何样本的出现都需要满足随机性。所以在数据有较强的人为次序特征的情况下,shuffle显得原创 2022-12-06 19:49:25 · 2489 阅读 · 0 评论 -
深度学习中epoch、batch_size、steps的含义
epoch:这1000张图片全部训练完成一次即为一个epoch;batch_size:每次训练10张图片,即 batch_size = 10;steps:steps = 1000/10(整除则结果为steps,未能整除则结果 + 1为steps),表示更新多少次梯度。注:这里每隔10张图片就更新一次梯度,也就是将一个batch中的图片一张张送入模型,累加loss求平均,同时进行参数更新(Iteration)。原创 2022-12-06 16:25:11 · 1755 阅读 · 0 评论 -
outputs = self.model(**inputs)中的 ** 是什么作用?
outputs = self.model(**inputs)原创 2022-12-06 15:39:07 · 1645 阅读 · 0 评论 -
NER的三种序列标注方法(BIO、BMES、BIOSE)
序列标注(Sequense Tagging)是NLP中最基础的任务,应用十分广泛,如分词、词性标注、命名实体识别、关键词提取、语义角色标注、槽位抽取(Slot Filling)等实质上都属于序列标注范围。命名实体识别(Named Entity Recognition,简称NER),是指识别文中具有特定意义的实体,主要包括人名、地名、机构名、专有名词等。命名实体识别是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基础工具,在自然语言处理技术走向实用化的过程中占原创 2022-12-03 19:43:41 · 9104 阅读 · 0 评论