非主流自然语言处理——遗忘算法系列（一）：算法概述

最新推荐文章于 2024-07-19 06:42:28 发布
原创 最新推荐文章于 2024-07-19 06:42:28 发布 · 8.1k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#遗忘算法 #牛顿冷却公式 #自然语言处理

本文介绍了一种以牛顿冷却公式为基础的遗忘算法，用于自然语言处理。该算法能发现和保留相对稳定周期性重现的事物，如词、词与词的关联。已实现的功能包括大规模语料词库生成、分词、词权值计算和共现词典生成，适用于各种语言和领域。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


一、前言


 　　这里“遗忘”不是笔误，这个系列要讲的“遗忘算法”，是以牛顿冷却公式模拟遗忘为基础、用于自然语言处理（NLP）的一类方法的统称，而不是大名鼎鼎的“遗传算法”！


　　在“遗忘”这条非主流自然语言处理路上，不知不觉已经摸索了三年有余，遗忘算法也算略成体系，虽然仍觉时机未到，还是决定先停一下，将脑中所积梳理成文，交由NLP的同好们点评交流。


　　曾与前总编刘江有过一面之缘，竟能围绕遗忘这个算法相谈甚欢，回想起来极是难得，本系列文章、基础算法源码、演示程序都将在优快云首发，算是一些纪念吧。



二、遗忘算法原理


最低0.47元/天 解锁文章

200万优质内容无限畅学
自然语言处理基础知识入门(二) Word2vec模型，层次softmax，负采样算法详解
WANGYANG的博客
04-02 2195
在上一篇博文中，详细探讨了NLP（自然语言处理）领域中两个核心技术：基于统计的N-gram模型与基于深度学习的NNLM（神经网络语言模型）。阐明了N-gram模型在处理单词时倾向于将它们视为孤立的单位(独热编码)，这种方法可能忽略了单词之间在某些层面上的相似性，从而在语义理解方面有所不足。这些模型主要依赖于对统计信息的聚合。为了克服这些局限性并赋予词向量丰富的语义信息，可以利用深度神经网络。通过利用目标词语之前的词向量去预测它本身，这种方法成功地为词向量赋予了包含语义信息的能力。
自然语言处理之命名实体识别：Bi-LSTM-CRF：实战案例分析
最新发布
zhubeibei168的博客
04-17 589
循环神经网络（RNN）是一种用于处理序列数据的神经网络模型。与传统的前馈神经网络不同，RNN具有循环连接，允许信息在时间上流动，这使得RNN能够处理具有时间依赖性的数据，如文本、语音和时间序列数据。RNN的基本单元是循环节点，它接收当前时间步的输入，并将前一时间步的隐藏状态作为输入的一部分，从而能够捕捉序列中的长期依赖关系。CRF模型定义了一个条件概率分布，给定一个观察序列XX1X2XnXX1​X2​...Xn​，模型输出一个标签序列YY1Y2YnYY。
非主流自然语言处理——遗忘算法系列（六）：语义模型
gzdmcaoyc的博客
04-11 1574
【前言】1、语义体系的建立对人工智能的意义，相信不用多说。2、公开此文的目的，是因为此文所设计的语义模型包含的待解决任务量很大，寻求同好共同讨论交流。3、版权说明   3.1、本文的版权归作者所有。   3.2、本文中所提及的问题的解决方案，归研究者所有。【正文】==============================【原理】词的语义可以通过与其相关联的词表征【定义】词的语义：用该词的词翼及其...
遗忘算法：算法概述
虾米的博客
06-30 9431
一、遗忘算法原理 能够从未知的事物中发现关联、提炼规律才是真正智能的标志，而遗忘正是使用智能生物具备这一能力的工具，也是适应变化的利器，“遗忘”这一颇具负能量特征的家伙是如何实现发现这么个神奇魔法的呢？ 让我们从巴甫洛夫的狗说起：狗听到了铃声就知道开饭了。 铃声和开饭之间并不存在必然的联系，我们知道之所以狗会将两者联系在一起，是因为巴甫洛夫有意的将两者一次次在狗那儿重复出现。所以，重
非主流自然语言处理——遗忘算法系列（三）：分词
gzdmcaoyc的博客
11-28 3893
前面介绍了词库的自动生成的方法，本文介绍如何利用前文所生成的词库进行分词。
遗忘算法介绍
03-10
大数据AI核心算法，算法的基础介绍，高清PPT介绍，仅供参考。
遗忘算法（词库生成&分词&词权重）演示程序（可直接运行）
03-21
遗忘算法（词库生成&分词&词权重）演示程序（可直接运行）
自然语言处理——文本分类综述
kuxingseng123的博客
10-19 2384
扎实将文本分类全部将其搞清楚都行啦的样子与打算。
文本挖掘：自然语言处理基础
kkchenjj的博客
07-19 1011
情感分析（Sentiment Analysis），也称为意见挖掘（Opinion Mining），是自然语言处理（NLP）领域的一个重要分支，旨在从文本中识别和提取情感信息，确定文本作者的态度是积极、消极还是中立。情感分析广泛应用于社交媒体监控、产品评论分析、市场趋势预测等领域，帮助企业理解公众对产品、服务或事件的情感倾向。主题模型是一种统计模型，用于发现文档集合或语料库中的抽象主题。它假设文档由多个主题组成，每个主题由一组词语的概率分布表示。
非主流自然语言处理——遗忘算法系列（二）：大规模语料词库生成
gzdmcaoyc的博客
11-23 7005
一、前言 　　写这篇文时，突然想到一个问题，大家的词库都是从哪来的？ 　　之所以会这么有些意外的问，是因为从没把词库当成个事儿：平时处理微博，就用程序跑一下微博语料获得微博词库；处理新闻，程序跑一下新闻语料获得新闻词库。甚至没有把跑出来的词库存下来的习惯，谁知道过两天是不是又出什么新词，与其用可能过时的，不如随手生成个新鲜出炉的。 　　好吧，我承认我这是在显摆。如果你也想和我一样，想要随用随丢，任性它一把，那随我来。
遗忘因子算法
01-14
遗忘因子算法是系统控制的方法之一，可以有效的控制系统，对学习matlab或simulink的学者很有用。
遗忘算法（词库生成、分词、词权重）演示程序.rar
11-27
遗忘算法演示程序及源码，功能包括词库生成、分词、词权重计算。是优快云博文《非主流自然语言处理——遗忘算法系列》的配套资源。作者老憨欢迎交流讨论。
遗忘算法演示程序（包含词库生成、分词、词权重）C#源码详细介绍
05-13
遗忘算法演示程序（包含词库生成、分词、词权重）C#源码详细介绍
（转）艾宾浩斯遗忘曲线——记忆与复习
05-27
NULL 博文链接：https://mlxia.iteye.com/blog/607066
常遗忘的函数，f.reduce_sum,np.argsort ,np.concatenate，np.argmax，
weixin_38740463的博客
04-22 342
1) 其中，tf.reduce_sum用法如下： # 'x' is [[1, 1, 1] #[[1, 1, 1]] #求和 tf.reduce_sum(x) ==> 6 #按列求和 tf.reduce_sum(x, 0) ==> [2, 2, 2] #按行求和 tf.reduce_sum(x, 1) ==> [3, 3] #按照行的维度求和 ...
遗忘的cctype函数
只要学不死，就往死里学
03-08 279
/* * @Date: 2019-3-08 * @Author: tracycw * @Description: cctypeh函数 isalnum(c) 如果c是字母或数字，则为TRUE isalpha(c) 如果c是字母，返回TRUE iscntrl(c) 如果c是控制字符，返回...
参数辨识之递推算法、遗忘算法、变遗忘因子算法、变P算法
热门推荐
sy243772901的博客
05-29 1万+
第一次实验利用5组数据，根据LS算法得出 θ 和P，此第6组开始递推。 [u]=[xlsread('2019作业二时变系统.xlsx','B2:B401')]; [y]=[xlsread('2019作业二时变系统.xlsx','C2:C401')]; [ym]=[xlsread('2019作业二时变系统.xlsx','C2:C21')]; %计算初值所用的输出值ym [um]=[xlsre...
遗忘的常用语法或函数
qq_23159841的博客
11-08 248
// typeof 检测一个变量的类型 let obj = { test: 'ccc', test2: 2 } console.log(typeof obj.test); // string console.log(typeof obj.test2); // number let a = {} console.log(typeof a); // object
变遗忘因子递归最小二乘算法
03-22
### 变遗忘因子递归最小二乘算法概述 变遗忘因子递归最小二乘（Variable Forgetting Factor Recursive Least Squares, VFF-RLS）是一种改进型的递归最小二乘方法，其核心在于动态调整遗忘因子 λ 的大小。相比于...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值