23、信息过滤与检索技术：模型对比与发展趋势

信息过滤与检索技术：模型对比与发展趋势

1. 信息过滤模型实验结果

为了对比线性模型和神经网络模型的过滤效果，开发了两个邮件过滤系统。将所有消息视为源信息，每条消息作为一个信息单元，考虑的因素包括发件人（x1）、日期（x2）、消息大小（x3）、全文关键词（x4）、优先级（x5）、是否有附件（x6），最大容忍冗余 D0 = 0.5。部分实验结果如下：

模型	输入（X1 - X6）	输出（不同 D 值及预期值）	输出判断
线性模型	如 X0: 1 1 0 1 1 1 X1: 1 1 1 1 0 0 等	Y0 0 Y1 0.20 等	Y 或 N
神经网络模型（部分训练对）	如 X0: 1 1 0 1 1 1 X1: 1 0 1 1 0 1 等	D = 0: 1 0 等 D = 0.33: 0 1 等 D = 0.67: 0 0 等 D = 1: 0 0 等	Y 或 N

神经网络训练时使用均方误差（MSE）作为网络性能函数，网络循环次数限制为 5000000 次，邮件样本循环 128630 次达到收敛。下图展示了神经网络