Auto-Encoder --李宏毅机器学习笔记

个人学习笔记,如有错误欢迎指正,也欢迎交流,其他笔记见个人空间 

Auto-Encoder 是什么?

Auto-Encoder(自编码器)是一种典型的 Self-Supervised Learning(自监督学习) 方法,具有以下结构和目标:

  • 结构:

    • 包含两个网络:EncoderDecoder

    • Encoder 将输入数据压缩为低维表示

    • Decoder ​从低维表示重建原始数据

  • 训练目标:

    • 最小化输入与输出之间的重建误差

    • 本质是“重建(Reconstruction)”,即让输出尽可能还原原始输入

  • 无需标签:

    • Auto-Encoder 只依赖无标签数据,典型的 Unsupervised Learning,属于 Pre-Training 方法的一种

与其他模型的比较与联系

  • 与 BERT、GPT 相比:BERT 做填空题、GPT 做文本续写,而 Auto-Encoder 做输入重建。尽管方式不同,但目标一致:从无标签数据中学习有效表示。

  • 与 CycleGAN 的“Cycle Consistency”思想类似:期望“原始 → 中间 → 重建”的结果与原始尽可能一致

Auto-Encoder的原理

  • 特征提取与降维(Dimension Reduction):<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值