Week 6 Learning Representation: Word Embedding (symbolic →numeric)

已于 2022-08-02 21:07:28 修改
阅读量490 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： FIT5215 Deep learning 文章标签： 深度学习 人工智能 机器学习
于 2022-07-25 13:43:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangjian530/article/details/125968404
本文深入探讨了机器学习和深度学习中的学习表示，特别是聚焦于词嵌入（Word embedding）的理论与实践，包括One hot representation的优缺点和Word2vec模型的详细解析，如CBOW、Skip-gram、Hierarchical SoftMax与Negative sampling等，以及Word2Vec在实际应用中的局限性和调参建议。

目录

一、机器学习和深度学习中的学习表示

1、RNN知识回顾

 2、传统特征提取和现代的特征提取对比

二、词嵌入（Word embedding）

1、Word embedding定义

2、独热（One hot representation）

2.1 定义

2.2 优缺点分析

三、 Word2vec

1、 Word2vec综述

2、Continuous bag of words (CBOW)

 2.1 Simple CBOW Model

2.2、 CBOW Multi-Word Context Model

 3、 Skip-gram

 3.1 Skip-gram 模型介绍

3.2 Skip-gram例子

 3.3 skip-gram注意点

4、Word2Vec加速训练的方法（Hierarchical SoftMax和Negative sampling）

4.1 分层softmax（Hierarchical SoftMax）

4.2 负采样（Negative sampling）—— more popular and efficient

5、关于Word2Vec若干问题的思考

5.1 Negative Sampling，对词频低的和词频高的单词有什么影响

5.2 Hierarchical Softmax的计算过程，怎么把 Huffman 放到网络中的？参数是如何更新的？对词频低的和词频高的单词有什么影响

5.3 Word2Vec有哪些参数，调参的建议

5.4 Word2Vec有哪些局限性

三、Something to vector

1、Doc2Vect(Documents to Vectors)

2、Node2Vect(Nodes to Vectors)

一、机器学习和深度学习中的学习表示

1、RNN知识回顾

 2、传统特征提取和现代的特征提取对比

了解本专栏 订阅专栏 解锁全文 超级会员免费看
FIT5201 Machine learning Quiz整理
金州饿霸吃不饱的博客
07-24 768
FIT5201 Machine learning Quiz整理
AdamTechLouis's talk:Deep Learning approaches to understand Human Reasoning
weixin_41697507的博客
06-03 548
For a doctor who is using Deep Learning to find whether the patient has multiple sclerosis, it is not at all good to get a yes or no answer from the model. For a safety critical application such as a...
FIT5215 Deep learning学习经验贴
金州饿霸吃不饱的博客
10-11 924
FIT5215 Deep learning学习经验贴
NLP-分布表示(distributional representation)与分布式表示(distributed representation)
spring_willow的博客
08-06 9719
写论文好纠结这两个东西的概念。。。对网上查到的资料进行以下整理。。。 distributed representation&distributional representation 分布式表示与分布表示 1.关于Manning 在2015 年深度学习暑期学校（蒙特利尔）的澄清 Distributed: A concept is represented as cont...
Week 7 - Distributional Representations（分布表示）
金州饿霸吃不饱的博客
08-02 947
Distributional Representations（分布表示）
AGI之MFM：《多模态基础模型：从专家到通用助手》翻译与解读之统一的视觉模型、加持LLMs的大型多模态模型
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-06 4198
​AGI之MFM：《Multimodal Foundation Models: From Specialists to General-Purpose Assistants多模态基础模型：从专家到通用助手》翻译与解读之统一的视觉模型、加持LLMs的大型多模态模型 目录 4、Unified Vision Models统一的视觉模型 4.1、Overview概述 NLP的发展：2018年之前(不同的NLP任务使用不同的任务特定模型解决，如翻译/语义解析/摘要生成)→2018年之后(GPT-style
ACL 2022 主会长文论文分类整理
Kaiyuan_sjtu的博客
05-13 7006
© 作者｜蒋锦昊 机构｜中国人民大学高瓴人工智能学院研究方向 | 自然语言处理导读ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。官方发布的接收论文列表：Accepted Papers...
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 3万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
【NLP】ACL-2019 录用论文
zkq_1986的博客
09-04 2万+
LONG PAPERS (MAIN CONFERENCE) SphereRE: Distinguishing Lexical Relations with Hyperspherical Relation EmbeddingsChengyu Wang, XIAOFENG HE and Aoying Zhou Learning from Dialogue after Deployment: Fee...
斯坦福课程Knowledge Graphs-What is a Knowledge Graph?
anqi3776的博客
09-02 1856
斯坦福课程Knowledge Graphs-What is a Knowledge Graph?1. Introduction2. Knowledge Graph Definition3. Recent Applications of Knowledge Graphs3.1 Knowledge Graphs for organizing Knowledge over the Internet3.2 Knowledge Graphs for Data Integration in Enterprises4.
历年计算机科学领域中各大顶会的获奖文章 ICCV、AAAI、CVPR...
ghw15221836342的博客
01-12 5312
Original address: https://jeffhuang.com/best_paper_awards.html By Conference:   AAAI   ACL   CHI   CIKM   CVPR   FOCS   FSE   ICCV   ICML   ICSE   IJCAI   INFOCOM   KDD   MOBICOM   NSDI   OSDI   PLDI...
Microsoft Cognitive Toolkit-快速指南
cunzai1985的博客
09-22 1694
Microsoft Cognitive Toolkit-快速指南 (Microsoft Cognitive Toolkit - Quick Guide) Advertisements 广告 Previous Page 上一页 Next Page 下一页 Microsoft认知工具包(CNTK)-简介 (Microsoft Cognitive Toolkit ...
机器学习与深度学习基础（五）：深度神经网络经典架构简介
TracyCoder的博客
12-11 478
本文学习要点：1.深度神经网络分层架构：全连接层卷积层池化层2.深度神经网络代表:CNN：CNN、AlexNet、VGG-Net、GoogLeNet（Inception）、ResNet（残差连接）编码器-解码器架构：序列到序列模型（Seq2Seq）
深度学习与机器学习的3个关键区别
dream_it_come_in的博客
12-05 1165
在人工智能的浪潮中，“机器学习” 和 “深度学习” 是两个高频出现却常被混淆的概念。很多人误以为深度学习是机器学习的 “升级版”，但实际上二者在技术逻辑、适用场景和核心能力上存在本质区别。今天我们就从三个核心维度，拆解它们的关键差异，帮你快速理清 AI 技术的底层逻辑。
Transformer 能否取代 CNN？图像去噪中的新范式探索
dream_it_come_in的博客
12-08 1138
引言：一场视觉任务的范式之争自 2017 年 Transformer 诞生以来，这场最初为自然语言处理设计的架构，正以不可阻挡的势头冲击计算机视觉领域。从 ViT 打破 CNN 在图像分类的垄断，到 Swin Transformer 横扫分割、检测任务，“Transformer 能否取代 CNN” 成为业界持续争论的焦点。而在图像去噪这一基础任务中，这一争论更具现实意义 ——CNN 凭借局部建模优势长期占据主导，Transformer 则以全局注意力机制带来新可能。
基于协同过滤和深度学习的视频推荐系统设计与实现
电脑管家
12-07 1105
本文介绍了一个融合协同过滤和深度学习技术的视频推荐系统。系统采用分层架构，包含数据预处理、模型层、推荐引擎和服务层。核心算法实现包括：1)基于SVD矩阵分解的协同过滤，使用Surprise库实现；2)神经网络协同过滤模型，通过Embedding层学习用户和视频的隐向量表示。系统采用加权融合策略(CF占40%，深度学习占60%)结合两种算法结果，并引入分类多样性机制优化推荐效果。技术栈选用Python生态工具链，包括NumPy/Pandas、Scikit-learn、TensorFlow和Flask等。该系统
机器是如何识别图片的？：卷积神经网络
最新发布
最简单的方法，解决最实际的问题。
12-11 794
卷积神经网络（Convolutional Neural Networks, CNN）是一种专门用于处理具有网格状结构数据的深度学习算法，“卷积”一词源于同名的数学运算，它是一种常用于图像处理的特殊线性运算。卷积神经网络在图像识别、计算机视觉等领域表现出色。
极简单cnn对称之美
ganggangwawa的博客
12-10 891
double delta11 = E偏导zII * wcnn[1][0]*dsigmoid(aI[0]);double delta12 = E偏导zII * wcnn[1][1]*dsigmoid(aI[1]);wcnn[1][i] = wcnn[1][i] - 常数a * wcnn的偏差[1][i];wcnn[0][i] = wcnn[0][i] - 常数a * wcnn的偏差[0][i];wcnn的偏差[0][1] =wcnn的偏差[1][1] =wcnn的偏差[1][2] =
基于卷积神经网络的手写数字识别（Matlab 实现）
2504_94290909的博客
12-10 550
基于卷积神经网络的手写数字识别（matlab实现）基于CNN的matlab手写数字识别可以加Lenet-5模型数据集自制 数字大小5*5训练过程良好，识别准确率在95%以上（数值+图像）主成分分析提取像素点包含图片输入和手写板输入两种方式加50在机器学习领域，手写数字识别是一个经典的项目。今天，咱们就来聊聊如何用 Matlab 基于卷积神经网络（CNN）实现手写数字识别，并且会用到 Lenet - 5 模型，还会涉及自制数据集以及多种输入方式等有趣的内容。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

金州饿霸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值