yang_live的博客

基于注意力机制的文本生成：Image-to-text=-with-Visual-Attention训练过程：ai_challenageai_challenage的训练集有3w张，我只在前30000张训练图像上训练了这个模型。最后一层的特征提取VGG需要大约15GB的内存。训练过程中数据集被分成大小为64的批。一个epoch大约需要100秒。我训练了它大约20个周期，一次约一小时左右训练完成。训练结果：coco数据集：ai_challenage数据集下周工作计划：1.加入评价指标2

python读取json文件import jsonpath=r'path'with open(path,"r",encoding='utf-8') as f: json_data = json.load(fp) print("数据类型",type(json_data)) print('json数据：',json_data)))

文献：吕凡,胡伏原,张艳宁,夏振平,盛胜利.面向图像自动语句标注的注意力反馈模型[J].计算机辅助设计与图形学学报,2019,31(07):1122-1129.主要工作在传统注意力基础上引入反馈机制，利用关注信息的图像特征指导文本生成，借助文本中的关注信息进一步修正图像中的关注区域，解决了传统注意力机制的注意分散问题。技术两种图像语义提取常用技术与ATTENTION结合1.基于全图：...

1.语言层次输入：语音输入：音位分析单词结构分析句法分析语义理解一些还涉及到篇章分析

分布相似性概念语言学家认为，一个单词的含义是由经常和它一起出现的上下文决定的，“You shall know a word by company it keeps.”w2v模型（google2013）核心思想：基于大量的语料库corpus of text固定词汇表中的每个单词都由一个向量表示文本中的每个位置 t，其中有一个中心词c，和上下文(“外部”)单词o（用固定窗口扫描文本库的句...

RegressionModelGoodness of function:Grandient Descentps:最下面一行应该是w1减去w1的偏微分，b同理。梯度：老生常谈的“局部最优”这种情况不会出现local optimal，因为他们的等高线是一样的。偏微分求解过程：...