
预训练模型代码深度剖析
文章平均质量分 93
首先介绍新手学习过程中的几大常见误区:重理论轻代码、重阅读轻调试、重模型轻数据以及高效的学习方法。对预训练中的经典模型(BERT、GPT、Transformer等)进行逐个深入讲解,讲解方法是先对整个框架进行高屋建瓴的解释,然后再逐个代码文件进行全局到局部的讲解,并通过举例+图示的方法来帮助理解难点
优惠券已抵扣
余额抵扣
还需支付
¥19.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
herosunly
985院校硕士毕业,现担任算法工程师一职,获得优快云博客之星第一名,热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委,编写微软OpenAI考试认证指导手册。曾获得多项AI顶级比赛的Top名次,其中包括阿里云天池比赛第一名,科大讯飞分类挑战赛第一名,CCF信息分类比赛比赛第二名,开放原子分类比赛二等奖,CCF家族分类第四名,科大讯飞阿尔茨海默症预测挑战赛第四名,科大讯飞事件抽取挑战赛第七名。在技术创新领域拥有多项授权发明。曾辅导多位非科班出身的同学成功进入算法行业就业。希望和大家一起成长进步。
展开
-
学习方法论
工欲善其事,必先利其器。在开始学习具体知识之前,为了提高学习效率,特意花一些时间来讲讲学习方法。具体方法并不是最重要的,最大的希望能给大家带来一定的启发(抛砖引玉)。 个人的学习习惯是,首先理解关键概念的字面意思,然后再通过后期不断的实践和练习,逐渐加深对概念的理解。举例来说,现在谈到的是学习。对于学习来说,我们最容易想到的就是学而时习之,不亦乐乎。从上句可以看出,学习可以分为学和习,学很容易理解,习指的是不断的实践。我的体会是,在不断的学习和实践中一定要形成自己的理解。 话说回来了,那如何能够原创 2020-10-09 21:04:46 · 25850 阅读 · 6 评论 -
保姆级人工智能学习成长路径
0. 前言1. 第一阶段:编程语言学习2. 第二阶段:机器学习基本理论3. 第三阶段:深度学习理论与实战4. 第四阶段:细分领域深入学习5. 第五阶段:集大成者 最近有很多小伙伴想学习人工智能,其中不少同学渴望从事相关职业。虽然网上的资料很多,但是很多内容不够接地气,导致他们看不懂,所以很迷茫,不知何去何从。作为获得AI比赛Top名次的老司机,就给大家讲讲如何系统学习人工智能,最终达到一名合格的算法工程师。希望大家能够跟随我一步步迈进人工智能的殿堂,一起冲鸭~~~...原创 2021-07-02 07:32:29 · 21319 阅读 · 115 评论 -
预训练模型代码深度剖析之开宗明义:新学常见误区和正确的学习姿势
基于上述原因,特意对预训练模型中的经典模型代码进行详尽的介绍,具体来说是首先对整个代码框架进行高屋建瓴的解释,然后再逐个代码文件进行全局到局部的讲解,如果在讲解过程中遇到难点,通过举例+图示的方法来帮助理解,希望能够帮助初学者掌握学习经典模型的高效方法论。咱们首个讲解的代码是BERT,代码链接为https://github.com/google-research/bert,论文链接为https://arxiv.org/abs/1810.04805,希望大家能够先预习再学习,效果更佳。原创 2023-01-03 11:06:31 · 22311 阅读 · 2 评论 -
BERT模型结构可视化与模块维度转换剖析
本文作为BERT模型讲解的第一篇文章,主要介绍了BERT模型结构可视化显示与模块剖析,希望对新手有所帮助。文章目录1. 可视化显示1.1 安装依赖库1.2 可视化2. 模块维度转换剖析2.1 输入文本维度2.2 Embedding2.3 LayerNorm2.4 Self-attention2.4.1 Attention Mask2.4.1.1 关键概念之序列填充(padding)2.4.2 Self-attention2.5 Position-wise FFN2.6 最终输出原创 2023-01-25 20:50:15 · 17388 阅读 · 1 评论 -
BERT源码深度剖析之create_pretraining_data.py
八大函数---> 训练例对象写入文件 & 创建整型特征 & 创建浮点型特征 & 创建训练例 & 从文档中创建训练例 & 创建对掩码语言模型的预测 & 截断序列对 & 主函数原创 2023-01-20 14:20:07 · 16839 阅读 · 9 评论 -
TensorFlow tf.train.Example和TFRecord的实战学习
在本篇博客中,详细介绍了Tensorflow中较为推荐的TFRecord格式,从而更加高效的保存和读取数据,并使用protocol buffer message和tf.train.Example执行此操作。需要说明的是本篇博客的执行环境为TensorFlow 2.x。文章目录1. Protocol Buffers2. tf.train.Example3. TFRecord3.1 TFRecord简介3.2 写入TFRecords3.3 读取TFRecords文件4. 图像数据实战原创 2023-01-05 11:14:17 · 20724 阅读 · 5 评论