jianghu_jh-优快云博客

原创阅读文献：Transformers without Normalization

这篇论文的主题是“没有归一化的Transformer”，也就是在Transformer模型中不使用归一化层，而是用一种叫做Dynamic Tanh（DyT）的方法来替代。听起来挺有意思的，因为归一化层比如Layer Norm（LN）在Transformer里几乎是标配，作者们说可以不用，还能保持甚至提升性能，这有点反直觉。归一化层在传统Transformer中的作用。通常，LN会对每个token的激活值进行归一化，减去均值，除以标准差，然后应用可学习的缩放和平移参数。这有助于稳定训练，加速收敛。

2025-03-28 16:25:31 909

原创 Tensorboard可视化错误：不显示数据 No scalar data was found

学习Tensorboard过程中，按照书本中操作，结果在浏览器中报错：No scalar data was found.通过百度查询，自己琢磨，发现有个小问题觉得写出来供像我这样的菜鸟注意。我的环境是：window，Anaconda2底下安装python2.7，又加装了tensorfow环境和Python3.5１、使用Jupyter Note book写代码注意相对路径：writer = tf.s...

2018-02-12 20:28:30 4536 4

转载 PASCAL VOC

参考网页：http://www.360doc.com/content/13/0517/10/1054746_286033689.shtml PASCAL VOC(pattern analysis,statistical modelling and computational learning visual object classes)模式分析，统计建模，计算学习

2017-01-11 15:38:15 461

IIC读写AT24C02（proteus仿真at89c52）

IIC读写AT24C02 目的：记录开机的次数，并用LCD1602显示记录次数要求：AT89C52 + AT24C02 + LCD1602 （1）画出51单片机操作IIC读写AT24C02的PROTEUS原理图（2）编写代码实现IIC读写的操作（3） IIC存贮芯片AT24C02是非失意性存贮器，掉电数据不丢失的特点，利用这个性质设计电路实现记录开机的次数，即每次开机或单片机复位后从存贮器AT24C02指定地址（如：0X10）中读出数据并送LCD1602显示，同时计数值加一，并把结果写入到AT24C02指定的地址（如：0X10）中，这样就实现了记录单片机开机的次数。

2012-08-27

DS1302实时时钟

用DS1302实时时钟芯片设计一个数码显示电子钟要求：AT89C52 + DS1302 + LCD1602 （1）画出51单片机和DS1302实现数码电子钟的PROTEUS原理图（2）编写代码驱动DS1302及LCD1602 （3）实现LCD1602的第一行显示星期、年、月、日，第二行显示时、分、秒等（4）画出数码显示电子钟的PCB图。

2012-08-27