nn的博客

原创 attention is all you need论文学习 transformer

Query和key是等长的，他门做内积作相似度，内积值越大相似度越高，内积值为0 两个相量垂直了没有相似度．Query和每个key作内积后的值除根号keys的维度．然后通过softmax函数得到权重0实际中用两次矩乘法实现。编码器和解码器，编码器输入多个token，输出每个token的编码向量，解码器的输入是token的编码向量，输出是转换的向量，转换的维度不一定和编码器的输入token长度一样，引文如果是翻译，不同语言翻译后是不同的长度。layernorm,是每个数据的特征做均值为零方差为1。

原创 llama3学习

首先是预训练部分，数据注意版权和风险问题。数据去重和数据清理，PII人的身份信息（人名、地址等）。如果数据有大量PII数据则这个数据丢掉。

原创 hunyuan 混元学习

训练了不同的模型去选择数据，比如用Dover去选择美观度比较好的数据，用其他模型去选择清晰度高的模型等。判断motion大小（比如静止的）把不合适的视频去掉。用OCR模型把带有很多字的视频拿掉。background\style等关键词，还用了dropout设置多样性更多的captions使得描述格式不会太固定。虽然拿掉了很多数据，但是数据多样性高也好，所以用个小模型去测试那个去掉视频的操作好。也进行了模型切断，用拉普拉斯算子找到最清晰的一帧作为训练的起始。也是进行了复杂的视频选择。同movie gen.

原创 Sora学习

基于用户做成personalized video.多个模型创新和简化.首先看下数据，他们用的数据对于video来说是1一亿左右的量级，对于图像来说更多。style preset：定义一个style，能把视频都变成这个style.以前可能每个style都要训练一个模型，现在只需要给出prompt,就可以得到想要的效果，简化了视频制作的速度。sora大概用了三种数据，一个是公开的数据，一个是通过合作伙伴得到的私有数据，一个是内部使用的数据。loop:视频头尾剪辑生成一个无限循环的视频，不停翻卷的海浪。

原创 Deepseek V3

MTP是今年Meta的论文。

原创 mamba论文学习

vision mamba （lianghui zhu等）速度和准确性都比transformer的模型更好，mamba占用资源是线性的，但是transformer是更大的占用资源，所以mamba能更好的。mamba（2024）改进SSM，训练快，testing快（相比transformer，test chatgpt就不会卡了），改进了硬件中的算法。速度上也比基于transformer的快，下图中右下的图。(弹幕说通俗来讲是提取非连续特征的问题传统的SSM是实现是通过卷积实现，只能提取连续特征)

原创 Gpt2-7结束

原创 Andrej karpathy讲gpt 2-2

原创 Andrej karpathy讲gpt 2

原创 CLIP论文学习

学习来自B站bryanyzhu。

原创 ViLT学习

多模态里程碑式的文章，总结了四种多模态方法，根据文字和图像特征特征抽取方式不通。文章的贡献主要是速度提高了，使用了数据增强，文本的mask。学习自b站朱老师的论文讲解。

原创 Dalle2学习

Dalle2 mini有GitHub库并且有网页可以直接测试。

原创 Stable diffusion论文学习ddpm

模型学习已知噪声 ,学习自b站人工智能AI课程。

原创 内存泄漏查看工具

2、可以使用VLD 官网下载，然后安装，在包含目录里配置include路径和库目录路径lib，添加vld.lib，在debug模式下，属性-》链接器-》生成调试信息选择debug full.需要在程序运行结束后生成调试信息。可以使用自带的trancemalloc,比较两次snapshot。1、可以使用自带的调试-》性能探查器，两次获取截图即可。

转载 procreate笔记

如果有白边，可以按住笔向右拖动，屏幕顶端出现“色彩快填阈值”，往右滑动增加阈值会填满。1.自动：与PS魔棒工具类似，先点击选择某个部分然后按住向右拖动，可以扩大选择范围直到选择到合适的区域范围。可以新建剪辑蒙版，效果一样但是可以在新图层操作，不影响原图层。三.画笔：1.画笔库向下拉，最上面出现“＋”，点击新建画笔组合，笔刷向右滑动可多选，用左手拖动复制笔刷到用笔点击新组合可将画笔增加到新建组合。一.主界面：1.在主界面双指按住画布可以旋转画布，双指同时放大画布预览，双指同时缩小退出预览。

原创 Cmake学习笔记3

这条指令可以用来设置输出的名称，对于动态库，还可以用来指定动态库版本和API版本。1、同时创建动态连接和静态连接库。

原创 CMake 学习笔记2

生成可执行文件ADD_EXECUTABLE(hello main.cpp)指令（参数1 参数2 ...）参数使用括弧扩起，参数之间使用空格或分号分开。指令是大小写无关的，参数和变量是大小写相关的，但推荐指令全部大写。注意：工程名HELLO和生成的可执行文件hello是没有关系的。变量使用${}方式取值，但是在IF控制语句中是直接使用变量名。向终端输出用户自定义的信息。

原创 GRPC学习

2 请求的数据怎么封装，响应的数据又怎么封装。也是通过protobuffer 做序列化。1 客户端发送一个sayhello 请求，服务器端怎么识别。定义proto 文件，传输数据类型，调用函数接口定义。可以用proto 生成接口，用cmake。1 把grpc编译成功。2 学习grpc范例。3 看proto文件。

原创 Vscode g++ cmake 学习笔记1

1 Linux常用指令。4th gdb 调试器。

原创 grpc笔记2-protobuf举例练习

1、在pycharm中安装有protobuf support之后，可以生成一个hello.proto文件作为定义protobuf。(表示生成的python放在当前目录,grpc需要用的python的目录，input来自目录与文件)//name是名称，1是变化并不是name的值。from proto_file.proto(文件路径) import hello_pb2。request= hello_pb2.HelloRequet()#相当于类实例化对象。4、新建client.py。#生成的pb文件不要修改。

原创 grpc学习笔记1

grpc可以使用protobuf进行数据处理，protobuf主流目前使用2、3，目前推荐用3,3修复了一些bug。可以使用的python 下载镜像网站 https://pypi.douban.com/simple。pycharm中安装protobuf support来支持pycharm中用proto。protobuf3有自己专门的定义格式-门槛。grpc 前安装的包。

原创 深度学习资料

深度学习书籍推荐

原创 迭代去噪算法推导

原创 图像重建常用数据库

高清图像数据集和有雾图像数据集

原创 KnowYourself笔记

1、小白姐妹卡片的话：“诚实面对自我，给多一点自我关怀接纳别人可能的对你的不接纳你是有力量的去探索和塑造那个喜欢的自我这是一条只关乎自己的道路”2、欲望与什么是自己真正想要的。3、向内归因可能会比较容易，但是很多事情是相互的，发生问题不一定是一方的问题4、父母期待的人与我自己心中想成为的自己...

原创 AI讲座笔记Wu Andrew

工具：TF、pytorch、mxnet、pphow to choose an AI project1\small开始2、automate tasks,not

原创 哈佛公开课--网易公开课笔记--积极心理学

1、成功的人的特质looking up opening up终身学习者2、学完这门课问自己有什么变化研究消极与积极的文章比例为21：1如果一个人21天都i不开心只有一天开心，这不是一件好事情如果一个人一天21个小时都不开心，只有一个小时开心，这不好抑郁症再增加because we measure betteror there's more awarenessthat's not all ,objectly there's more depression...

原创 关键点算法综述学习

原文pdf网址：Monocular Human Pose Estimation: A Survey of Deep Learning-based Methods (arxiv.org)知乎已有博主的翻译：2020 Pose Estimation人体骨骼关键点检测综述笔记（有空更新） - 知乎 (zhihu.com)

原创 好用的pdf转word网址

PDF转换成Word在线转换器 - 免费 - CleverPDF

原创 tensorRT+windows

1、找到对应的cuda版本的tensorRT,下载后解压2、在python环境中conda建立虚拟环境、安装tensorflow-gpu3、pip安装tensorRT文件夹中graphsurgeon和uff4、下载mnist数据5、打开\TensorRT-6.0.1.5\data\mnist运行python generate_pgms.py生成pgm图像数据6、打开data\samples\sampleMNIST里的sln工程，配置对应的sdk环境和vs环境（我的电脑是8.1和v140）

原创 pytorch使用module训练线性不可分数据

参考代码https://github.com/L1aoXingyu/code-of-learn-deep-learning-with-pytorch

原创 pytorch学习简单的nn和mnist分类

https://github.com/L1aoXingyu/code-of-learn-deep-learning-with-pytorch参考以上网址的代码import numpy as npimport torchfrom torchvision.datasets import mnistimport matplotlib.pyplot as pltfrom torch import nnfrom torch.autograd import Variabletrain_set

原创 pytorch学习1基础

pytorch数据准备和使用模型的定义熟练掌握训练过程和结果可视化训练方法（sgd\adam）和测试方法1、读取数据的指令torch.utils.dataclass torch.utils.data.Dataset表示dataset的抽象类所有其他数据集都应该进行子类化，所有子类应该是override __len__和__getitem__，前者提供数据集大小，后者支持整数索引，范围从0到len(self)2、搭建网络模块指令torch.nn在pytorch.

原创 caffe添加新的层

caffe添加新的层第一步：创建新定义的头文件include/caffe/layers/my_neuron_layer.hpp可以参考其他层的框架头文件等，继承神经层这个类重新Layer名的方法：virtual inline const char* type() const{return "MyNeuron";}如果只是需要cpu方法的话，可以注释掉forward_gpu()和backward_gpu()这两个方法第二步：创建对应src/caffe/src/my_neuron_la

原创 caffe 绘制loss图

caffe自带的绘制loss的工具 /mycaffe/tools/extra/plot_training_log.py.example去掉后缀可使用使用说明：Usage: ./plot_training_log.py chart_type[0-7] /where/to/save.png /path/to/first.log ...Notes: 1. Supporting multiple logs. 2. Log file name must end with the l...

原创 caffe 数据卷积后可视化

# coding : utf-8# caffemodel 输入图像之后可视化import numpy as npimport matplotlib.pyplot as pltimport osimport sysimport caffedeploy_file = "/home/**/mycaffe/python/.prototxt"model_file = "home/**/mycaffe/python/.caffemodel"test_data = "./img.jpg"#编写一.

原创 caffe 权值可视化

# coding : utf-8# caffemodel 权值可视化import numpy as npimport matplotlib.pyplot as pltimport osimport sysimport caffedeploy_file = "/home/**/mycaffe/python/deploy.prototxt" #配置网络结构文件model_file = "/home/**/mycaffe/python/*.caffemodel"#配置权重文件路径#编写一.

原创 pycaffe环境的配置与draw_net.py调用

安装pycaffe需要安装相关的依赖项sudo apt-get updatesudo apt-get install python-pip python-dev python-numpysudo apt-get install gfortran graphvizsudo pip install -r ${caffe_root}/python/requirements.txtsudo pip install pydot

原创 caffe使用训练好的model-训练mnist例子

1、mean file将所有数据的均值保存为文件，如果需要用到均值文件，图片会先减去均值再进行训练和测试，会提高速度和精度。对于imageNet库则需要均值文件。在网络文件中，数据层配置均值文件2、deploy文件1）输入和data相关的层去掉2）输出和loss相关的层去掉3）加入input：“data”input_shape{ dim:1 #batchsize 每次forward输入的图片数 dim:3 #channels dim:28#wid...

原创 caffe数据转换

1、测试caffe下载mnist数据和标签sh ./data/mnist/get_mnist.sh生成mnist数据的lmdbsh ./examples/mnist/create_mnist.sh训练mnist的分类模型sh ./examples/mnist/train_lenet.sh训练没问题，最后可得到10000次训练后，训练准确率为99%左右2、将自己的数据生成lmdb建立自己的数据文件分类夹mydata文件夹中分成：train--类别1、类别2tes