算法研究员-优快云博客

原创【随笔】自己看的... 保存

视频：https://www.youtube.com/watch?优秀的博主，讲深度学习： https://www.youtube.com/watch?课程：https://www.pair.toronto.edu/csc2547-w21/从点云到NeRF，多伦多大学CSC 2547课程全面讲解3D计算机视觉。youtube上有许多比较优秀的视频。........................

2022-08-10 14:07:58 719

原创【李宏毅2022 机器学习春】汇总

李宏毅2022 机器学习春课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2022-spring.php

2022-02-21 19:25:59 2655

原创【李宏毅2021机器学习深度学习】作业讲解 & 笔记收藏 & 课程主页

文章目录大佬代码参考

2021-12-08 20:48:02 7946

原创炼丹琐碎知识点

文章目录pin_memorypin_memory

2021-12-06 00:09:15 355

import torchfrom torch import nnfrom torch.utils.data import DataLoaderfrom torchvision import datasetsfrom torchvision.transforms import ToTensor, Lambda, Composeimport matplotlib.pyplot as plt# Download training data from open datasets.training_d

2021-04-19 15:54:25 513

原创【入门教程】C++ 并发编程【推荐，通俗易懂，有例子】

线程间的同步： std::condition_variable。数据竞争与原子操作：std::atomic。竞争条件 - 同步的必要性。

2025-03-17 11:27:50 150

原创【PyTorch教学】pytorch 基本语法

IndexingReshapingSqueeze。

2025-03-13 10:21:09 322

原创【AI大模型】deepseek 相关资料和使用【媲美 GPT-o1?】

https://api-docs.deepseek.com/zh-cn/prompt-library/官方论文：https://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf。中文博客介绍：https://zhuanlan.zhihu.com/p/15337496690。论文翻译：https://zhuanlan.zhihu.com/p/21274653765。

2025-02-07 15:11:49 468

原创【Django教程】用户管理系统

Django的用户身份验证是一个内置的身份验证系统，带有预配置的URL和视图。在Django中创建登录系统涉及内置的身份验证视图和创建自定义模板。在Django中重置密码涉及到配置电子邮件后端以发送重置链接。身份验证验证用户身份，而授权则确定Django中的用户权限。在Django中注册为用户需要设置视图、模板和URL。

2025-01-24 13:40:31 773

原创【教程】最好的pytorch教程

Materials for the Learn PyTorch for Deep Learning: Zero to Mastery course

2025-01-23 16:52:00 141

原创【我的阅读】【nature |ai4science】Scientific discovery in the age of artificial intelligence【人工智能时代的科学发现】

人工智能（AI）正越来越多地融入科学发现中，以增强和加速研究，帮助科学家生成假设，设计实验，收集和解释大型数据集，并获得仅使用传统科学方法可能无法获得的见解。在这里，我们研究了过去十年的突破，包括自我监督学习，它允许模型在大量未标记的数据上进行训练，以及几何深度学习，它利用有关科学数据结构的知识来提高模型的准确性和效率。生成式人工智能方法可以通过分析包括图像和序列在内的各种数据模式来创建设计，例如小分子药物和蛋白质。

2025-01-22 10:11:14 684

原创【C++基础】enum，union，uint8_t，static

它内部包含各种属性，但是所有属性共用一块内存，导致这些属性都是对同一个二进制数据的解读，其中往往只有一个属性的解读是有意义的。并且，后面写入的属性会覆盖前面的属性，这意味着同一块内存，可以先供某一个属性使用，然后再供另一个属性使用。这样做的最大好处是节省内存空间。这些类型的来源：这些数据类型中都带有_t, _t 表示这些数据类型是通过typedef定义的，而不是新的数据类型。也就是说，它们其实是我们已知的类型的别名。所以有时候使用 Enum 的目的，不是为了自定义一种数据类型，而是为了声明一组常量。

2025-01-15 15:04:43 397

原创【RAG学习】如何使用大型语言模型？提示工程、RAG、微调或预训练，什么时候需要哪个

What are the available options for customizing a Large Language Model (LLM) with data, and which method—prompt engineering, RAG, fine-tuning, or pretraining—is considered the most effective?使用数据定制大型语言模型（LLM）有哪些可用选项，哪种方法-提示工程、RAG、微调或预训练-被认为是最有效的？The best me

2025-01-14 14:01:59 647

原创 2023考研王道计算机408数据结构+操作系统+计算机组成原理+计算机网络

如果你是一战，对重点内容不是很清晰，在复习的过程中就要注意总结选择题和和应用题的出题重点，这些内容一定要掌握，后期一定要不断复习！具体而言，我是先在基础阶段看教材，碰到不懂的地方去听对应的王道的视频课，教材过完一遍之后再去看的王道的指导书，做上面的选择题，偶尔做几个大题。操作系统不难拿分，要记的地方比较多。计网中的选择题重点：计算机网络性能指标、计算机网络体系结构、奈奎斯特与香农、分组交换、滑动窗口协议、介质访问控制、以太网、IPv4、路由协议与路由算法、TCP与UDP、TCP可靠传输与拥塞控制。

2024-11-28 11:27:20 1350 1

原创关于点云的一些科研启发

point 和 voxel 方法内存占用。双分支，多模态，信息互补。双分支，利用各自的优点。

2024-10-12 19:48:12 282

原创我的研究生周报模板

如： [1] Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. In Proceedings of the IEEE international conference on computer vision, pp. 2223-2232.实验：（打算做什么实验，目的是什么）

2024-10-12 19:22:49 1303

原创【学位论文写作】参考文献格式问题

我的问题什么时候引用格式，硕士论文不是会议[C] 就是期刊 [J]举例

2024-08-19 15:11:37 358

原创【代码片段】混合精度训练，免费提升你的训练速度 | Automatic Mixed Precision

文档：https://pytorch.org/docs/stable/amp.html。

2024-08-19 00:44:49 184

原创【深度学习教程】

https://datawhalechina.github.io/thorough-pytorch

2024-08-19 00:32:07 438

原创【代码片段】理解[自回归]注意力

视频from： https://www.youtube.com/watch?标准化 a，实现了前1，2，3,…Softmax 之后，变回来了。将变量注册到缓存区，更快，不想那么 one-hot。访问：self.tril。自回归，生成掩码方式。

2024-08-19 00:00:00 399

原创【常用软件】

2024/08/18，破解成功。

2024-08-18 23:14:41 245

原创【LLM入门】Let‘s reproduce GPT-2 (124M)【完结，重新回顾一下，伟大！】

保存模型，不止模型参数。

2024-08-18 14:11:52 336

原创【LLM入门】Let‘s reproduce GPT-2 (124M) |Section3 训练和评估你的大模型【大模型训练技巧！！超参数，学习率，batchsize，梯度累计，DDP，评估】

from视频：https://www.youtube.com/watch?记住：每个进程知道的只有 ddp_rank,ddp_world_size, ddp_rank==0是主进程！gpu ddp全用上就是快，1.5 million tokens / sec。听Andrej Karpathy讲优化过程，有点哲学！初始化：你必须考虑同时8个节点运行这一段逻辑！468,654次观看 2024年6月10日。8个节点拥有的不同，只是ddp_rank。改变 dataloader。手写学习率改变函数。

2024-08-18 13:54:30 558

原创【LLM入门】Let‘s reproduce GPT-2 (124M) | Section2 加快你的模型训练【混合精度训练，模型编译，flash attention，2的幂】

视频from：https://www.youtube.com/watch?gpu默认，时间：1000ms【第一次比较慢，初始化一些】一行代码就可以加速/启用！【tf32，提升3倍！不同数据类型所能获得的计算量。每秒处理多少个token？

2024-08-17 03:09:52 321

原创【LLM入门】Let‘s reproduce GPT-2 (124M) | 从零复现GPT2（Section 1） | Andrej Karpathy

使用hugging face 的transformer库，pytorch【学习代码，参考hugging face，非常多模型！用jupyter调试，然后再把code搬到py文件中！openai的gpt2 是 tensorflow写的。465,246次观看 2024年6月10日。forward 顺便返回 loss。随机初始化的损失，

2024-08-16 17:50:41 941

原创【扩散模型入门教程】

improved-diffusion，openai代码：https://github.com/openai/improved-diffusion。Stable Diffusion: Prompt Guide and Examples【Stable Diffusion：提示指南和示例】DDPM 从零实现代码：https://huggingface.co/blog/annotated-diffusion。

2024-08-15 18:46:49 193

原创【LLM入门】Building makemore Part 5: Building a WaveNet

from视频： https://www.youtube.com/watch?但是在pytorch中，C是第1维度！

2024-08-12 23:49:52 352

原创【LLM入门】Building makemore Part 3: Activations & Gradients, BatchNorm

对神经网络参数进行初始化，损失函数不再是曲棍球棒【参数初始化的重要性！检查值的分布，梯度的感知！【神经元激活，死亡？282,558次观看 2022年10月5日。加上 bngain和偏移bnbias。只在训练时用，测试不用。

2024-08-12 00:10:32 524

原创【教程-时间序列预测】PyTorch 时间序列预测入门

from博客: https://zhajiman.github.io/post/pytorch_time_series_tutorial/#%E9%AB%98%E7%BA%A7%E6%96%B9%E6%B3%95%E8%87%AA%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B。数据集产生窗口也是难点！

2024-08-05 22:30:52 375

原创【论文收集】

CVPR 2024 论文分类：https://github.com/52CV/CVPR-2024-Papers#25。

2024-08-04 23:42:19 151

原创【目标检测】2020 ECCV， detr，端到端目标检测，36行代码完成目标检测

视频讲解 DETR 论文精读【论文精读】:https://www.bilibili.com/video/BV1GB4y1X72R。github提供教程: https://github.com/facebookresearch/detr。

2024-08-01 00:33:52 244

原创【3D 重建】NeRF，3D Gaussian Splatting

3,372次观看 2023年10月17日 #ai繪圖 #ai #assassinscreed來開一個新系列，講講一個computer vision 中很經典而且重要的題目，3D 重建 (3D reconstruction)。這幾年3D reconstruction技術上有革命性的進展，這個技術就是 Neural Radiance Field ，簡稱 NeRF。

2024-07-25 12:02:31 535

原创【论文速读#190】最新AI方向BiFormer做了什么？如何改进Transformer？【分块，降低计算量和内存占用量】

from: https://www.youtube.com/watch?v=EsQba3t7Qnk

2024-07-22 17:56:00 257

原创【论文速读#189】Clip DIY？不用训练的AI，2024最新趋势！【For-Free，拼凑其他人的模型完成某任务！】

消融实验：objectness最重要。Found的其他方法。

2024-07-22 17:41:17 418

原创【深度学习教程】

文章目录李宏毅-机器学习/深度学习https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.phphttps://speech.ee.ntu.edu.tw/~hylee/ml/2022-spring.phphttps://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phphttps://speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.php李宏毅-机器学习/深度学习https

2024-07-17 18:06:18 338

2020蓝桥杯A组省赛第十一届蓝桥杯大赛软件类省赛第三场C/C++ 大学 A 组.pdf

空空如也