- 博客(8)
- 收藏
- 关注
RSS订阅原创 机器学习经典分类与回归技巧
机器学习（Machine Learning, ML）是人工智能的一个分支，其核心思想是让计算机系统通过数据而非明确的编程指令来“学习”并改进其性能。简而言之，机器学习系统能够从数据中识别模式、建立模型，并利用这些模型对未知数据进行预测或决策。数据（Data）：机器学习的“燃料”，可以是结构化的（如表格数据）或非结构化的（如图像、文本、音频）。数据的质量和数量直接影响学习效果。模型（Model）：学习过程的产物，是数据中模式的数学表示。模型可以是简单的线性方程，也可以是复杂的神经网络结构。
2025-07-03 17:51:39
1093
原创 FlashAttention：从原理到落地全解读
FlashAttention极大改变了Transformer大模型训练/推理的性能边界，推动了长文本、超大Batch等任务的落地。它没有改变Attention的表达能力，仅仅是极致优化了存储和带宽效率，是工程和算法的双重创新。未来，大模型推理和训练会越来越依赖类似FlashAttention这样的硬件友好、近似零损失的优化算子。随着FlashAttention3、内存亲和Attention等新算法问世，我们很快将能在桌面级甚至边缘设备上运行原本需要几百GB显存的大模型。
2025-06-27 18:17:01
3287
原创 大模型的位置编码
短文本NLP、标准Transformer：可直接用正弦/余弦或可学习绝对位置编码。长文本/大模型：RoPE和ALiBi更适合，支持序列泛化和低延迟推理。强调相对依赖场景：相对位置编码（Transformer-XL、DeBERTa）表现更佳。CV/无序Patch：无需显式位置编码，结构本身可建模空间关系。选择时建议：结合任务长度、泛化需求、硬件兼容性等考虑。
2025-06-27 17:54:35
1721
原创 Transformer
上述代码实现了原始 Transformer 架构主干，并对每一步的数学原理给出了详细公式和解释。你学会了如何实现和替换为目前大模型常用的新技术：Latent Attention、Swish GLU、RoPE、FlashAttention等。未来可进一步学习优化训练技巧、多模态融合、指令微调（SFT、DPO）、分布式并行等内容。
2025-06-27 17:30:04
1840
2
原创 Pytorch初学指南
Pytorch初学指南，涵盖从基础到进阶的PyTorch核心知识点。主要内容包括：Tensor基础操作、自动求导机制、神经网络构建、损失函数与优化器、数据加载与增强、模型训练评估流程、GPU加速与模型部署等关键技术点。教程采用理论+代码示例的形式，每个知识点都配有可运行的代码片段，如MNIST手写数字识别项目实战。同时针对常见错误（CUDA内存不足、设备混用等）给出解决方案，并推荐了学习路线和进阶方向。
2025-06-27 15:21:07
926
原创 Joblib，轻松并行for、map
joblib 是科学计算“傻瓜式”并行利器，适合绝大多数for循环并行加速，简单场景极度推荐，但分布式和异步就需要用 Dask、Ray、asyncio 等更高级方案。
2025-06-27 14:03:42
877
原创 多线程、多进程、异步IO是什么？
并发/并行最适合的场景不同，选错了反而更慢！I/O密集选多线程/异步IO计算密集选多进程可以对已有阻塞代码进行“线程池/进程池/asyncio改造”，尤其是I/O操作。编写新代码时，优先评估任务类型，早考虑并发/并行框架，代码更容易维护和扩展。
2025-06-27 14:01:42
411
原创 大数据处理技巧
场景优化手段推荐工具/方法爬虫多线程/异步/分批大文件处理分块读写/并行CPU密集型多进程/分布式内存消耗大生成器/过滤/分批算法低效向量化/算法优化可扩展性需求分布式/云计算。
2025-06-27 13:43:18
501
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人