张博208-优快云博客

This blog post will go into detail about how LoRA works to fine-tune LLMs, following the methodology set out in the “LoRA: Low-Rank Adaptation of Large Language Models” paper

2024-07-26 15:12:17 1057

提示工程(Prompt engineering)是一门相对较新的学科，旨在为各种应用和研究主题开发和优化提示，以有效地利用语言模型（LMs:language models ）。提示工程技能有助于更好地了解大型语言模型（LLMs:large language models ）的能力和局限性。研究人员使用提示工程来提高 LLMs 在各种常见和复杂任务（如问答和算术推理）上的能力。开发人员使用提示工程来设计稳健且有效的提示技术，与 LLMs 和其他工具进行交互。自然语言处理的标准任务之一是文本摘要。

2024-07-19 14:31:53 1860

转载大模型基础组件 - Tokenizer

这里的动机是一个pair的频率很高，但是其中pair的一部分的频率更高，这时候不一定需要进行该pair的合并。通过这种方式可以更好的处理跨语言和不常见字符的特殊问题(例如，颜文字)，相比传统的BPE更节省词表空间（同等词表大小效果更好），每个token也能获得更充分的训练。1. 根据不同的切分粒度可以把tokenizer分为: 基于词的切分，基于字的切分和基于subword的切分。这是当前大模型的主流分词方案。基于subword的切分能很好平衡基于词切分和基于字切分的优缺点，也是目前主流最主流的切分方式。

2024-07-19 11:17:57 359

转载 EfficientNet_V2 ShuffleNet_V2 MobileNets_V3 模型算法详解

图像分类】【深度学习】【轻量级网络】【Pytorch版本】EfficientNet_V2模型算法详解

2024-07-18 18:35:58 82

转载一篇文章搞懂LLaVA-Plus

一篇文章搞懂LLaVA-Plus

2024-07-18 18:12:01 167

转载 Next-GPT: Any-to-Any Multimodal LLM

https://zhuanlan.zhihu.com/p/658317147https://zhuanlan.zhihu.com/p/663002368

2024-07-18 17:56:09 151

转载大模型时代的分割定位：Lisa、LLava- grounding、GSVA、PixelLM、AnyRef

大模型时代的分割定位：Lisa、LLava- grounding、GSVA、PixelLM、AnyRef

2024-07-17 13:11:45 227

原创主流微调训练方法总结 LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning

一文搞清楚LORA、Prompt Tuning、P-Tuning、Adapter 、Prefix等大模型微调方法

2024-07-16 17:47:12 379

转载 vLLM 系列

架构概览

2024-07-16 16:20:50 108

原创 Dissecting model performance

【代码】Dissecting model performance。

2024-07-16 16:15:11 456

原创 KV caching, a deeper look

In the previous post, we introduced KV caching, a common optimization of the inference process of LLMs that make compute requirements of the (self-)attention mechanism to scale linearly rather than quadratically in the total sequence length (prompt + gener

2024-07-16 16:13:34 1000

原创 KV caching explained

【代码】KV caching explained。

2024-07-16 16:11:11 957

原创 The two-phase process behind LLMs’ responses

LLM inference

2024-07-16 16:03:51 869

原创（Multiple Instance Learning）Attention-based Deep Multiple Instance Learning

https://proceedings.mlr.press/v80/ilse18a/ilse18a.pdf论文解读之Attention-based Deep Multiple Instance Learning-优快云博客

2024-07-16 13:01:24 222

原创 VISION TRANSFORMERS NEED REGISTERS

Meta提出：ViT需要Registers

2024-07-16 10:31:37 593

原创 DeiT：ViT&模型蒸馏

人工智能

2024-07-16 10:14:12 157

原创 ConvNeXt

ConvNeXt-V2：当 MAE 遇见 ConvNeXt 会碰撞出怎样的火花？ConvNext详解ConvNeXt 详解ConvNeXt V2：用MAE训练CNNConvNeXt V2 论文笔记ConvNeXt V2:使用掩码自动编码器共同设计和扩展ConvNets

2024-07-15 17:04:57 143

转载 SE、CBAM、ECA 、CA注意力机制

SE、CBAM、ECA 、CA注意力机制_ca和cbam-优快云博客

2024-07-15 16:58:12 69

转载全局响应归一化GRN解析

这就是一个特征重标定的过程，特征归一化输出的其实是一个权重值，这个值载荷输入x相乘就能获得每个通道的重要程度，GRN中还加入了两个可学习参数weight和bias用于优化。通过在H和W维度上使用L2范数，把空间特征聚合成为一个向量，其实也可以使用类似SE里的全局平均池化层，主要用于获取全局性的通道信息。用于计算当前通道相对于其他通道的相对重要性，其值在0~1之间，该方法类似于SE里的sigmoid输出。中提出的一种归一化方法，其实也就是一种注意力机制，跟视觉中常用的。

2024-07-15 16:55:59 890

原创稀疏卷积Sparse Convolution

稀疏卷积

2024-07-15 16:39:15 156

原创大模型生成去重技术总结

生成重复性问题

2024-07-12 18:29:47 729

原创 GPT 论文学习

GPT系列论文解读：GPT-1GPT系列论文解读：GPT-2

2024-07-12 14:51:53 155

原创 LLaMA 模型

llamA

2024-07-12 14:11:53 385

原创 Transformers KV Caching Explained

K-V cache

2024-07-12 13:15:15 708

原创深度学习中的注意力机制：MHA、MQA和GQA

深度学习中的注意力机制：MHA、MQA和GQA

2024-07-12 10:29:26 626

原创 SwiGLU 作为激活函数

激活函数

2024-07-11 18:50:49 172

Text_Mining－From_Ontology_Learning_to_Automated_Text_Processing_Applications

很好的资料了，Text_Mining－From_Ontology_Learning_to_Automated_Text_Processing_Applications

2017-12-13

Data Wrangling with R

Data Wrangling with R， R进行数据处理很好的一本书了

2017-12-15

Swarm Intelligence Principles Advances and Applications

2018-01-13

Elegant SciPy

2017年8月的一本新书，对学习scipy这个库有很大的帮助。

2017-11-27

Python Natural Language Processing最新版本

很好的一本数，是比较全的NLP知识的书籍了，欢迎大家下载，英文版

2017-12-06

Spark大数据处理技术带标签完整版

Spark大数据处理技术这本书讲解的很全面，很适合学习，但大部分网上下载的都是零碎不完整的，这本是经过优化整理，压缩后的完整的版本。

2017-11-12

Text Mining in Practice with R 2017.12

最新版本的书籍，Text Mining in Practice with R，对于R学习者很有用处。

2017-12-13

NLTK基础教程-用NLTK和Python库构建机器学习应用2017-06

2017-12-13

TensorFlow技术解析与实战高清晰完整版- 2017新书

TensorFlow技术解析与实战， 2017年出版最新的一本书，很适合初学者

2017-11-03

模式分类11

2016-11-07

Fundamentals of Deep Learning完整非扫描版本2017

Fundamentals of Deep Learning 完整非扫描版本, 作者会不断完善更新这本书，现在是2017年版本 Nikhil Buduma and Nicholas Locascio

2017-12-16

敏捷软件开发：原则、模式与实践

用处很大了，主要讲了设计模式，敏捷开发机制和时间方式，对你帮助很大的，我看了后才有领悟

2013-09-29

Mastering Scipy

很好的学习scipy的书籍，希望能够用得到好好学习，谢谢

2017-11-27

TENSORFLOW深度学习

TENSORFLOW深度学习，（DEEP LEARNING WITH TENSORFLOW）很好的一本书

2017-10-30

Tensorflow 机器学习参考手册2007

TensorFlow Machine Learning Cookbook2017，很好的一本数，中文翻译版，希望给大家带来很好的帮助了

2017-11-22

Reinforcement Learning With Open A TensorFlow and Keras Using Python.pdf

Reinforcement Learning With Open A TensorFlow and Keras Using Python，利用python进行增强学习的书籍，是目前最新的

2017-12-18

reinforcement learning An Introduction 第二版

完整版，并且清晰度很好的一本书，是初学者理想的选择了

2017-11-13

集体编程智慧

2016-11-07

ollydbg 教程

ollydbg 的使用教程我见过的最专业和最好的教程，中文版的

2010-01-28

面向对象方法原理与实践

很好的资料，初学者进一步升级使用的资料，软件工程技术用书，原书第三版

2012-10-19

llama3 study

2024-07-25

tensorrt ppt资料

tensorrt的教程，和相关的资料，案例，供大家学习

2024-07-09

GPU-知识点资料合集

bank_conflicts coalescing

2023-08-03

Pro Go The Complete Guide -go语言学习最新书籍

Best-selling author Adam Freeman explains how to get the most from Go, starting from the basics and building up to the most advanced and sophisticated features. You will learn how Go builds on a simple and consistent type system to create a comprehensive and productive development experience that produces fast and robust applications that run across platforms 参见：https://www.amazon.com/Pro-Go-Complete-Programming-Efficient/dp/1484273540/ref=sr_1_1?crid=1K22H21ZB1EIZ&keywords=Pro+Go+The+Complete+G

2023-06-19

Deep_Learning_Quick_Reference

Deep_Learning_Quick_Reference, a cookbook for deep learning

2018-09-01

Pattern_Recognition_and_Big_Data

Pattern_Recognition_and_Big_Data 很好的资源，对于学习大数据的朋友来说

2018-09-07

扩散模型讲义美国大学之一

2023-03-28

Advanced_Programming_in_the_UNIX_Environment，_3rd

Advanced_Programming_in_the_UNIX_Environment，_3rd_Edition very good book for unix user

2018-11-30

Python Machine Learning Machine Learning and Deep Learning

Python Machine Learning Machine Learning and Deep Learning with Python, scikit-learn, and TensorFlow, 2nd Edition 很受推荐

2018-03-27

Data Structures and Algorithms Using Python and C++

Data Structures and Algorithms Using Python and C++ 数据结构与算法方面的书籍

2018-03-27

Machine Learning and Deep Learning with Python, scikit-learn, and TensorFlow

Table of Contents Giving Computers the Ability to Learn from Data Training Simple Machine Learning Algorithms for Classification A Tour of Machine Learning Classifiers Using Scikit-Learn Building Good Training Sets - Data Preprocessing Compressing Data via Dimensionality Reduction Learning Best Practices for Model Evaluation and Hyperparameter Tuning Combining Different Models for Ensemble Learning Applying Machine Learning to Sentiment Analysis Embedding a Machine Learning Model into a Web Application Predicting Continuous Target Variables with Regression Analysis Working with Unlabeled Data - Clustering Analysis Implementing a Multilayer Artificial Neural Network from Scratch Parallelizing Neural Network Training with TensorFlow Going Deeper - The Mechanics of TensorFlow Classifying Images with Deep Convolutional Neural Networks Modeling Sequential Data using Recurrent Neural Networks

2018-03-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

Text_Mining－From_Ontology_Learning_to_Automated_Text_Processing_Applications

Data Wrangling with R

Swarm Intelligence Principles Advances and Applications

Elegant SciPy

Python Natural Language Processing最新版本

Spark大数据处理技术 带标签 完整版

Text Mining in Practice with R 2017.12

NLTK基础教程-用NLTK和Python库构建机器学习应用2017-06

TensorFlow技术解析与实战 高清晰完整版- 2017新书

模式分类11

Fundamentals of Deep Learning完整非扫描版本2017

敏捷软件开发：原则、模式与实践

Mastering Scipy

TENSORFLOW深度学习

Tensorflow 机器学习参考手册2007

Reinforcement Learning With Open A TensorFlow and Keras Using Python.pdf

reinforcement learning An Introduction 第二版

集体编程智慧

ollydbg 教程

面向对象方法原理与实践

llama3 study

tensorrt ppt资料

GPU-知识点资料合集

Pro Go The Complete Guide -go语言学习最新书籍

Deep_Learning_Quick_Reference

Pattern_Recognition_and_Big_Data

扩散模型讲义 美国大学之一

Advanced_Programming_in_the_UNIX_Environment，_3rd

Python Machine Learning Machine Learning and Deep Learning

Data Structures and Algorithms Using Python and C++

Machine Learning and Deep Learning with Python, scikit-learn, and TensorFlow

Convex Optimization Algorithms

图论引导 中文

machine learning algorithm

现代图论--------------

Approximate.Dynamic.Programming.2011

计算群体智能基础

深度学习之Pytorch

Guide.to.Medical.Image.Analysis.Methods.and.Algorithms

R_for_Data_Science

空空如也

Spark大数据处理技术带标签完整版

TensorFlow技术解析与实战高清晰完整版- 2017新书

扩散模型讲义美国大学之一

图论引导中文