勿忘初心,方得始终

B站：线性代数的本质xiaohongshuB站：图解神经网络xiaohongshu:图解神经网络B站：重头搭建GPT2xiaohongshu:重头搭建GPT2B站：强化学习xiaohongshu:强化学习B站：CORL2024xiaohongshu:CORL2024

"video/*.mp4"是需要根据的目录地址和类型。在我的项目中有一个video文件目录存放这xxx.mp4数据。这将创建或更新一个名为 .gitattributes 的文件，指定哪些文件由 Git LFS 管理。

在前面的示例中，我们直接深入到自注意力中，忽略了“多头”部分。如果我们对每条路径执行相同的操作，我们最终会得到一个向量，代表每个标记包含该标记的适当上下文。但在评估期间，当我们的模型在每次迭代后只添加一个新词，对于已经处理过的标记，重新计算早期路径上的自注意力将是低效的。现在在下一次迭代中，当模型处理单词“robot”时，它不需要为“a”标记生成查询（query）、键（key）和值（value）。由于我们专注于第一个标记，我们将它的查询与所有其他键向量相乘，为这四个标记中的每一个都产生了一个分数。

图解Transformer

程序可见的显卡数目只有一个，其中可能就是只有一张卡；或者有多张卡但是程序只能看到一个。只检测到一张GPU卡，程序却要使用两张。针对第二个原因只需要设置一下。程序就可以看到多张卡了。

如果你感觉对你有所帮助，请关注我。源码获取 VX关注晓理紫并回复“chatgpt-0”

如果你感觉对你有所帮助，请关注我。源码获取：VX关注并回复chatgpt-0获得假如有八个令牌，现在想让每一个令牌至于其前面的通信，如第5个令牌不与6,7,8位置的令牌通信（这是未来的令牌），只与4,3,2,1位置的令牌通信。因此只能通过以前的上下文信息猜测后面的;一种弱的通信方式是取前面的平局值。如5位置==5,4,3,2,1位置上的平局值。单头自注意力。

2.1 大语言模型的扩展法则KM扩展法则：Chinchilla 扩展法则2.2 大语言模型的涌现能力上下文学习能力(ICL)：假设为大语言模型提供了一个自然语言指令、或几个任务的演示，它可以通过完成输入文本的单词序列的方式为测试实例生成预期的输出而无需而外的训练或者梯度更新(通过提高的实例就可以学会对应的任务不需要进行而外的训练)指令遵循：通过使用自然语言描述的混合任务数据集进行微调（指令微调），LLM可以在未见过的指令形式描述的任务表现出色。(泛华能力强)

大语言模型Llama2 7B+中文alpace模型本地部署

GiraffeDet助力yolov8暴涨分

fastsam模型协助你扣图

分割一切模型FastSAM点哪里分割哪里 VX搜索 《晓理紫》，关注并回复fastsampoint获取核心源码。

Fast SAM与YOLOV8检测模型一起使用实现实例分割效果

使用C++部署分割一切模型FastSAM

使用C++部署FastSAM模型

这里有一个使用YOLOV4进行人头测试的训练yolov4 训练自己的数据集–人头识别这里YOLOv5的优点官网已经有了就不说了。其实在操作中发现yolov5在训练步骤上比yolov4要方便的多。只需要更改一个文件就行...

原因在使用Faster RCNN有时会遇到如下错误_mask.so: undefined symbol: _Py_ZeroStruct或者cython_bbox.so: undefined symbol: _Py_ZeroStruct这个主要原因可能是原生成so的python环境与你的python环境不一致。(生成cython_bbox.so的环境是python2而你的环境是python3这样的化就会报错)。解决方法在自己的环境中重新生成对应的so文件生成步骤以我生成so的步骤说下，可

主要是使用yolo_v2_class.hpp文件1、hpp文件#ifndef DEMO_HPP#define DEMO_HPP#ifndef OPENCV#define OPENCV#endif#include<yolo_v2_class.hpp>#include<darknet.h>using namespace cv;using namespace std;class yoloDetector{public: yoloDetector(strin

0、实验环境ubuntu 16.04opencv 3.4.10cuda 10.11、yolov4安装1.1、下载编译darknetdarknet下载地址git clone https://github.com/AlexeyAB/darknetcd darknetdarknet 默认编译是不带cuda与opencv,而且不会编译so文件。如果想编译带有cuda与opencv，并编译so文件的需要修改Makefile进行编译make -j8 2、准备数据集数据集我是从此处下载

在ubuntu16 GTX2060 cuda10.1中使用tensorflow报出一下错误E tensorflow/stream_executor/cuda/cuda_dnn.cc:329] Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR在网上尝试了很多中方法1、删除缓存(我用没有成功)sudo rm -rf ~/.vn/2、修改cuda版本之类的，太麻烦没有试3、换tensorflow版本之类的。太麻烦没有试4、使

在Where-are-they-looking-PyTorch中的utils.py中有一个判断 if temp < best: best = temp报出Error: Bool value of Tensor with more than one value is ambiguous解决方法把getdata.py中的predi...

今天用Pytorch训练一个小代码，加载数据的地方self.train_loader = torch.utils.data.DataLoader(self.train_gaze, batch_size, shuffle=True, num_workers=workers)一开始设置workers为4，报出如下错误RuntimeError: DataLoader worker (pid(s)...

当构建完openpose时发现在build中没有examples文件夹，导致出现./build/examples/openpose/openpose.bin no such file or directory如该构建没有出错，又没有examples文件夹多半时在设计构建选项时没有选择构建example选项打上钩也许就好六...

今天学习pytorch遇到以下问题TypeError: 'DataLoader' object is not subscriptable一开始设置的参数如下cifar_train = DataLoader(cifar_train,batch_size=batchSize,shuffle=True)就会报上面的错误，后来加上num_workers，莫名的好了cifar_train = ...

import torchfrom torch import nnfrom torch.nn import initimport numpy as npimport sysfrom collections import OrderedDictimport d2lzh_pytoch as d2limport torchvisionimport torchvision.trans...

import torchimport numpy as np#生成数据num_inputs=2num_examples = 1000true_w = [2,-3.4]true_b = 4.2features = torch.tensor(np.random.normal(0,1,(num_examples,num_inputs)),dtype=torch.float)#la...

k-近邻分类算法1.基本思想​ 存在一个样本数据集(训练数据集)，数据集中每一个数据都带有一个标签，即我们知道数据集中每一个数据与所属分类得对应关系。输入没有标签得数据后，将数据得每一个特征与样本数据集中数据对应得特征进行比较，然后算法提取样本集中特征最相近数据(最邻近)得分类标签作为测试数据得分类标签。主要是根据测试数据特征与样本集数据特征得距离来判断，选择距离最近得数据分类标签。2.使用...

程序报出"TypeError: reduction operation ‘argmax’ not allowed for this dtype"错误是说明数据类型不对和argmax方法已被弃用，改用idxmax解决方式:1，使用idxmax2，检查数据类型是否是数值型如(integer, float).如果是object。则使用.astype(数值型).idxmax()如:result...

一 .数据量不平衡​ 当数据极不平衡时会造成算法结果很不准确。可以通过上采样或者下采样来处理数据不平衡的情况(以y=0极多，y=1很少为例)1.1 下采样​ 下采样就是减少数据极多的样本数据，以达到平衡数据的效果(减少y=0的样本数，使y=0的数量和y=1的数量平衡起来)​ 使用python实现下采样的代码#下采样def down(data): #分离特值X和结果y X...

线性回归算法及逻辑回归算法相关推导@(机器学习)[线性回归算法]使用的数据如下图所示是我们使用的案例数据推论如图是数据构成的平面X1,X2X_1,X_2X1​,X2​是我们的两个特征(年龄和工资)，Y是银行最终会借给我们的多少钱。我们需要找到一个合适的线来拟合我们的数据，从而对我们未来的数据进行预测假设θ1是年龄的参数，θ2是工资的参数。假设Hθ(x)=θ0+θ...

#决策树算法@(机器学习)[决策树算法]1.什么是决策树:二十个问题游戏：游戏的规则其中一个参与者想出一个事物，其他参与者通过提出问题来猜出事物，最多提出二十个问题，来缩小和确定物体。决策树的原理和二十个问题的原则很像。也是通过特征对数据进行归类。决策树其中一个重要的任务就是理解数据中隐含的知识信息，因此决策树可以使用不熟悉的数据集合并从中提取出一系列的规则，这些机器根据数据创建规则的过程...

机器学习数学回忆@(机器学习)[机器学习数学回忆]条件概率设A，B 是两个事件，且P(A)>0,称 P(B|A) = ($ \frac {P(AB)} {P(A)} $) 为在事件A发生的条件下B事件发生的概率全概率公式设实验E的样本空间为S，AAA为E的事件，$ B_1 $ ,$ B_2 $ ,$ B_3 $ $ B_4,…, $ $ B_n $ 为S的一个划分，且...

import re,collectionsimport sys#把语料库的单词全部抽取出来，转写成小写，并去掉单词中间的特殊符号def words(text): return re.findall('[a-z]+',text.lower())""" 如果遇到一个语料库中没有的单词怎么办? 假如说一个单词拼写正确，但是语料库中没有包含这个词，从而这个词也永远不...

import pandas as pdimport numpy as npimport jieba#读取数据def getdata(): path = "M:/python练习/data/Python/data/val.txt" df_news = pd.read_table(path,names=['category','theme','URL','content...

贝叶斯算法贝叶斯相关公式贝叶斯相关公式贝叶斯算法初步小案例拼写纠正拼写纠正代码新闻分类常用工具​ 1，停用词表​ 停用词： 语料中大量出现，没有什么意义的词​ 2，TF-IDF(term frequency–inverse document frequency)​ 词频–反转文件频率，是一种用于情报检索与文本挖掘的常用加权技术，用以评估一个词对于一个文件或者一...

使用sklean.cross_validation模块中的train_test_split进行数据分割时，发现无法引用sklean.cross_validation模块：解决方法是从sklearn.model_selection 模块导入train_test_split即可from sklearn.model_selection import train_test_split因为该模块在0...