- 博客(60)
- 收藏
- 关注
RSS订阅原创 OFA(One-For-All)阿里达摩院实现架构、模态、任务的三个统一之Image Captioning
架构统一：使用统一的transformer encoder decoder进行预训练和微调，不再需要针对不同任务设计特定的模型层，用户不再为模型设计和代码实现而烦恼。模态统一：将NLP、CV和多模态任务统一到同一个框架和训练范式，即使你不是CV领域专家，也能轻松接入图像数据，玩转视觉、语言以及多模态AI模型。任务统一：将任务统一表达成Seq2Seq的形式，预训练和微调均使用生成范式进行训练，模型可以同时学习多任务，让一个模型通过一次预训练即可获得多种能力，包括文本生成、图像生成、跨模态理解等。
2023-04-23 22:27:57
1676
2
原创 dtype = torch.float32到底有什么用
RuntimeError: expected scalar type Long but found Float
2023-04-21 00:14:17
2738
原创 深度学习竞赛进阶技巧 - BLIP使用说明与实战
由于大规模模型的端到端的训练，视觉与语言的预训练模型的成本越来越高。本文提出了BLIP-2，这是一种通用的有效的预训练策略，它从现成的冷冻预训练图像编码器与大型的语言模型中引导视觉语言预训练。BLIP-2通过一个轻量级的查询transformer弥补了模态差距，该transformer分为两个阶段进行预训练：第一个阶段从冷冻的图像编码器中引导视觉语言representation learning。第二阶段从一个固定的语言模型中引导视觉到语言的生成学习。
2023-04-18 13:53:01
4325
4
原创 显存不够用？一种大模型加载时节约一半显存的方法
上述创建，模型占用 显存, x是指模型的大小有些时候我们把模型保存到本地硬盘中之后需要用到之前保存的模型（两倍显存消耗）我们需要两倍的显存来加载我们之前存储过的权重如果我们有一个巨大的模型，这是有问题的，因为我们需要两倍的空闲RAM。例如，假设我们有16GB的RAM，而我们的模型使用10GB。加载它需要20GB，我们需要改变我们的策略。Recently, PyTorch introduced the device. When you put a tensor to the meta de
2023-04-18 11:06:40
1751
原创 kaggle竞赛-Stable Diffusion数据分析与baseline
为了以一种稳健的方式计算提示的相似性——这意味着“史诗猫”的得分与“威严的小猫”相似（meaning that “epic cat” is scored as similar to “majestic kitten” in spite of character-level differences），尽管它们在字符级别上存在差异——你将提交你预测的提示的嵌入。这个竞赛的目标不是从文本提示生成图像，而是创建一个模型，可以在给定生成图像的情况下预测文本提示（你有一堆提示词，你预测是否该提示词参与了图像的生成）?
2023-04-16 22:21:46
3530
3
原创 SentenceTransformers介绍
语义搜索是将语料库中的所有条目嵌入到向量空间中。在搜索时，查询也会被嵌入到相同的向量空间中，并从语料库中找到最接近的嵌入。语义搜索通过理解搜索查询的内容来提高搜索的准确性，而不是仅仅依赖于词汇匹配。这是利用嵌入之间的相似性完成的。为了充分利用语义搜索，必须区分对称和非对称语义搜索，因为它会严重影响要使用的模型的选择。取值范围为[-1:1],取值为-1表示完全不相似，取值为1表示完全相似。语料库中文档的插入和查询的嵌入。
2023-04-16 08:09:23
1612
原创 NVIDIA- cuSPARSE（四）
日志记录机制，012345124816如果CUSPARSE_LOG_FILE 没有指定，那么日志信息将会被输出在stdout。
2023-04-10 08:08:43
393
原创 如何使用kaggle的api直接下载数据 Can‘t find kaggle.json file in google colab
kaggle数据集下载配置本地json文件
2023-01-12 00:54:32
561
原创 pytorch加载模型:ModuleNotFoundError: No module named ‘models‘
错误正确 以YOLOV5为例
2022-01-24 17:43:54
2319
原创 Sartorius - Cell Instance Segmentation-细胞分割kaggle竞赛
赛题介绍：背景介绍：概括： 一种神经细胞（神经母细胞瘤细胞系 SH-SY5Y）在现有的模型中分数表现始终最差，找一种方案来应对该数据并提高成绩神经系统疾病，包括阿尔茨海默氏症和脑肿瘤等神经退行性疾病，是全球死亡和残疾的主要原因。然而，很难量化这些致命疾病对治疗的反应如何。一种被接受的方法是通过光学显微镜检查神经元细胞，这种方法既方便又非侵入性。不幸的是，在显微图像中分割单个神经元细胞可能具有挑战性且耗时。在计算机视觉的帮助下，这些细胞的准确实例分割可能会导致新的有效药物发现，以治疗数百万患有这些疾病.
2022-01-09 14:59:30
3456
1
原创 超详细注释NLP Question answering竞赛（印度语和泰米尔语）
赛题印度语和泰米尔语问答链接：https://www.kaggle.com/c/chaii-hindi-and-tamil-question-answering初学者友好，尽可能都写上了注释1.赛题背景印度拥有近 14 亿人口，是世界上人口第二多的国家。然而，像印地语和泰米尔语这样的印度语言在网络上的代表性不足。与英语相比，流行的自然语言理解 (NLU) 模型在印度语言中的表现更差，其影响导致印度用户在下游 Web 应用程序中体验不佳。随着 Kaggle 社区的更多关注和您新颖的机器学习解决方案，我
2021-12-01 00:52:13
676
原创 深度学习数学基础 熵？
信息论-熵信息熵信息熵，可以看作是样本集合纯度一种指标，也可以认为是样本集合包含的平均信息量，信息熵越小，蕴含的粗确定性越小联合熵两个随机变量X和Y的联合分布可以形成联合熵，度量二维随机变量XY的不确定性条件熵在随机变量X发生的前提下，随机变量Y发生带来的熵，定义为Y的条件熵，用H(Y|X)表示条件熵用来衡量在已知随机变量X的条件下，随机变量Y的不确定。 熵、联合熵和条件熵之间的关系：H(Y|X) = H(X,Y)-H(X)H(Y∣X)=H(X,Y)−H(X)互信息相对熵相对熵又称K
2021-11-17 21:12:36
1126
原创 Google Brain - Ventilator Pressuren Prediction呼吸机压力预测
Google Brain - Ventilator Pressuren Prediction1.背景信息与数据初探呼吸机的气压作用？呼吸机将气压打入患者佩戴的口鼻罩中，有助于防止呼吸道塌陷呼吸机气压过低会怎样？氧气没办法压入患者的身体，吸气困难呼吸机气压过高会怎样？患者没办法吐气，呼气困难赛题解读：根据背景信息，因为呼吸机气压过高过低都不行，所以要用机器预测气压变化曲线，然后人为预先调整，不然人都凉了评价指标是平均绝对误差|x-y|赛题数据 时长为3s 有两个控制信号 产生的气道压力和
2021-11-05 22:07:52
1127
2
原创 2021-10-19
Lesson 6.动态计算图与梯度下降入门 在《Lesson 5.基本优化思想与最小二乘法》的结尾，我们提到PyTorch中的AutoGrad（自动微分）模块，并简单尝试使用该模块中的autograd.grad进行函数的微分运算，我们发现，autograd.grad函数可以灵活进行函数某一点的导数或偏导数的运算，但微分计算其实也只是AutoGrad模块中的一小部分功能。本节课，我们将继续讲解AutoGrad模块中的其他常用功能，并在此基础上介绍另一个常用优化算法：梯度下降算法。import numpy
2021-10-19 21:52:34
380
原创 pytorch基础
Lesson 3.张量的广播和科学运算数学运算与算子 作为PyTorch中执行深度学习的基本数据类型，张量（Tensor）也拥有非常多的数学运算函数和方法，以及对应的一系列计算规则。在PyTorch中，能够作用与Tensor的运算，被统一称作为算子。并且相比于NumPy，PyTorch给出了更加规范的算子（运算）的分类，从而方便用户在不同场景下调用不同类型的算子（运算）。数学运算的分类PyToch总共为Tensor设计了六大类数学运算，分别是：1.逐点运算（Pointwise Ops）：指
2021-10-15 21:10:05
2276
原创 机器学习代码实用笔记整理，略乱，实用能看
#MACHINE LEARNING tips导入库1)设置读取数据时的最大最小pd.set_options(‘display.max_columns’,None)pd.set_options(‘display.max_rows’,None)1相关性分析price_numeric = data_train[numeric_features]correlation = price_numeric.corr()print(correlation[‘price’].cort_values(ascen
2021-06-22 15:42:41
242
原创 心跳信号分类预测
本次学习赛由天池与datawhale联合发起在此写写基本流程1.导入基本的库2数据读取导入，查看数据格式以及特征，此次的特征heartbeat_signals未进行分割，需要对数据进行分割处理3划分训练集与测试集用于模型训练4定义训练模型与评分函数5进行模型训练，并将结果进行保存6提交结果上述如果对各个名词都理解的话，按部就班就能完成了...
2021-03-16 23:49:01
280
原创 网络模型结构与发展
模型 FCN 、SegNet、Unet、DeepLab、RefineNet、PSPNet、GAN语义分割语义分割（全像素语义分割）作为经典的计算机视觉任务（图像分类，物体识别检测，语义分割）。其结合了图像分类、目标检测和图像分割，通过一定的方法将图像分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，实现从底层到高层的语义推理过程，最终得到一幅具有逐像素语义标注的分割图像。基于全卷积的GAN语义分割模型生成对抗网络模型（Generative Adversarial Nets，GAN）同时训
2021-02-26 23:39:02
205
原创 图像数据扩增方法
数据扩增的方法opencv 数据扩增albumentations数据扩增数据扩增的目的：有效增加样本的语义空间，增加数据集中样本的数据量数据扩增的分类标签不变的数据扩增方法标签改编的数据扩增方法常见的数据扩增方法都会改变数据的标签opencv进行数据扩增首先读取原始图片img = cv2.imread(train_mask[‘name’].iloc[0])mask = rle_decode(train_mask[‘mask’].iloc[0])plt.figure(fi
2021-02-23 22:45:01
1149
原创 在自己电脑上寻找糖尿病数据集（无需下载）
环境：使用anaconda并且安装了sklearn首先找到anaconda所在位置路径如下这两个压缩包就是需要的糖尿病数据集了
2021-02-23 11:25:52
1234
原创 语义分割地表建筑检测
赛题要求：将卫星遥感图片中的建筑物进行白色标注赛题数据来源（Inria Aerial Image Labeling），并进行拆分处理。数据集报名后可见并可下载。赛题数据为航拍图，需要参赛选手识别图片中的地表建筑具体像素位置。train_mask.csv：存储图片的标注的rle编码；train和test文件夹：存储训练集和测试集图片；...
2021-02-21 00:23:27
196
原创 批量修改文件中的图片名称
=import osimport repath = r"G:\总PS文件处理\图片名称提取\挑选的图像"fileList = os.listdir(path) # 待修改文件夹os.chdir(path) # 将当前工作目录修改为待修改文件夹的位置for fileName in fileList: # 遍历文件夹中所有文件 pat = ".+\.(png)" # 匹配文件名正则表达式 pattern = re.findall(pat, fileName) # 进行匹配
2020-10-01 10:20:48
302
1
原创 模型融合
模型融合是比赛后期上分的重要手段，特别是多人组队学习的比赛中，将不同队友的模型进行融合，可能会收获 意想不到的效果。往往模型相差越大且模型表现都不错的前提下，模型融合后结果会有大幅提升，以下是模型 融合的方式。平均：a. 简单平均法b. 加权平均法投票：a. 简单投票法b. 加权投票法3 . 综合：a. 排序融合b. log融合stacking:a. 构建多层模型，并利用预测结果再拟合预测。blending：a. 选取部分数据预测训练得到预测结果作为新特征，带入
2020-09-27 21:30:00
463
原创 建模与调参
相关模型优缺点逻辑回归 ：优点a. 训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；b. 简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响；c. 适合二分类问题，不需要缩放输入特征；d. 内存资源占用小，只需要存储各个维度的特征值；缺点a. 逻辑回归需要预先处理缺失值和异常值【可参考task3特征工程】；b. 不能用Logistic回归去解决非线性问题，因为Logistic的决策面是线性的；c. 对多重共线性数据较为敏感，且很难处理数据不平衡的问题；d. 准确
2020-09-24 23:26:53
207
原创 金融风控TASK3特征工程
学习目标学习特征预处理、缺失值、异常值处理、数据分桶等特征处理方法学习特征交互、编码、选择的相应方法数据预处理常见方法缺失值的填充： 时间格式处理 对象类型特征转换到数值异常值处理： 基于3segama原则 基于箱型图数据分箱： 固定宽度分箱b 分位数分箱离散数值型数据分箱连续数值型数据分箱特征交互a. 特征和特征之间组合b. 特征和特征之间衍生c. 其他特征衍生的尝试特征编码a. one-hot编码b. label-encode编码6. 特征选择a.1 Filterb.
2020-09-21 22:48:17
149
原创 金融风控 探索性数据分析
干货放前面常常存在数据维度过大而用data.head()时候会有列中存在省略号的情况此次金融风控可能无法直接看到n1到n14的所有信息，可用下面解决#1最大展示60列 pd.set_option('display.max_columns',60) #最大展示60行 pd.set_option('display.max_row',160) 目的：1. 1.EDA价值主要在于熟悉了解整个数据集的基本情况（缺失值，异常值），对数据集进行验证是否可以进行接 下来的机器学习或者深度学习建模.2. 2.了解变量间
2020-09-18 20:56:51
235
原创 金融风控赛题理解
要求：根据已知的80万条训练集训练，训练模型预测未知的20万条数据预测指标：竞赛采用AUC为评价指标，ROC曲线下与坐标轴围成的面积分类算发常见的评价指标：1.混淆矩阵：真正类TP假负类FN假正类FP真负类TN2准确率：AccuracyTP+TN/TP+TN+FP+FN3精确率：Precision；TP/TP+FN4召回率：RecallTP/TP+FN…数据读取import pandas as pdtrain=pd.read_csv(‘金融风控/train.csv’)
2020-09-15 12:35:35
252
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人