qq_29380039的博客

原创 Datawhale AI夏令营第五期CV方向-城市管理违规行为智能识别-Task1

123。

原创 【秋招基础知识】轻量化：MobileNetv123和ShuffleNet

MobileNet v1就是把,还有一个不同是采用的是ReLU6，在x为6的时候有一个边界上限，论文中提到说这样“可以在低精度计算下具有更强的鲁棒性”。

原创 【秋招基础知识】【4】常见聚类算法

谱聚类的思想来源于图论，它把待聚类的数据集中的每一个样本看做是图中一个顶点，这些顶点连接在一起，连接的这些边上有权重，权重的大小表示这些样本之间的相似程度。同一类的顶点它们的相似程度很高，在图论中体现为同一类的顶点中连接它们的边的权重很大，不在同一类的顶点连接它们的边的权重很小。(1)如果最终聚类的维度非常高，则由于降维的幅度不够，谱聚类的运行速度和最后的聚类效果均不好。(4)只能聚凸(集合中的两个点，连线上的任意一点也在该集合内，即类似球形)的数据集。(3)计算每个簇的平均特征更新K个簇的中心。...

原创 【秋招基础知识】【3】机器学习常见判别模型和生成模型

使用松弛变量来处理噪声。将低维空间线性不可分问题转化为高维空间线性可分问题。

原创 【秋招基础知识】【2】笔试笔记

监督学习可划分为判别式模型和生成式模型。简单地说，判别式模型是针对条件分布建模，而生成式模型则针对联合分布进行建模。换句话说，二者目的都是在使后验概率最大化，判别式是直接对后验概率建模，但是生成模型通过贝叶斯定理这一“桥梁”使问题转化为求联合概率。给定训练数据(X,Y)，X为特征集合，Y为类别标签，对于想要预测的一个样本x，我们要预测它的类别y，通过求得最大的条件概率P(y|x)作为x的预测类别。判别式模型得到P(y|x)方法生成式模型得到P(y|x)方法常见判别模型举个例子四个样本。...........

原创 【秋招基础知识】【1】特征降维方法 PCA+LDA

LDA是一种有监督降维方法，它的目标是同一组内方差尽可能小，组间方差尽可能地大。

原创 【ACWING】【3】双指针+位运算+合并区间

核心本质使用双指针优化时间复杂度为On。对撞双指针快速排序、反转字符串同向双指针颠倒字符串中的单词位于不同数组的双指针归并排序快慢双指针环状链表滑动窗口连续子数组类题目。

原创 【ACWING】【2】前缀和+差分

intsumRegion(introw1,intcol1,introw2,intcol2)返回左上角(row1,col1)、右下角(row2,col2)所描述的子矩阵的元素总和。计算其子矩形范围内元素的总和，该子矩阵的左上角为(row1,col1)，右下角为(row2,col2)。前缀和为前边所有元素的和，通过两个前缀和相减，可以得到任意连续子数组的和。前缀和的长度比数组大1，为了保证最后一个索引也拥有前缀和。......

原创 【ACWING】【1】排序(快速+归并)+二分(整数二分+浮点二分)

最优Onlogn，最坏On2不稳定，相同元素相对次序可能发生改变，将xi变为[xi，i]进行排序就可变为稳定选择一个数作为anchor，按照比anchor大小划分为左右两部分，再在左右两部分内再选anchor细分，直到只剩一个元素(即lr指针相等)。...............

原创 【秋招编程题记录】【1】7.16蔚来笔试+7.17Leetcode周赛笔记

从1到n遍历第二个客栈，记录遍历过程中的最低消费小等于p的最近的客栈（咖啡馆）now，如果now位于色调最后一次出现之后，则之前的同色调都可以作为第一家客栈，更新tot[color]，更新anscntlast为下次遍历做准备。晚上，他们打算选择一家咖啡店喝咖啡，要求咖啡店位于两人住的两家客栈之间（包括他们住的客栈），且咖啡店的最低消费不超过p。维护lastcnt和tot数组，last记录色调c的最后一次出现的索引，cnt统计之前色调color出现的次数，tot统计色调c的第一家客栈的方案。...

原创 Leecode第二章链表

原创 2021-08-18

记录2.1 2.2中几个重要的点。1. Self-Attention 整体理解别被“Self-Attention”这么高大上的词给唬住了，乍一听好像每个人都应该对这个词熟悉一样。但我在读论文《Attention is All You Need》 之前就没有听过这个词。下面来分析 Self-Attention 的具体机制。假设我们想要翻译的句子是：The animal didn't cross the street because it was too tired这个句子中的 it 是一个指代词，

原创 吃瓜教程第四章神经网络

原创 吃瓜笔记第四章

原创 西瓜书第三章笔记

原创 机器学习西瓜书学习笔记1-2章

文章目录1. 关于人工智能、机器学习与深度学习的浅薄理解（序言）2. 机器学习的学习过程理解（P5第二段）3.关于机器学习中P问题和NP问题的理解（2.1 P23 最后一段）4. 关于混沌矩阵和PR曲线的理解（2.3.2P30）本学习笔记只对阅读过程中产生的一些感悟进行记录。1. 关于人工智能、机器学习与深度学习的浅薄理解（序言）人工智能：让事物具有人类的智慧。机器学习：人工智能中的事物为计算机的那一部分。深度学习：机器学习在当前阶段的表现。机器学习最初为符号学习，在概率统计理论的提出下发生转变，

原创 Rethinking the Distribution Gap of Person Re-identication with Camera-based Batch Normalization论文笔记

文章目录1. 摘要2. 基础知识BN层(Batch Normalization)3. 方法3.1 CBNCBN在ReID的应用4. 效果5. 实现细节1. 摘要所解决的问题:行人重识别一大难点就是难以处理多摄像头下特征的差异问题。创新点：提出基于摄像头的BN层(Camera-based Batch Normalization), 通过计算每一个摄像头下图像的均值和方差来分别对各个摄像头下的图像特征进行标准化，从而消除不同摄像头下的域差异。2. 基础知识BN层(Batch Normalization

原创 机器学习笔记(二)

文章目录2.1 使用sklearn构建完整的回归项目(1) 收集数据集并选择合适的特征：(2) 选择度量模型性能的指标：(3) 选择具体的模型并进行训练**线性回归模型****线性回归的推广****回归树：**支持向量机回归(SVR)# 引入相关科学计算包import numpy as np # 矩阵库import pandas as pd # dataframe库(表格)import matplotlib.pyplot as plt # 画图库%matplotlib inline

原创 机器学习笔记(一)

目录1.导论1.1 回归1.2 分类1.3 无监督学习1.导论机器学习的一个重要的目标就是利用数学模型来理解数据，发现数据中的规律，用作数据的分析和预测。数据集单个样本的数据为xi=(xi1,xi2,...,xip,yi)x_i=(x_{i1},x_{i2},...,x_{ip},y_i)xi​=(xi1​,xi2​,...,xip​,yi​) ，其中前p维为特征，p+1维为标签/因变量。N个样本的数据构成矩阵（N行p+1列）[x11x12x13...x1py1x21x22x23...x2py2

原创 全球人工智能技术创新大赛之布匹疵点智能识别 task1

文章目录1. Docker介绍2. Windows环境(本地端)下Docker环境配置3. Linux环境(服务器端)下Docker环境配置1. Docker介绍2. Windows环境(本地端)下Docker环境配置3. Linux环境(服务器端)下Docker环境配置

原创 目标检测训练营task2

文章目录一、锚框&先验框1.1 先验框的概念1.2 先验框的生成一、锚框&先验框1.1 先验框的概念目标检测最初的解决方案需要遍历图片上每一个可能的目标框，再对这些框进行分类和微调，就可以完成目标检测任务。接下来需要介绍3个概念：设置不同尺度的先验框先验框与特征图的对应先验框类别信息的确定设置不同尺度的先验框由于目标的尺寸大小不确定，故对于图中的同一个位置，需要设定几个不同尺度和长宽比的先验框，从而能够更好地匹配目标形状的大部分情况。先验框与特征图的对应倘若直接对

原创 目标检测训练营task1

文章目录一、目标检测基本概念1.1 目标检测1.2 目标检测的思路1.3 目标框定义方法1.4 交并比(IoU)二、目标检测数据集VOC2.1 ＶＯＣ数据集简介一、目标检测基本概念1.1 目标检测目标检测是计算机视觉中的一个重要方向。当前计算机视觉领域通常都采用深度学习来达到目标。相较于基于深度学习的图像分类任务，目标检测任务更具难度。任务描述图像分类任务对图像进行分类，确认图像的类别目标检测任务除了要识别出图像中目标的类别之外，还要求对目标进行精确定位，并用外接矩形框

原创 [CVPR2019]Interaction-and-Aggregation Network for Person Re-identification论文笔记

文章目录1. 摘要2. 方法2.1 SIA2.2 CIA2.3 IA block3. 实验结果1. 摘要该论文方向为有监督行人重识别。当前ReID任务有一些比较大的挑战，最主要的为行人姿态和范围变化大和背景杂波。这会导致不同行人图像中的身体没办法对齐。当前其他论文的解决方法有定位身体部分并提取特征（基于姿态，基于注意力机制等）和进行多层次多尺度的特征融合。但这两种方法不够有效，因为1）CNN网络的结构皆为矩形不符合人体结构。2）单层CNN的所有激活单元的感受野相同会导致小尺度物体特征的丢失。该论文提

原创 [CVPR2019]Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification论文笔记

文章目录1. 摘要2. 方法2.1 算法总体框架2.2 Patch Generation Network（补丁生成网络）2.3 Patch-based Discriminative Feature Learning（局部特征度量学习PEDAL）2.3 Image-level Patch Feature Learning（总特征度量学习IPFL）2.4 总损失函数3. 实验结果1. 摘要局部特征在有监督ReID应用极其有效，但是由于目标域缺少标签，导致局部特征在无监督领域并不能发挥性能。该论文提出一个网

原创 numpy训练营task1

文章目录一、数据类型以及数组的创建1.1 数据类型1.1.1 常量1.1.2常见数据类型1.1.3 创建数据类型1.2 时间日期和时间增量1.3 数组的创建1.4.1 依据现有数据来创建 ndarray1.4.2 依据 ones 和 zeros 填充方式1.4.3 利用数值范围来创建ndarray1.4 结构数组的创建1.5 数组的属性一、数据类型以及数组的创建1.1 数据类型1.1.1 常量numpy.nan表示空值。nan = NaN = NAN【例】两个numpy.nan是不相

原创 Linux常用命令

Linux常用命令（自用）1.切换路径进入folder2文件夹cd /data3/folder1/folder22.删除删除文件有提示地删除文件rm -i /data3/test.py # -i表示有提示是否删除无提示强行删除文件rm -f /data3/test.py # -f表示强制删除无提示删除文件夹无提示强行删除文件夹folder2rm -rf /data3/folder1/folder2 # -r表示向下遍历3.复制复制文件将dir1目录下的test.

原创 天池竞赛-金融风控-task2数据分析

文章目录一、总体数据情况1.1 数据总体了解1.2 缺失值和唯一值二、变量间关系分析2.1 查看数据类型2.2 数据间相关关系三、进行特征工程前的准备3.1 数据报告一、总体数据情况1.1 数据总体了解1.2 缺失值和唯一值二、变量间关系分析2.1 查看数据类型2.2 数据间相关关系三、进行特征工程前的准备3.1 数据报告...

原创 天池竞赛-金融风控-task1

文章目录一、赛题理解评估指标代码示例一、赛题理解赛题以预测用户贷款是否违约为任务，数据集报名后可见并可下载，该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、purpose、postCode和title等信息进行脱敏。字段表FieldDescriptionid为贷款清单分配的唯一信用证标识l

原创 科研论文阅读

一、阅读论文步骤读摘要(abstract)和结论(Conclusion)读摘要能够迅速了解这篇文章的结构。摘要中包含着这篇文章的精华：背景、方法、结果(实验所得出的客观性能指标)、结论(通过结果所得出的主观结论)。首先阅读背景和结论，再看方法和结果。读结论是为了带着问题去读文章。先带着作者通过哪些结果来得出了这个结论这一问题来有目的地读文章。读引言(Introduction)和图表图注(Figures & Tables)引言中包括课题背景介绍、课题开展的原因(以前研究有啥缺陷，作者所提出

原创 DataWhale_数据分析训练营task5（第三章模型建立与评估）

文章目录第三章 模型搭建和评估3.1 模型搭建和评估--建模模型搭建任务一：切割训练集和测试集任务二：模型创建任务三：输出模型预测结果3.2 模型搭建和评估-评估模型评估任务一：交叉验证任务二：混淆矩阵任务三：ROC曲线第三章 模型搭建和评估3.1 模型搭建和评估–建模经过前面的两章的知识点的学习，我可以对数数据的本身进行处理，比如数据本身的增删查补，还可以做必要的清洗工作。那么下面我们就要开始使用我们前面处理好的数据了。这一章我们要做的就是使用数据，我们做数据分析的目的也就是，运用我们的数据以及结合

原创 DataWhale_数据分析训练营task4（第二章part3数据可视化）

复习 回顾学习完第一章，我们对泰坦尼克号数据有了基本的了解，也学到了一些基本的统计方法，第二章中我们学习了数据的清理和重构，使得数据更加的易于理解；今天我们要学习的是第二章第三节：数据可视化，主要给大家介绍一下Python数据可视化库Matplotlib，在本章学习中，你也许会觉得数据很有趣。在打比赛的过程中，数据可视化可以让我们更好的看到每一个关键步骤的结果如何，可以用来优化方案，是一个很有用的技巧。2 第二章：数据可视化开始之前，导入numpy、pandas以及matplotlib包和数据# 加载

原创 Pycharm日常使用设置

文章目录1.更改字体2.更改各种不同元素颜色3.关闭未使用变量暗色（黑色主题看不清）1.更改字体File->Setting->Editor->Color Scheme->Color Scheme Font2.更改各种不同元素颜色File->Setting->Editor->Color Scheme->Python3.关闭未使用变量暗色（黑色主题看不清）File->Setting->Editor->Inspections->P

原创 DataWhale_数据分析训练营task3（第二章part2数据重构）

文章目录开始之前，导入numpy、pandas包和数据第二章part2：数据重构2.4 数据的合并2.4.1 任务一：将data文件夹里面的所有数据都载入，观察数据的之间的关系2.4.2：任务二：使用concat方法：将数据train-left-up.csv和train-right-up.csv横向合并为一张表，并保存这张表为result_up2.4.3 任务三：使用concat方法：将train-left-down和train-right-down横向合并为一张表，并保存这张表为result_down。然

原创 GAN造图MINST手写数字

文章目录1.生成对抗网络介绍2.代码讲解2.1 导入库文件、设定维度和批次2.2 载入数据集2.3 定义鉴别网络2.4 生成网络2.5 定义网络实例、优化器和损失函数2.6 网络训练过程2.7 保存模型2.8 训练结果图1.生成对抗网络介绍生成对抗网络GAN（Generate Adversarial Network）包含两个部分，生成网络和对抗网络。生成网络（generator）：给定一个简单的高维的正态分布的噪声向量，通过生成网络的WX+b和卷积池化等操作将其变为一个与输入的真实图片大小相同的矩阵

原创 DataWhale_数据分析训练营task2（第二章part1数据清洗与特征处理）

文章目录第二章part1：数据清洗及特征处理开始之前，导入numpy、pandas包和数据2.1 缺失值观察与处理2.1.1 任务一：缺失值观察2.1.2 任务二：对缺失值进行处理(对df做的处理只要inplace=False就不会改变df)2.2 重复值观察与处理2.2.1 任务一：请查看数据中的重复值2.2.2 任务二：对重复值进行处理2.2.3 任务三：将前面清洗的数据保存为csv格式2.3 特征观察与处理2.3.1 任务一：对年龄进行分箱（离散化）处理2.3.2 任务二：对文本变量进行转换2.3.3

原创 DataWhale_数据分析训练营task1（第一章）

文章目录第一章 初识pandas第一章part1：数据载入及初步观察1.1 载入数据1.1.1 任务一：导入numpy和pandas1.1.2 任务二：载入数据1.1.3 任务三：每1000行为一个数据模块，逐块读取1.1.4 任务四：将表头改成中文，索引改为乘客ID [对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据]1.2 初步观察1.2.1 任务一：查看数据的基本信息1.2.2 任务二：观察表格前10行的数据和后15行的数据1.2.4 任务三：判断数据是否为空，为空的地方返回True，其余地

原创 词向量（Word Embedding）和单词预测（Word Prediction）

文章目录一、词变量二、单词预测一、词变量为什么要引入词变量？在分类问题中，采用的编码为one-hot编码，例如总共有五类，属于第二类的标签为（0,1,0,0,0）。但是在一篇文章中，单词的个数有成千上万个，倘若还是用one-hot编码，会消耗过多计算资源。词变量：将单词转化为一个n维向量。根据单词的数量使用torch.nn.Embedding(num_embeddings: int, embedding_dim: int建立num_embeddings个词向量，每个词向量的维度为embeddin

原创 循环神经网络RNN和长短期记忆网络LSTM学习笔记

文章目录一、RNN二、LSTM一、RNN首先思考一个问题，为什么需要RNN？神经网络只能处理孤立的的输入，每一个输入之间是没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的，例如音频、视频、句子等。RNN较神经网络的不同是它将上一时刻的输出作为输入一起传入网络中，从而将输入联系起来。序列依次进入网络中，之前进入序列的数据会保存信息而对后面的数据产生影响。图中X0X1…Xn不是同一时刻输入网络的，图中代表的是时间维度，实际上整个网络只有一个A单元，例如t=

原创 行人重识别深度学习踩坑笔记

1.enumerate(dataloader）报错：train函数中在for循环中进行enumerate（dataloader）时报错Traceback (most recent call last): File "G:/行人重识别学习/try/train_class.py", line 245, in <module> main() File "G:/行人重识别学习/try/train_class.py", line 228, in main train(epoc

原创 DataWhale_python训练营task9

文章目录一、任务大纲二、文件与文件系统2.1 文件与文件系统2.2 OS 模块中关于文件/目录常用的函数2.3 序列化和反序列化2.4 练习题：一、任务大纲Task12： 文件与文件系统(1天)理论部分掌握打开文件的open函数,熟练文件对象的操作方法与with语句使用方法掌握OS模块关于文件/目录常用的函数了解python的序列化与反序列化，熟悉pickle模块练习部分课后思考题编程实践二、文件与文件系统2.1 文件与文件系统打开文件（创建一个文件对象）open(file,