- 博客(239)
- 资源 (12)
- 收藏
- 关注
RSS订阅
原创 个人资料收集
深度学习该博客整理了深度学习各方面的论文，特别是检测，总结比较完整https://handong1587.github.io/categories.html
2019-03-09 22:57:44
477
9
原创 LLM 量化 cache管理
然而，当遇到动态插入情况时，如下图图2，Q4结束了，Q6插入，但这时Q4的max值还在cache max值中，这里有一个解决版本，保存per batch 的max，当某个batch 结束了，置空该值，然后在送入attention算子之前提前更新per cache max值**（计算量 batch）**常见的静态量化为：per channel，百度采用per head量化，（seqlen， head_num, head_dim）在head_num维度做量化。常见的LLM大模型激活类型：fp16，bfp16。
2025-03-20 20:06:16
383
原创 大模型优化方法记录
原理&图解vLLM Automatic Prefix Cache(RadixAttention): 首Token时延优化(https://zhuanlan.zhihu.com/p/693556044)AI推理计算框架中的内存优化
2024-12-13 16:08:23
293
原创 Fiddler手机抓包
Fiddler手机抓包连不上网问题解决防火墙开放端口https://blog.youkuaiyun.com/zcyuefan/article/details/85260828
2021-02-15 13:33:54
335
原创 深度学习学习计划
基础掌握：李飞飞的课程：主要用于了解深度学习基本知识https://www.bilibili.com/video/av58778425?from=search&seid=6323412560570173567李沐大神的课：属于更细化的课程，如果学完了李飞飞还是不了解或者想仔细的了解其中的原理可以看，建议用pytorchhttps://www.bilibili.com/video/...
2019-11-14 17:58:41
1163
原创 海康实习(总结）
终于签约了，结果挺好的算了一下，大概已经入职8个月了，感谢所有。实习面试其实挺简单的，2月份的时候面的，先上来考两道算法题，题目很简单，但我没全AC，第一个爬楼梯90%，第二个忘了，然后就安排了面试，面试的老大很好，挺好的，问了一下做的项目，对什么熟悉，然后稍微讲下检测网络，然后就跟hr谈了，总的来说，海康实习还是挺好进的。工作体会在海康工作，我感受的最大一点就是能和老大们真正沟通交流，...
2019-09-21 16:55:17
4892
4
原创 网易互娱游戏研发岗准备
历史经验作者：失去梦想的菜鸡链接：https://www.nowcoder.com/discuss/107050?type=post&order=time&pos=&page=1来源：牛客网今天早晨收到了网易互娱的 Offer，发个面经回馈一下牛客。先说一下整个经历，我是8月5号投的提前批，7号参加的笔试，20号收到电话说笔试通过，通知21号下午电话一面。一面完过...
2019-08-26 15:11:30
5537
原创 2019 商汤笔试-城市项目
#include <iostream>#include <algorithm>using namespace std;struct Node{ long long t; long long w;} node[1000100];bool cmp(Node a, Node b){ return a.t<b.t;}int m...
2019-08-19 21:19:56
1097
5
原创 7.11 腾讯实习生电面题目
面试题目好久不做类似于ACM这种脑力的编程题，脑子都锈了，今天感觉面的一塌糊涂，感觉要去刷题了，先定个小目标，把leetcode刷一刷leetcode题目。题目描述在一个二维数组中（每个一维数组的长度相同），每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数解题思路：其实就是设置个i,j值，...
2019-07-08 20:54:23
404
原创 天池比赛代码
import osimport cv2from PIL import Imageimport numpy as npimport matplotlib.pyplot as plt# import mmcvimport cv2import random#生成数据def gendata_pro(unit_sizes=[2048, 1024, 512], begin_ind=0, ...
2019-07-05 13:41:59
2185
3
原创 检测算法阶段性总结（1）
截止日期：2019.6.26当前的检测算法可谓是人才辈出，我菜只能仰望。当前主流的模式主要分为三大类单阶段：代表有SSD、YOLO，retinanet。多阶段的：代表有Faster-Rcnn，Cascade RCNN。基于点的：代表有FCOS，FSAF一、单阶段单阶段的始于YOLO，其主要思想是通过在最后的feature上取anchor来获取最终的检测结果。ssd对其进行改进...
2019-06-26 18:45:27
1058
原创 mmdetection(7): Region Proposal by Guided Anchoring
这篇文章解决了anchor手动生成的问题，其想法也很简单，在最近的论文中，产生了一种类似利用分割图的思想，比如FSAF，很有意思这篇文章就是利用如上的思想，原始框架如上图所示，不过是把原来的RPN改为Guide anchoring，都是产生anchor和原始特征图。Faster-RCNN是根据anchor产生的，该文则是直接预测每个点是否是anchor中心点。如下图所示：对于每个...
2019-06-26 14:54:44
1577
转载 mmdetection(6):Gradient Harmonized Single-stage Detector
目标检测方法分为两大阵营，一类是以Faster RCNN为代表的两阶段检测的方法，一类是以SSD为代表的单阶段检测方法。两阶段方法在检测精度更出色，单阶段检测方法的Pipline则更简洁，速度更快，但是精度不如两阶段检测方法，一个原因是单阶段的检测方法受限于正负样本和简单困难样本的不均衡问题，导致训练效果不佳。为了解决这种不均衡的问题，有研究者提出了在线困难样本挖掘的方法(OHEM)，但是这个方法...
2019-06-22 18:31:13
975
原创 mmdetection(5)：GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond 理解
这篇文章让我很是疑惑，已经跑离作者的思路了，欧克，那我们先来看一下把， a模型是NL block ，即non-local ，我们前文讲过，意思就是通过操作 i 和 j 点的特征，来判断其是否应该相连，然后在乘加上 j 点的特征，最后得到 i 点卷积的结果。那wh*wh就表示相连关系啊。那我们来梳理一下啊，NL我们到底要个什么东西，很明显我们的要的是卷积的结果啊，而卷积的是 各个 j 点啊，类...
2019-06-22 17:49:47
4390
3
原创 mmdetection(4)：An Empirical Study of Spatial Attention Mechanisms in Deep Networks
你以为的attention机制只有m(2）和m（3）吗？ 年轻；mmdetection(2)： DeformableConvNets(DCN)mmdetection(3)：Non-local Neural Networksok， 我们来分析一下，m（2）是啥，可变卷积，怎么搞的，增加偏移量啊。好，这是根据位置关系来确定attention。然后的m（3）呢。根据的使两个点的特征，这是根据特...
2019-06-22 16:32:53
3875
4
原创 mmdetection(3)：Non-local Neural Networks
这是篇很有意思的文章，为什么呢，我们来分析一下，CNN是固定尺寸，大小，位置的卷积操作，但是很多情况下，图像的信息并不是固定尺寸的，然后dcn提出了，参见下文。https://blog.youkuaiyun.com/u014119694/article/details/93210130咋搞的呢，就是增加偏移量啊，我还是3x3的卷积，但是取不同位置，给他增加个偏移，是不是就很优秀啊，nonono，有更简单...
2019-06-22 16:00:18
852
原创 mmdetection(2)： DeformableConvNets(DCN)
先来点干货，基于pytorch的代码： https://github.com/4uiiurz1DCN可以说是打破了传统的CNN，那到底是怎么搞的呢v1： https://arxiv.org/abs/1703.06211既然原始的只能提取特定区域，那我们给其加上个位移不就ok了那位移应该怎么加呢，简单啊，每个kernel不是3x3吗（常见），那就在添加9个位移变量，分别对应3x3的每个权重...
2019-06-21 17:55:23
7605
8
原创 mmdetection(1) : FCOS 代码解析
原文我就不贴了，说一下感受吧！从检测方法出来，自我感觉一直不协调，现有的方法如fast系列一直比较复杂，强大的神经网络应该是简单高效的，one-stage从yolo出来后感觉好了很多，但是在最后的map上做roi anchor一直感觉特别冗余，还好corner出来了，但其也存在的问题，不同的pool结构，还有总感觉这种方式怪怪的。然后FCOS出来了，完全感受到了高效和简单，在此膜拜一下大神，感...
2019-04-04 10:59:22
11236
8
原创 分割算法总结
一直对分割算法止于耳闻，未细细思嚼。今天趁周末来一下吧：文章目录一、Semantic segmentation1. FCN2. SegNet3. U-Net4. DilatedNet5. deeplab6. RefineNet7. PSPNet8. PSPNet二、Panoptic Segmentation二、Instance Segmentation一、Semantic segmenta...
2019-03-31 21:53:10
1003
原创 阅读论文汇总
一、 检测方向1. 文本检测PSENet：Shape Robust Text Detection with Progressive Scale ExpansionNetwork参考： https://blog.youkuaiyun.com/weixin_43624538/article/details/88630494文章提出了渐进尺度扩展算法来解决文本间间隔的问题，主要结构如下所示：通过渐...
2019-03-25 00:18:40
452
1
原创 FSAF
FeatureSelectiveAnchor-FreeModuleforSingle-ShotObjectDetection提出了一种简单有效的单镜头目标探测器的特征选择无锚(FSAF)模块。它可以插入具有特征金字塔结构的单热探测器。FSAF模块解决了传统基于锚点检测的两个局限性1)启发式引导特征选择;2overlap-based锚抽样。在培训过程中，我们动态地将每个实例分配到最合适的特性级别...
2019-03-12 20:39:17
9692
4
转载 SNIP
from： https://blog.youkuaiyun.com/Gentleman_Qin/article/details/84789249 论文名称：《 An Analysis of Scale Invariance in Object Detection – SNIP 》论文下载：https://arxiv.org/abs/1711.08189论文代码：...
2019-03-12 20:16:30
1075
转载 IOU-net
from: https://blog.youkuaiyun.com/u014380165/article/details/82025507论文：Acquisition of Localization Confidence for Accurate Object Detection 论文链接：https://arxiv.org/abs/1807.11590这篇ECCV2018的文章个人非常喜欢，我们知道在...
2019-03-12 19:57:28
467
转载 M2Det
From: https://blog.youkuaiyun.com/sinat_37532065/article/details/87385302Single-shot目标检测新模型，使用multi-level特征。作者机构：Qijie Zhao等，北京大学&阿里达摩院文章标题：《M2Det: A Single-Shot Object Detector based on Multi-Level ...
2019-03-12 19:47:38
2622
转载 RefineDet
论文：Single-Shot Refinement Neural Network for Object Detection 论文链接：https://arxiv.org/abs/1711.06897 代码链接：https://github.com/sfzhang15/RefineDet对于目标检测网络，two-stages 精度高，one-stage速度快。 two-stages 第一...
2019-03-12 19:43:09
481
转载 mask rcnn
from: https://blog.youkuaiyun.com/yeler082/article/details/79979265论文地址：Mask R-CNN论文源码：R-CNNCaffe版本：rbgirshick/rcnnFast R-CNNCaffe版本： rbgirshick/fast-rcnn Faster R-CNNCaffe版本: https://github.com/rbgirshick...
2019-03-12 19:35:28
961
转载 DSSD
From :https://blog.youkuaiyun.com/m0_37717568/article/details/70765691 《DSSD : Deconvolutional Single Shot Detector》[1] 2017年发表在CVPR上。 前身是《SSD: Single Shot MultiBox Detecto...
2019-03-12 19:31:25
1533
原创 RetinaNet翻译+解析
from：https://blog.youkuaiyun.com/wwwhp/article/details/83317738paper：Focal Loss for Dense Object Detectionlink：RetinaNet引言目前精度最高的目标检测器都是基于R-CNN结构衍生出来的two-stage目标检测方法，相反one-stage的探测器应用于目标可能位置的密集采样中，具有更快...
2019-03-12 19:27:24
3700
转载 FPN
文章作者：Tyan 博客：noahsnail.com | 优快云 | 简书声明：作者翻译论文仅为学习，如有侵权请联系作者删除博文，谢谢！翻译论文汇总：https://github.com/SnailTyan/deep-learning-papers-translationFeature Pyramid Networks for Object...
2019-03-12 19:16:15
3442
转载 yolo3
yolo系列介绍好文章httpswwwcnblogscommakefilepyolov3html">yolo系列介绍好文章：https://www.cnblogs.com/makefile/p/YOLOv3.htmlYOLOv3: An Incremental Improvement(一项渐进式的更新) ...
2019-03-12 19:10:55
2326
转载 yolo2
论文：YOLO9000:Better, Faster, StrongerAbstract们介绍YOLO9000，一个最先进的，实时目标检测系统，可以检测超过9000个目标类别。首先，我们提出对YOLO检测方法的各种改进方法，包括新颖的和从以前的工作中得出的。改进的模型YOLOv2在如PASCAL VOC和COCO标准检测任务是最先进的。使用一种新...
2019-03-12 19:02:24
394
转载 R-FCN
难点转自： https://blog.youkuaiyun.com/qq_30622831/article/details/81455550https://blog.youkuaiyun.com/qq_30622831/article/details/81459407理解难点：R-FCN结构的优点R-FCN要解决的根本问题是Faster R-CNN检测速度慢的问题，速度慢是因为ROI层后的结构对不同的propos...
2019-03-12 18:32:51
398
转载 SSD
From ：https://blog.youkuaiyun.com/wfei101/article/details/79888594注意：如需编译配置SSD-caffe请参看博主博文：http://blog.youkuaiyun.com/xunan003/article/details/78427446SSD: Single Shot MultiBoxDetector Wei Liu1 , Drag...
2019-03-12 16:56:34
710
转载 MPN
论文地址Introduce本篇论文是Facebook AI的工作，作者改进了目标检测的方法，在COCO数据集上进行实验，相比Seletive Search方法的fast R-CNN，将实验效果进一步提升了66%，在小物体上提高了4倍。作者的改进主要在以下三点：使用skip connections 融合多层的信息。使用foveal structure 考虑物体的上下文信息。使用integ...
2019-03-12 16:51:19
1382
转载 CRAFT
CRAFT Objects from Imagesintro: CVPR 2016. Cascade Region-proposal-network And FasT-rcnn. an extension of Faster R-CNN project page: http://byangderek.github.io/projects/craft.html arxiv: ...
2019-03-12 16:44:53
689
转载 HyperNet
Towards Accurate Region Proposal Generation and Joint Object Detection原文： https://blog.youkuaiyun.com/u012905422/article/details/52614192提出的HyperNet网络基于设计的Hyper特征，这种特征主要先集合分等级的特征图，然后将其压缩到一个空间。这种Hyper特征同时具...
2019-03-12 16:32:51
2238
1
原创 Inside-OutsideNet
Inside-OutsideNet: DetectingObjectsinContextwithSkipPoolingand RecurrentNeuralNetworks思路清楚，select search 方法提取候选框，然后提取不同层的信息，特别注意的是最后一层之前用RCNN提取上下文信息。众所周知，语境和多尺度表征对于准确的视觉识别非常重要。本文介绍了一种利用感兴趣区域内外信息的内-外...
2019-03-12 16:26:38
2722
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人