- 博客(148)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 如何更好的使用cpm
用https访问git有个缺点，当repo比较大，或者网络不好的时候，其实会遇到各种原因的EoF问题，导致thirdparty的package抓不下来，即便设置很多git global config相关的参数也不行。在vim中操作：0,$s/https:\/\/github\.com\//git@github\:/https访问地址：https://github.com/google/benchmark.git。路径：rapids-cmake/rapids-cmake/cpm/
2024-04-30 16:29:54
635
1
原创 c++野指针如何处理？
野指针指向一个已删除的对象或未申请访问受限内存区域的指针。与空指针不同，野指针无法通过简单地判断是否为NULL避免，而只能通过养成良好的编程习惯来尽力减少，对野指针进行操作很容易造成程序错误。
2024-03-17 08:57:23
530
原创 能不能绕过c去学c++？
c不直接支持面向对象编程（只能用struct模拟），而c++是一种面向对象的编程语，c++通过类和对象的概念，提供了封装、继承和多态等特性，使得程序更易于组织、重用和维护。c基本是系统底层语言，一般系统底层开发用c（例如，linux桌面操作系统和嵌入式操作系统），它主要用stdio.h，stdlib.h，string.h等头文件。c++是在c的基础上发展而来的，因此它们有许多共同的基础，如变量、数据类型、运算符等。c++保持了对c的兼容性，可以使用c的代码，并且c++编译器可以编译c的代码。
2024-03-17 08:56:03
5005
6
原创 谁将是RAG的头部玩家？
混迹于检索领域也有多年，从2011年开始，先后经历过大小的检索相关项目：非线性编辑媒资库检索（图片检索+文本检索），字幕自动生成（语音识别+文本匹配检索），节目检索（图片检索+音频检索），搜剧（图片检索+视频处理），相册管理（图片识别检索+文本检索+视频分析）等项目，对end to end的流程及优化技术还算了解，对AI模型的ensemble使用及performence炼丹接触较多，后面针对RAG做一些粗浅的分析，欢迎指正和讨论，勿喷~。菩提修妙树，接引证法源，屠龙万仙阵，玉虚祭封神。
2024-03-16 07:49:16
1271
原创 transformer为何如此强大？
k和v是同一种事物的抽象表示，q是同一种或不同种的抽象表示，通过qk的相关性计算（attention score），得到v中真正核心有用的内容。transformer理论上能建模无限长序列，不像lstm或rnn（不能建模长序列，容易遗忘性），而且能够并行计算（lstm是有时序依赖的，不能并行计算），这是它强大的第二个原因。你可以理解为，v是你的本体，k是影分身，q是敌方忍者。transformer的mask机制，能挑选控制attention的位置和方向，从而进行效果或性能的优化，这是它强大的第三个原因。
2024-03-16 07:44:30
601
原创 为什么选用python开发web？
Tornado 具有完整的 Web 开发框架，是一个高效的网络库，提供了异步IO，超时事件处理等功能，提供了高效的 HTTPClient等服务器端框架，提供了基于异步框架的 HTTP 客户端。java和php在web开发领域积累较久，有丰富的web开发生态组件可以使用，性能稳定，扩展性强，这个是事实，从这方面来讲，在web开发领域，python的优势确实不明显，在应用的广泛性上与php和java存在一定的差距。目前，不少公司在用python做web开发，前司用python+flask做内容审核的后端。
2024-03-16 07:28:19
487
原创 谈谈对chatgpt的看法
ChatGPT还不是彻底的产品化（仍旧位居高成本，仍旧不够智能），虽然有各种融入产品的计划，但效果如何需要拭目以待。目前的自媒体宣传的比较浮夸，但其实ChatGPT的训练集仍旧比较不足，结果不像宣传的那样出众，并且有可能千篇一律。注重数据语料，目前国内互联网网民基数大，原始数据多，但如何标注及清洗，需要仔细考虑。结合自身领域，构建产品空间，借助ChatGPT，改变产品质量，切忌夸大。技术分析及可能的改进（性能+效果）我会在另外的帖子中拆解，敬请期待。注重产品化，注重持续投入，注重研究外的实战。
2024-03-14 14:02:02
864
原创 芯片架构设计及其作用
芯片设计，讲究一个软硬协同设计，如果不考虑软件或客户的使用方式，不从top down是看架构设计，那么，设计出来的芯片硬件大概率是烂尾楼，兼容性差，迁移性差，软件编程难用，过分注重单一计算或单一模型（性能泛化差），等等一系列问题和痛点。打个形象的比喻，芯片架构设计就像大楼施工前的图纸设计，各种事情（户型，地基，车位，绿化，布线，监控，采暖，上下水，采暖，空调，通风，电梯，安全，材料选取，成本等）都要考虑好，一经施工，无从更改，要么成为精品小区，要么成为烂尾楼。算力，和带宽一样，其实是一个重要的指标？
2024-03-14 13:59:47
2220
原创 pytorch中多stream加速应用
pytorch是eager mode，默认采用default stream执行所有的op和kernel，但是，有时候为了加速，需要考虑inter-op parallel，从而达到kernel concurrent execution的目的，提高gpu的利用率
2022-10-28 12:22:44
1715
原创 unauthorized: authentication required nvidia
当pull并build nvidia镜像的时候，会报错，原因是超时或者没授权，unauthorized: authentication required nvidia，解决方法如下：登录：https://ngc.nvidia.com/setup/api-key注册账户并登录账户，选择set up，点击Generate API Key， 在页面最下面生成Key， 复制下载并安装NGC...
2020-04-03 18:18:35
3735
原创 Ubuntu安装docker及nvidia-dockersudo apt-get update sudo apt-get install \ apt-transport-https \
1. 在安装nvidia-docker之前需要先安装docker，参考Ubuntu 安装 Docker CE1.1 使用 APT 安装sudo apt-get updatesudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ software-properties-c...
2020-03-31 12:58:14
1966
原创 import_meta_graph:KeyError, no InUse
I think this is a general problem with ops defined in the tf.contrib namespace, because they are lazily registered on the first use of any tf.contrib module. If you add the statement dir(tf.cont...
2020-02-06 19:34:49
608
原创 ubuntu 16.04安装vscode
1. 通过官方PPA安装Ubuntu make sudo add-apt-repository ppa:ubuntu-desktop/ubuntu-make sudo apt-get update sudo apt-get install ubuntu-make2. 使用命令安装visual studio code umake ide visual-stu...
2020-01-13 09:06:41
282
原创 AttributeError: 'module' object has no attribute 'AbstractModule'
当使用sonnet进行网络构建时，出现AttributeError: 'module' object has no attribute 'AbstractModule'，可以如下解决：pip uninstall sonnetpip install dm-sonnet另外一个错误，SystemError: Sonnet requires tensorflow_probability (m...
2019-12-30 14:21:19
516
原创 c++的右值引用具体用法
在c++11中，支持右值引用，右值引用的用处之一是移动语义，对象的资源所有权发生转移，在c++11之前，移动语义的缺失是c++饱受诟病的问题之一.什么是左值？什么是右值？凡有名者，皆为左值．左值对应变量的存储位置，右值对应变量的值本身，右值可以被赋值给左值，或者绑定到引用．右值引用的优点？类的右值是一个临时对象，如果没有被绑定到引用，在表达式结束时候，就会废弃，在右值被废弃之前，移...
2019-12-24 13:57:17
1211
原创 linux系统中，在anaconda2环境下，python2与python3共存？
有时，在anaconda中，项目需要python2与python3共存，安装过程如下：１．安装anaconda2:去清华的开源软件镜像站https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/，下载对应Anaconda版本，下载的时候注意系统位数，x86为32位，x86_64为64位。 安装命令：$ bash Anacond...
2019-11-27 16:19:07
755
原创 Learning to See in the Dark
在做图像低曝光增强时，Learning to See in the Dark这篇文章能够达到较好的效果，如下图，网络能够很好的展示文章的逻辑，文章的其他部分比较好理解，有不理解之处可以做探讨． 在网络中，为了节省上采样时间，作者用了pixel shuffle功能， depth_to_space函数，函数的意思比较抽象，难于理解，下面通过简单程序表明，网络最后的feature m...
2019-11-25 14:24:20
375
原创 python单斜杠和双斜杠运算符的区别
在python程序设计中，单斜杠运算符和双斜杠运算符都表示除法操作，但是含义不同．单斜杠：除法求商，不做下取整双斜杠：除法求商，下取整（floor）>>> 3.2/21.6>>> 3.2//21.0>>> 但是，在python2.x和python３.x中，单斜杠的结果是不同的：python2.x:>&...
2019-10-25 16:10:11
3868
原创 python图片傅立叶频谱图分析
在数字图像处理中，经常需要进行傅立叶变换，分析数字图像的频谱，用python简单方便，如下：import numpy as npimport matplotlib.pyplot as pltimport cv2import sysimg = cv2.imread('%s.png' % sys.argv[1],0)dft = cv2.dft(np.float32(img)...
2019-10-25 09:33:31
5289
原创 python中运算符*和**的作用－参数传递
**和*常常用于参数传递中的打包和解包，对函数传递的参数进行打包（打包成元组tuple或字典dictionary）和拆解（分解成单个元素），其中元组tuple的打包和解包使用单星号，字典dictionary的打包和拆解使用双星号１．打包打包就是将传递给函数的任意多个非关键字参数/关键字参数打包成一个元组或字典（元组只能接收非关键字参数，字典只能接收关键字参数）打包tuple...
2019-10-23 10:27:32
7961
原创 Dense Scene Information Estimation Network for Dehazing？
一. 论文信息简介(1)题目的含义：个人理解，这里的dense包含两层含义：a. 论文针对真实场景中浓雾(dense haze covered)进行去除，这是dense的第一层含义;b. 论文的feature network基于dense net，这是dense的第二层含义；(2)作者信息：本文是NTIRE（New Trends in Image Restorat...
2019-09-11 16:35:50
620
原创 opencv使用中的segmentation fault?
如题，当使用opencv发生段错误时，检查一下是不是同时安装了两个版本的opencv一般情况下，是opencv3.1引起的，建议统一使用opencv-2.4
2019-09-11 11:44:48
2000
原创 caffe中thread-safe问题解决
caffe并不是thread safe的，在使用深度学习框架部署的实践中，一定注意这个问题, 其他的框架如mxnet, tensorflow也是如此，那么如何解决caffe的这个问题？先明确一个线程的概念：1. boost::thread_specific_ptr什么是线程不安全呢？多个线程执行同一段代码或接口，如果代码或接口中含有共享的变量，那么会引起线程竞争，引发conflict...
2019-09-02 14:39:18
378
原创 一些常用STL函数总结，省事的函数
stl是好用的东西，这些函数，省掉你写for函数的麻烦，如下：累加 (std::accumulate)accumulate(begin, end, init, op)返回给定区间内元素的累加值与给定初值的和，初值不可省略可指定求和运算，默认为std::plusvector<int>vec = {1, 2, 3, 4};cout<<accumulate...
2019-08-29 10:59:00
597
原创 如何关闭caffe库中的LOG输出
在编译libcaffe.so的时候，在src/caffe/net.cpp Init函数进入的时候加入fLI::FLAGS_minloglevel=3;即可
2019-08-29 10:37:19
533
原创 如何在c++平台上部署pytorch模型？
pytorch接口简单灵活，深受深度学习研究者的喜爱，不少论文及github上的开源代码是用pytorch写的，那么，训练完pytorch模型后，部署到c++平台上，着实让不少人头疼．好在，pytorch开放了libtorch c++接口，至此，caffe, mxnet, tensorflow, pytorch均完善了python以及c++接口，无论是在PC端，还是在移动端，均可满足大多数人的训练...
2019-08-16 15:40:19
11663
1
原创 注意一下cv::Mat的roi及clone
今天在执行libtorch程序的时候，有如下两句：cv::Mat img_patch = img_float(cv::Range(pos[0], pos[1]), cv::Range(pos[2], pos[3])); // img_patch为img_float的sub imageat::Tensor image_tensor = torch::from_blob(img_patch....
2019-08-14 17:51:20
1576
2
原创 pytorch c++部署编译？libtorch库加载报错？
pytorch有几个优点：（１）强大的python接口，便于实验，比起tensorflow方便（２）动态图计算，写网络就像写普通的加减乘除表达式一样，灵活组建网络，便于调试，mxnet等frame work也借鉴了这种模式，在这鄙视一下tensorflow，久久不支持动态图，直到去年2.0才效仿了动态图，美其名曰eager execution.pytorch的c++接口也发布了(...
2019-08-12 14:34:02
5967
7
原创 如何生成jni头文件？
比如包的名字是 com.example.test，类的名字是 hellojni，类文件路径是src/com/example/test/hellojni.java那么我们需要在src目录下，使用命令javah -jni com.example.test.hellojniok，即可在src目录下生成hellojni.h...
2019-08-07 19:20:17
660
转载 PYTHON PT时间格式 IOS8601 duration相互转换
在公司任务开发时，爬取youtube数据转换PT格式时间为duration解决方案安装 isodate 和 durationpip install isodatepip install durationIOS8601转durationfrom duration import to_secondsimport isodateprint(to_seconds(isodate.par...
2019-08-05 16:41:07
1449
原创 isotropy与anisotropy?各向同性与各向异性滤波？
这篇文章主要区分各向同性和各向异性滤波的区别，明白各向异性滤波的优点，熟悉适合各向异性滤波的应用场景．双边滤波（bilateral filter）的原理大家都还熟悉吗？双边滤波是一种非线性滤波器，优点是可以保持边缘，使得降噪平滑，双边滤波虽然采用邻域图像像素加权，但是，双边滤波的权重不仅考虑了像素的欧式距离（位置对中心像素的影响），还考虑了像素范围域中的辐射差异（像素与中心像素之间的相似程度，...
2019-07-31 09:47:09
5667
原创 如何判断一个文件是否是jpeg格式？
在处理训练样本的时候，有时你发现，虽然文件是jpg, jpeg结尾的，但是可能是被篡改过的，其实它有可能是png格式，假如这种图片很多，如何方便批处理呢？ 两种方式： (1) JPEG的文件布局如下： JPEG SOI : FF D8 // 图片起始JPEG APP0：0xFFE0 // APP0 SIZE：...
2019-07-23 10:46:17
3318
原创 imagenet数据集下载
如果官网下载不了，尝试如下地址：下载地址http://www.image-net.org/challenges/LSVRC/2012/nnoupb/ILSVRC2012_img_test.tarhttp://www.image-net.org/challenges/LSVRC/2012/nnoupb/ILSVRC2012_img_val.tarhttp://www.image-ne...
2019-07-22 18:13:42
10619
1
原创 百度图片爬虫，爬取高清图片
在做深度学习研究与应用的时候，经常需要爬取样本，例如，超分辨率重建，实际的训练与产品应用中，你需要爬取一些高清的图片，下面提供一个简单的爬虫：# coding=utf-8import reimport sysimport urllibimport osimport requestsdef get_onepage_urls(onepageurl): if not onep...
2019-07-22 18:11:40
2644
1
原创 ubuntu如何挂在NTFS格式的硬盘？
我的移动硬盘是在windows下格式化的，格式为NTFS，当在ubuntu系统上拷贝东西到硬盘时，需要挂载移动硬盘，如下操作：df -h 查看移动硬盘的盘符cd /mnt（可以挂在到任意空目录）mkdir copysudo mount /dev/sdb2 /mnt/copysudo umount /dev/sdb2 卸载移动硬盘如果挂载时出现错误，Mount is ...
2019-07-11 08:57:52
5463
原创 model based optimize? discriminative learning?有何区别？
如题，究竟有何区别呢？在看图像复原（超分）的论文IRCNN(Image Restoration by Convolution Neural Network)的时候，有所领悟哈，觉得写的很明白，只可意会，不可言传，翻译如下：首先，明确两个英文单词：matrix : 矩阵matrices: matrix的复数形式，多个矩阵The model based optimization...
2019-07-09 18:14:29
412
原创 图像复原中什么是数据保真项？什么是先验项？
在机器学习里，经常会看到两个词，data fidelity term, regularization(prior) term.例如，在image restoration中，我们需要最小化如下的object function(MAP, 最大后验概率)，则：data fidelity term:regularization(prior) term:那么两项的作用是什么呢？Th...
2019-07-09 17:20:31
8032
3
原创 arxiv文章下载很慢怎么办？
对于我们这样的深度学习屌丝来说，没钱，没资源，没数据，没时间，只能看看别人的论文生存了，经常会到arxiv上下载一些文章，比如cvpr的文章，但是，由于国内封锁，下载很慢，甚至接连几天打不开arxiv的网站，咋办？强烈推荐使用中科院arxiv的镜像地址：http://xxx.itp.ac.cn具体使用方法：把要访问 arxiv 链接中的域名从https://arxiv.org换成ht...
2019-07-09 11:08:47
20184
21
原创 设置git commit的用户名和邮箱
1.全局设置（对所有git工程都有效）设置用户名：git config --global user.name 用户名设置邮箱：git config --global user.email 邮箱2.对特定branch（切换到工程目录下执行）设置用户名：git config user.name 用户名设置邮箱：git config use...
2019-07-05 10:23:56
8728
原创 matlab parfor如何传递large共享变量
cvpr2019在超分辨率重建方面，旷视觉科技有一篇论文：Meta-SR，实现单一模型任意缩放因子超分，非常感谢作者的付出和贡献．作者已经开放了源码，下面是我的分支，由于自己改的比较随意，所以今后的一些修改将在这个分支上继续：https://github.com/idealboy/Meta-SR-Pytorch.git在prepare_dataset的时候，源码里没有采用并行parfo...
2019-07-05 10:21:29
1257
2024AIGC应用层十大趋势
2024-03-14
AIGC-清华-发展研究资料
2024-03-14
AI Agent-基于大模型的智能体在AGI的道路上前进-调研
2024-03-14
AIGC算力全景与趋势报告-2023
2023-08-12
usertype.dat
2016-04-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人