- 博客(181)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 mac安装Pyspark并连接Mysql
注意不要自己另外安装jdk, 会造成版本对不上报错。的过程中会自动安装openjdk。将下载的解压包中的jar文件拷贝到。注意jdk版本不对会造成。
2025-02-18 12:04:34
359
原创 model calibration
将模型输入概率作为输入, 然后ground truth作为输出, 在进行一次log regression。理想的曲线应该是y=x. 如果不理想, 就需要calibrate。例如猫狗分类中, 将属于猫的对应概率落到相应的桶中。
2025-02-02 17:29:06
300
原创 Vector Quantization 解读
考虑一种最简单的压缩办法：单独存储（比如 100 个）centroids 的颜色信息，然后每个像素点存储 centroid 的索引而不是颜色信息值，如果一个 RGB 颜色值需要 24 bits 来存放的话，每个（128 以内的）索引值只需要 7 bits 来存放，这样就起到了压缩的效果。一种更加好的做法是使用聚类的方式。将每个像素点当作一个数据，跑一下 K-means ，得到 k 个 centroids ，然后用这些 centroids 的像素值来代替对应的 cluster 里的所有点的像素值。
2024-12-31 11:30:22
445
原创 一步一步用numpy实现神经网络各种层
单独求softmax层有点麻烦, 将softmax+entropy一起求导更方便。为ground truth, 为one-hot vector.
2024-06-13 18:31:21
1682
3
原创 Optimizer神经网络中各种优化器介绍
每次随机取一个样本。BGD每次迭代都会朝着最优解逼近，而SGD由于噪音比BGD多，多以SGD并不是每次迭代都朝着最优解逼近，但大体方向是朝着最优解，SGD大约要遍历1-10次数据次来获取最优解。Adagrad会累加之前所有的梯度平方，而Adadelta只累加固定大小的项(Adagrad需要存储)，并且也不直接存储这些项，仅仅是近似计算对应的平均值。每次更新使用全部的样本，注意会对所有的样本取均值，这样每次更新的速度慢。与momentum不同的是，NAG是先往前走一步，谈谈路，用超前的梯度来进行修正。
2024-03-31 06:52:24
1516
原创 解决wandb错误wandb-servicef 0.006 MB uploaded (0.000 MB deduped)
结束wandb时有时会一直输出。
2023-11-14 19:16:45
3016
4
原创 解决pytorch DDP 报错This error indicates that your module has parameters that were not used
这时未使用的参数就会未参与梯度的计算，因此可以获取未使用参数，并注释掉消除错误。使用pytorch DDP训练的时候，有的时候会报错。现在单GPU下做一个iteration，并在。
2023-11-11 20:21:09
492
原创 pip安装nvidia-apex报错apex error: class “at::Tensor“ has no member “mutable_data_ptr“
【代码】pip安装nvidia-apex报错apex error: class “at::Tensor“ has no member “mutable_data_ptr“
2023-11-01 05:53:18
1666
4
原创 github常见命令
然后在项目目录，执行git pull命令，会提示输入账号密码。这次输入账号密码之后，就会记住账号密码，并且会在当前用户根目录下生成一个。因为github远程代码库链接较长，因此需要创建别名。将文件夹变成git库，并让git获取当前目录管理权限。代码冲突时，需要手动合并。合并完成后，添加到暂存区。在开发时，要保持与远程库一致，否则推送时会报错。本地上显示的总是master中的版本。文件，下一次就不用再输入账号密码了。然后可以在当前分支上修改，并通过。然后修改本地文件，并推送到远程库。设置存储格式，明文存储。
2023-06-26 21:30:25
1656
原创 安装nvidia-apex出现AttributeError: module ‘torch.distributed‘ has no attribute ‘_all_gather_base‘
【代码】安装nvidia-apex出现AttributeError: module ‘torch.distributed‘ has no attribute ‘_all_gather_base‘
2023-06-05 16:31:14
484
原创 Segment Anything文章要点
在这个阶段，我们的目标是增加mask的多样性，以提高我们的模型分割任何东西的能力。在我们的工作中，一个重要的区别是，为prompt segmentation训练的模型通过作为一个更大的系统组件可以在推理时执行一个新的、不同的任务，例如，为了执行实例分割，prompt segmentation模型与现有的object detector相结合。我们从交互式分割中采用了这种方法，尽管与交互式分割的目标是在足够的用户输入后最终预测有效的掩码不同，我们的目标是始终预测任何提示的有效掩码，即使提示是模糊的。
2023-04-09 07:36:16
1449
原创 解决pycharm cannot find declaration to go to
使用remote interpreter时，经常出现有些库文件无法点开，也没有代码自动补全。
2023-04-02 02:57:55
686
原创 安装gcc, cmake和itk
在官网gcc网站上下载然后解压。接下来执行如下命令tar xzf gcc-4.6.2.tar.gzcd gcc-4.6.2./contrib/download_prerequisitescd ..mkdir objdircd objdir$PWD/../gcc-4.6.2/configure --prefix=$HOME/GCC-4.6.2 --enable-languages=c,c++,fortran,gomakemake install然后设置环境变量export LD_LI
2022-05-09 14:17:32
1137
2
原创 python中调用C和C++
1. 生成dll文件在visual studio中, project->properties->configuration properties->general->Configuration Type中选择dll.然后build改项目生成dll文件。注意，如果文件后缀名称是.c，则使用如下格式:#include<stdio.h>#include<malloc.h>//无参数，无返回类型__declspec(dllexport) void __
2022-05-09 04:30:27
283
原创 计算parameters和FLOPs
1. 安装 ptflopspip install ptflops2. 计算params和FLOPsfrom ptflops import get_model_complexity_infodef print_time_paramter_complexity(net, input_size): macs, params = get_model_complexity_info(net, input_size, as_strings=True, print_per_layer_stat=Tru
2022-03-26 11:35:41
1559
1
原创 tensorboard重定向
tensorboard重定向到本地:ssh -NfL 6006:localhost:6006 username@host
2022-03-10 16:59:35
296
原创 Mask RCNN pytorch官方代码解读
1. 数据预处理1.1 transform将图片进行缩放。对应的box和mask也进行缩放。box缩放时直接将坐标乘以相应的倍数。图像缩放采用bilinear方式，而mask缩放时采用nearest方式。同时可能需要将image使用padding方式扩大，即:new_img = np.zeros((3, new_x, new_y))new_img[:, :x_max, :y_max] = old_img对应GenerilizedRCNN.py中的images, targets = self.t
2022-02-10 16:06:00
5334
1
原创 brew和curl相关命令
1. brew更新命令brew upgrade curl2. brew安装指定版本brew install pkg@version
2022-02-09 02:44:55
932
原创 源码安装python和tkinter(python出现no module named _tkinter)
此时需要重新安装python。1. 从官网上下载tk和tcl下载tcl-tk2. 安装# install tclwget -c https://prdownloads.sourceforge.net/tcl/tcl8.6.9-src.tar.gztar -xvzf tcl8.6.9-src.tar.gzcd tcl8.6.9/unixmkdir buildcd build../configure --prefix=/home/xxx/local/tcl-tk/makemake ins
2022-02-07 02:20:49
1485
ubuntu运行./configure时出错
2015-08-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人