- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 关于Python处理文本换行符
众所周知，文本中换行符在windows和unix系统下的是不一样的，win是\r\n，unix是\n，一般情况下是不会有什么影响的，但是在数据加载的时候会有些需要处理。这里做一些对比记录使用python分别按不同换行符和默认情况写入文件，再用不同参数读取，结果如下。可以看到默认写入的情况下，windows会多一个\n。指定换行符写入，windows会多一个\r。
2024-09-15 10:11:45
1028
原创 【LLM】局域网内为容器服务启用HTTPS
OpenWebUI中，语音输入需要HTTPS才能使用麦克风等硬件资源，在局域网中通过NGINX转发实现HTTPS访问。
2024-09-04 21:34:33
1489
1
原创 Python转换图片为BITMAP供OLED屏幕显示
最近在玩ESP32，外接了一个0.96寸的oled屏幕，不想找取模软件了，直接gpt生成代码，小改一下直接用了。
2024-06-23 18:18:45
415
1
原创 windows下K8s挂载本地路径作为持久化存储踩坑（瞎玩
a.直接挂载，由于docker desktop是基于wsl的，路径其实都在docker-desktop-data里面，都是虚拟的，不管挂载哪个路径，本地都查不到（有些说在wsl的mnt下面可以，也没得。把同一个pvc挂载到2个容器共享，一个容器是mysql服务，一个容器用nginx开启文件服务，把pv的数据通过文件服务备份（遇到权限问题，暂时未解决。在docker desktop上开启k8s，以mysql为例，把data文件夹映射到本地文件夹作为持久化保存，在docker上可以直接。
2023-12-17 14:29:36
987
2
原创 [从零开始]Flask+Nginx在云服务器上部署服务
服务器：百度智能云轻量应用服务器 2H4G换源mv /etc/apt/sources.list /etc/apt/sources_bak.listvi /etc/apt/sources.list清华源deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiversedeb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ b.
2022-03-05 13:42:16
3134
原创 [从零开始]使用ImageNet数据集实验
记录一下最近开始的ImageNet学习，论文中虽然提到了很多，也开源了训练代码，但是多数情况用自己的代码在相同的Condition就是难以复现，记录一点点目前的。ImageNet，yyds数据数据下载源于官网 http://image-net.org/download，需要注册edu邮箱，一些参考：下载imagenet2012数据集，以及label说明下载下来的标签有不对应的情况，参考网上说的重新下一份caffe版本的，地址如下caffe_ilsvrc12.tar.gz http://dl..
2021-01-26 11:11:17
4455
8
原创 奇怪的知识增加了
PyTorch查看GPU信息import torch# check GPU type, cuda version and so onprint(torch.cuda.is_available())print(torch.cuda.device_count())print(torch.cuda.get_device_name(0))print(torch.cuda.current_device())print(torch.version.cuda)print(torch.cuda.ge
2020-12-02 23:34:31
270
原创 PyTorch Demo-5 : 多GPU训练踩坑
当数据量或者模型很大的时候往往单GPU已经无法满足我们的需求了，为了能够跑更大型的数据，多GPU训练是必要的。PyTorch多卡训练的文章已经有很多，也写的很详细，比如：https://zhuanlan.zhihu.com/p/98535650https://zhuanlan.zhihu.com/p/74792767不过写法各异，整合到自己的祖传代码里又有一些问题，在此记录一下踩坑。DataParallel (DP)最简单的是DP，只需要对model直接调用就可以了，更多细节可以参考前.
2020-11-20 17:52:34
771
原创 PyTorch Demo-6 : 自定义Loss，对比几个不常用的Loss实现
PyTorch自定义Loss跟写Model差不多，都是继承nn.Module，也有的直接定义一个函数计算（一笔带过）。考虑比较几个不常用的Loss：MarginRankingLoss，HingeEmbeddingLoss，CosineEmbeddingLoss一些说明可以参考https://zhuanlan.zhihu.com/p/83364904HingeEmbeddingLoss DocsThe loss function for : n-th sample in the mini-ba
2020-10-28 14:18:34
1150
原创 ACCV2020细粒度比赛记录-数据处理和Baseline结果分享
比赛链接：accv官网：https://sites.google.com/view/webfg2020比赛网站：https://www.cvmart.net/race/9917/base数据下载：Baidu / 百度云盘：链接: https://pan.baidu.com/s/1P0rpg0J34IUL5bvuA5f-pg提取码: cg9zGoogle / 谷歌云盘https://drive.google.com/drive/folders/1ruvJow2Srp3wuqG1sY.
2020-10-23 21:51:46
4228
30
原创 PyTorch Demo-4 : 数据变换Transforms
Transforms的函数有很多，每次都是直接copy已有的代码，但是不知道具体是什么样子，在这里记录一下Transforms常用方法参考链接1，链接2。Python代码from PIL import Imagefrom torchvision import transforms as tfimport matplotlib.pyplot as pltif __name__ == '__main__': img = Image.open('lena.jpg') img .
2020-09-23 21:51:42
449
原创 【Python】图像分割 传统方法
临时学的，记录一下代码，基于python numpy 实现直方图双峰法：Prewitt 等人于六十年代中期提出的直方图双峰法(也称 mode 法) 是典型的全局单阈值分割方法。该方法的基本思想是：假设图像中有明显的目标和背景，则其灰度直方图呈双峰分布，当灰度级直方图具有双峰特性时，选取两峰之间的谷对应的灰度级作为阈值。如果背景的灰度值在整个图像中可以合理地看作为恒定，而且所有物体与背景都具有几乎相同的对比度，那么，选择一个正确的、固定的全局阈值会有较好的效果.算法实现：找到第一个峰值和第二.
2020-08-20 17:17:37
2074
原创 PyTorch Demo-3 : 动态调整学习率
# 一些必要的库和参数import torchimport torch.nn as nnfrom torchvision import modelsimport matplotlib.pyplot as pltimport numpy as np以SGD为例model = models.resnet18()init_lr = 0.1optimizer = torch.optim.SGD(model.parameters(), init_lr)# 查看学习率for param_gro
2020-06-18 19:27:30
851
原创 【读论文】MUTUAL-CHANNEL LOSS
【读论文】MUTUAL-CHANNEL LOSS论文题目：《The Devil is in the Channels: Mutual-Channel Loss for Fine-Grained Image Classification》链接：https://arxiv.org/abs/2002.04264来源：IEEE TIP2020细粒度分类的主要思想是找出各个子类间的可区分特征，...
2020-04-16 22:44:40
2283
7
原创 PyTorch Demo-2 : 分类模型评估
1. 预训练模型加载和预测1.1 加载预训练参数根据训练函数中保存的训练参数，使用 torch.load() 进行读取，再加载 model.load_state_dict() 。def load_pretrained_model(model, path): """ Load the pretrained model :param model: the defined ...
2020-02-15 18:23:59
6882
12
原创 PyTorch Demo-1 : CIFAR-10 分类模型
PyTorch Demo-1 : CIFAR-10 分类模型PyTorch >= 1.0Python 31. Data1.1 CIFAR-10 数据CIFAR-10 官方下载 ，下载为 cifar-10-python.tar.gz解压缩文件包含：‘batches.meta’，‘data_batch_1’，‘data_batch_2’，‘data_batch_3’，‘dat...
2020-02-14 22:47:22
921
1
翻译 【翻译】机器学习规约 & 母算法
机器学习规约 & 母算法本文是对文章 《 Machine Learning Reductions & Mother Algorithms 》的翻译，参考了百度翻译和谷歌翻译以及结合自己的理解。有不清楚的地方请参看原文 ，也可以留言自己的见解。翻译这个文章的原因是最近突然想找多分类转换为二分类的策略，发现了这一篇，倒是说得很多，感觉发现了新大陆。Part Ⅰ：介绍在烹饪领域...
2020-02-01 16:40:48
677
原创 Detectron2安装
Detectron2安装detectron2 是Facebook开源的CV库，源码和使用方法访问git链接，本文只总结安装方法和Colab的Demo演示。环境要求(Requirements)：python >= 3.6PyTorch 1.3，torchvision 能跟torch匹配 (其他版本没有试过，1.3和1.1版本有一些函数变化，没有实际用过)Openc...
2019-11-07 00:33:23
13413
13
detectron2依赖包.zip
2019-11-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人