- 博客(107)
- 收藏
- 关注
RSS订阅原创 使用飞桨基于PP-YOLOE-SOD的自定义数据集图像检测案例全流程实操
说明“一般情况下，在原始数据集全部有标注框的图片中，原图宽高的平均值大于1500像素，且有1/2以上的图片标注框的平均宽高与原图宽高比例小于0.04时(通过打印中位数得到该值)，建议进行切图训练。训练过程中的模型参数快照会保存在这个在这个路径里output/ppyoloe_crn_l_80e_sliced_visdrone_640_025/model_final。转换的方法可以参考这个。将数据集复制到/home/目录下，数据集的结构如下，其中train和val文件夹分别是训练集的图片和验证集的图片。
2025-01-14 21:25:46
1130
原创 在k8s上部署Crunchy Postgres for Kubernetes
Crunchy Postgres可以帮助我们在k8s上快速部署一个高可用、具有自动备份和恢复功能的postgres集群。相似的，还有StolonPatronizalando这几个项目。每个项目的优缺点可以参考下面这几篇文章，国内关于postgres集群的文章还是太少了本篇文章只讨论Crunchy Postgres。
2024-11-16 17:00:51
1608
原创 openeuler22.03离线安装rpm包
前提：服务器不能连互联网，如果要安装各种包的话，其中一个方法就是挂载ios镜像然后配置本地软件源进行安装。如果安装软件包，可是包中部分文件已经存在，那么正常安装时候，会报错“某个文件已经存在”从而导致软件无法安装，使用这个选项可以忽视这个报错，而覆盖安装。不管是否已经安装，都重新安装。-i：install安装（install） -v：显示更详细的信息（verbose） -h：显示安装进度（hash）如果该服务器已经安装了需要下载的软件包，那么使用 install下载就不行，可以使用reinstall下载。
2024-06-25 23:25:59
2185
原创 python多线程爬取单词百度翻译
from urllib import request,parseimport jsonimport threadingimport timeimport randomfrom queue import Queueimport csvheaders = ["Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.
2021-06-27 08:38:42
285
原创 Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation 论文笔记
本文提出使用使用联邦蒸馏 （federated distillation FD）和联邦增强（federated augmentation FAug）来解决联邦学习中客户端数据非独立同分布和客户端之间通讯开销大的问题。Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation under Non-IID Private Data NIPS 20181.联邦蒸馏在传统的联邦学
2021-05-20 20:25:13
2424
原创 Word文档添加伪代码（Aurora）或公式（AxMath）
这里写目录标题Word文档添加伪代码（Aurora插件）Word文档添加伪代码（Aurora插件）1.先下载MiKTex官网地址 https://miktex.org/download安装步骤可以看官网的指导 https://miktex.org/howto/install-miktex2.下载Aurora插件这个...
2021-05-10 18:00:33
8662
6
原创 后序表达式的转换与计算的原理及实现
本篇博客部分内容出自《2022数据结构考研复习指导》，仅作个人学习记录。这里写目录标题一、中序表达式转后序表达式的目的二、转换步骤三、isp和icp的含义四、具体例子五、实现代码一、中序表达式转后序表达式的目的 表达式求值是程序设计设计语言编译中一个最基本的问题。中序表达式不仅要依赖运算符的优先级，还要处理括号。如果计算机直接计算中序表达式，会用到大量if-else语句判断数字，运算符以及括号的关系，非常复杂。 后序表达式的运算符在操作数后面，在后序表达式中已经考虑了运算符的优先级，没有括号，只
2021-05-04 16:04:37
1689
原创 一次成功安装pytorchGPU版本
昨天重装系统了，很多东西都重新安装过。下面介绍我安装pytorhGBP版本的过程，希望能帮到大家。1.安装cuda这个步骤可以参考我之前写的文章在windows10下安装tensorflow的GPU版本。安装cuda的内容是一致的。2.选择torch和torchvision的版本首先要清楚pytorch和cuda版本的对应关系再理清pytorch和torch版本对应关系例如我的python版本是3.7，cuda版本是10.0，那么我torch和torchvision的版本可以选择为1.2.0
2021-03-08 16:23:40
687
1
原创 算法设计与分析之基础知识
本篇文章大部分内容出自《算法设计与分析（第二版）》，仅作个人学习记录。一.函数的渐近的界（1）若存在正数ccc和n0n_{0}n0使得对一切n≥n0有0≤f(n)≤cg(n)n \ge n_{0}有0 \le f(n) \le cg(n)n≥n0有0≤f(n)≤cg(n)成立，则称f(n)f(n)f(n)的渐近的上界是g(n)g(n)g(n)，记作f(n)=O(g(n)).f(n)=O(g(n)).f(n)=O(g(n)).（2）若存在正数ccc和n0n_{0}n0使得对一切n≥n0有0≤cg(
2021-01-20 17:14:02
531
原创 python的生成器
在我前面写的python的for循环用法这篇文章中提到可以用列表生成生成一个列表。但在一些情况下列表生成式并不适用，例如生成几十万个元素的列表，海量的数据会消耗大量的内存空间。如果列表元素可以按照某种方法推断出来，在我们需要的时候用采用for循环不断的推出后面的元素，这样就不必创建完整的列表，从而可以减少所占的内存空间了。生成器（generator）就是这样一种机制。如何创建生成器？1.将列表生成式最外层的的[]改为()即可。...
2021-01-20 14:03:18
242
原创 Dataset Distillation论文笔记
本文提出了一种称为数据集蒸馏的方法：保持模型不变，尝试从一个大型训练数据集提取知识到一个小的数据集。其思想是合成少量的数据（每个类别一个数据），这些数据不需要来自正确的数据分布，但是当作为模型的训练数据时，训练得到的模型将近似于在原始数据上训练的模型。论文地址：https://arxiv.org/pdf/1811.10959.pdf代码地址：https://github.com/SsnL/dataset-distillation算法细节 标准的训练通常是在小批量上做随机梯度下降，每一步t从
2021-01-04 20:08:33
2318
原创 pytorch笔记（二）——模型的保存与加载
1.保存和加载模型# 模型保存model = ModelClass(*args, **kwargs)torch.save(model, 'model.ckpt')# 模型加载model = torch.load(PATH) 保存整个神经网络的的结构信息和模型参数信息，save的对象是网络net。加载时则无需再定义网络。2.保存和加载模型参数# 模型参数保存model = ModelClass(*args, **kwargs)torch.save(model.state_dict(),
2021-01-04 13:53:05
791
3
原创 pytorch笔记（一）——tensor的storage()、stride()、storage_offset（）
目录1 storage()2 stride()3 storage_offset()1 storage() pytorch中的一个tensor分为头信息区（Tensor）和存储区（Storage） 信息区主要保存着tensor的形状（size）、步长（stride）、数据类型（type）等信息。 而真正的数据则保存成连续数组，存储在存储区。 一般一个tensor都会有相对应的Storage，但也有另一种情况时多个tensor都对应着相同的一个Storage，这几个tensor只是头信息区不同
2020-12-06 23:20:03
12406
2
原创 python的浅拷贝与深拷贝
在学习浅拷贝和深拷贝之前，应该先了解可变对象和不可变对象这两个概念，否则会对浅拷贝的使用感到迷惑。那什么是可变对象和不可变对象呢？可变对象是指，一个对象的值被修改后，指向该对象的地址是不会发生变化的。在python中，可变对象有：List（列表）、Dictionary（字典）、Set（集合）。# 以list为例子a = [1, 2, 3]b = aprint("a的地址:", id(a))print("b的地址:", id(b))print("a[0]的地址:", id(a))print(
2020-12-04 09:20:28
259
原创 python的for循环用法
在python，for的基本使用方法如下for item in sequence： expression其中sequence 为可迭代的对象，可以为数组list，元组tuple，字典dict以及set集合，item 为序列中的每个对象。例如：对于数组List = [1,2,3,4,5]for item in List: print(item)#结果#1#2#3#4#5对于元组...
2020-11-27 21:51:01
6593
1
原创 Ensemble distillation for robust model fusion in federated learning论文笔记
本文将集成蒸馏运用在联邦学习的模型融合中，并且可以通过未标记的数据或者生成器生成的数据（例如gan）来进行进行模型融合。这让不同客户端的模型异构的前提下，降低了数据隐私泄露的程度。同时实验表明，本文提出的方法练速度更快，比任何现有的FL技术所需的通信轮数更少。论文地址：ENSEMBLE DISTILLATION FOR ROBUST MODEL FUSION IN FEDERATED LEARNING 2019 NIPS算法细节模型同构的情况下，对于每一轮可以分为两个步第一步：和FedAv
2020-11-20 19:46:24
5388
3
转载 python的del用法
python中的del用法比较特殊，新手学习往往产生误解，弄清del的用法，可以帮助深入理解python的内存方面的问题。python的del不同于C的free和C++的delete。由于python都是引用，而python有GC机制，所以，del语句作用在变量上，而不是数据对象上。if __name__=='__main__': a = 1 # 对象 1 被 变量a引用，对象1的引用计数器为1 b = a # 对象1 被变量b引用，对象1的引用计数器加1 c = a #1对象1
2020-11-16 21:18:52
716
原创 FedMD: Heterogenous Federated Learning via Model Distillation论文笔记
本文提出使用迁移学习和知识蒸馏开发了一个联邦学习框架FedMD，此框架允许不同的客户端根据其计算能力设计不同的网络结构，并且保护数据集的隐私安全和模型的隐私安全条件下联合训练出一个模型。论文地址：[FedMD: Heterogenous Federated Learning via Model Distillation 2019 NIPS](https://arxiv.org/abs/1910.03581?context=cs)算法细节本文设有一个共享数据集D0D_{0}D0，每个客户端
2020-11-12 21:54:10
4317
7
原创 联邦学习&&集成学习
1.Federated ForestIEEE Transactions on Big Data 2020 该文章在纵向联邦学习（客户端有相同的样本但特征空间不相同）方向上提出了一个基于CART树和bagging的联邦森林框架，它既能处理分类问题，又能处理回归问题。这个框架具有一定的隐私保护，预测是通信负担不高。 首先，先本文假设有数据标签y为主服务器（只有一个），没数据标签的为客户机，主服务器和客户端加起来总数为M，主服务器有标签y，并将加密后的标签y分发给其它客户端。主服务器和客户端的数据特征
2020-10-30 10:20:04
3515
5
转载 【论文翻译】 Residual Networks Behave Like Ensembles of Relatively Shallow Networks
&nb.
2020-10-14 15:20:01
398
原创 运行pytorch报错object() takes no parameters
错误返回TypeError Traceback (most recent call last)<ipython-input-3-4b01de57c05d> in <module> 83 correct=0 84 total=0---> 85 for images,labels in test_loader: 86 outputs = mod
2020-10-10 15:42:31
407
1
原创 Federated Learning with Non-IID Data 论文笔记
本文提出联邦学习中的由于Non-IID数据分布而精度降低是因为权重分散（weight divergence），而权重散度可以用搬土距离（EMD）量化，最后提出了一种策略：通过创建一个在所有边缘设备之间全局共享的数据子集来改进Non-IID数据的训练以此来提高模型精度。。论文地址：Federated Learning with Non-IID Data 联邦学习使资源受限的边缘计算设备（如移动电话和物联网设备）能够学习用于预测的共享模型，同时保持训练数据的本地性。这种分散的训练模型方法提供了隐私、
2020-10-04 11:20:19
4690
3
原创 Communication-Efficient Learning of Deep Networks from Decentralized Data 论文笔记
本文出自论文[添加链接描述](https://arxiv.org/abs/1602.05629)，本文提出了一种基于迭代模型平均的深层网络联合学习方法（Federated Averaging，FedAvg）解决 联邦学习中数据Non-IID 和不平衡的问题，并对五种不同的模型结构和四种数据集进行了广泛的实证评价。
2020-09-28 11:52:15
998
1
原创 tensorflow与numpy版本对应问题
Using TensorFlow backend.ModuleNotFoundError: No module named ‘numpy.core._multiarray_umath’ImportError: numpy.core.multiarray failed to importThe above exception was the direct cause of the following exception:Traceback (most recent call last):File “
2020-09-23 15:31:23
16148
原创 YOLOv2细节详解
论文地址：https://arxiv.org/abs/1612.08242 这篇论文以YOLOv1为基础，在Better和Faster方面提出了YOLOv2模型。在Stronger方面提出了YOLO9000模型。其中YOLO9000是个非常强大的模型，能检测出超过9000物体，因此称为YOLO9000。...
2020-09-18 10:51:10
1321
原创 yolo v1 loss函数
先给出论文中的loss函数这个函数可以划分为四个部分（先暂时把λcoordλ_{coord}λcoord和λnoobjλ_{noobj}λnoobj当作一个常数，后面会这个两个变量的意义）1.对预测框的中心做损失其中1ijobj1^{obj}_{ij}1ijobj的定义为：1ijobj={1第i个网格第j的anchor box负责预测这个物体0其他1^{obj}_{ij}=\begin{cases}1& \text{第i个网格第j的anchor box负责预测这个物体
2020-09-02 16:27:09
1771
原创 yolov3 kears版本 代码解析
前言最近参加了华为云的无人车比赛，由于我们队都是第一次参加比赛，第一轮就被刷了。而第一轮的比赛的项目就是目标检测，比赛期间由于时间关系没有仔细研究代码，现在就来深入学习一下yolo v3 darknet53的代码。我是跟着这位大神学习的，模型也是从这位大神的github下载的。这个模型的代码已经有很多注释了，但对于我这个菜鸟来说依然很难理解，所以我在已有注释的基础上对一些比较难理解的地方加上了自己的理解。本人水平有限，不足之处，还望指正。yolo.py文件#--------------------
2020-08-19 16:43:17
363
原创 python上关于智能合约的一些操作(py-solc、evm_cfg_builder、pyevmasm)
一、py-solc库这个库可以编译智能合约源码使用方法1.安装solidityhttps://github.com/ethereum/solidity/releases先在github上下载对应的智能合约版本的压缩包，我下载的0.4.18加压后文件如下然后将solc添加至环境变量zxc...
2020-08-04 12:57:28
2930
4
原创 Bert的学习过程
由于任务需要，需要了解bert，但一开始看博客看得云里雾里的，所以就找了一些视频来看，看完之后再去博客就很容易懂了，理解也更加深刻，在这里就记录一下我学习bert的过程。1.李宏毅老师-transformer视频李宏毅老师-transformer2.李宏毅老师-bert视频台大教授 李宏毅 bert3.李宏毅老师视频中的一些细节不够清楚，所以接着看下面这个视频从中文Transformer到BERT的模型精讲,以及基于BERT情感分类实战4.看博客一文读懂BERT(原理篇)...
2020-08-01 16:52:08
195
原创 操作系统之聊天系统的实现
在linux系统用c/c++语言编写一个多用户的聊天室管理系统。主要功能：1 能做到3个以上用户之间的聊天；2 系统要有用户管理功能；3 每个用户能管理自己的权限，比如 不接受信息，撤销已发的信息等；可以自己发挥；4 聊天信息的保存，比如保存三天内的信息，或其他规定；5 敏感词的过滤等等；6 自己添加的其他功能。所用技术主要有：C语言的多进程编程；进程间的通信；文件处理等技术。注意：在一个linux主机上的多个用户的聊天室管理系统。实验代码server.c#include<s
2020-07-30 12:38:12
1138
原创 智能合约字节码的个人了解
一、智能合约字节码的结构pragma solidity ^0.4.18;contract test {}上面是一个很简单的合约，在remix进行对上面的合约进行编译，可以点击compliation detials按钮获得编译的结果，结果中有两个内容：1.BYTECODEobject选项的全部内容是60606040523415600e57600080fd5b603580601b6000396000f3006060604052600080fd00a165627a7a72305820395f385
2020-07-21 14:00:11
2804
转载 操作系统之模拟文件管理系统
本实验代码主要参考了这篇博客二级文件系统的实现并在此基础上修改了一些地方使之更加完善，欢迎各位读者去读原博客。实验要求为Linux系统设计一个简单的二级文件系统。要求做到以下几点：（1）可以实现下列几条命令login 用户登录dir 列文件目录create 创建文件delete 删除文件open 打开文件close 关闭文件read 读文件write 写文件（2）列目录时要列出文件名、物理地址、保护码和文件长度；（3）源文件可以
2020-07-18 11:49:41
13078
12
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人