- 博客(26)
- 收藏
- 关注
RSS订阅原创 微调（linear probing和 full finetune）技巧
Linear probing 和 full finetune 两种微调过程的区别
2022-10-27 14:40:40
2129
原创 BERT代码逐行逐句详解版（pytorch版本）
最近入门BERT，在网上观看了一些网课视频理解了原理，并且找到了pytorch版本的源码，经过一遍阅读有了初步的认知，所以在此记录，温故而知新。本文所解读的源码链接为：https://github.com/daiwk/BERT-pytorch/tree/master/bert_pytorch其整体代码框架如下（有些部分我也略有改动，但整体不影响）：解读一个项目的代码，自然要从main开始，所以我们打开main.py（项目中是__main__.py）后看到首先是对一些路径参数的填写：.
2021-10-08 19:20:28
6377
6
原创 2020-12-18
load_state_dict时候out of memory本来已经跑过的py文件，忽然在这儿就卡住并且out of memory，具体原因不知道，玄学解法仅供参考：把这个py文件复制一份，然后随便改点啥，加个空格回车啥的，然后保存发现好了...
2020-12-18 19:03:15
270
原创 load_state_dict时候报了cuda out of memory
我加载的模型明明可以装进去但是显存溢出，更神奇的是比如我第一个python文件已经load好在跑了，第二个文件load同一个pth文件就不行了，更有甚者我第一个这时候再运行也不行了。我不明白原因，但是有个规律可以参考：就是如果我第一个文件已经load进来这个pth正在跑，别的文件好像就不能再去load这个pth了（在跑完第一个前），即使我复制一份也不太行。。神奇，我就直接找了另一个pth拿过来试了试发现就可以了...
2020-12-10 18:42:38
808
原创 could not convert string to float如何寻找错误点记录
在此记录一下这个小问题：就是我想在python中将一个string的列表一一转换成float，但是报了标题的错误，网上说的都差不多，就是有某些元素不是纯float，解决方法自然是可以去除那些杂物。我看了许久试了许久，但是并不知道我的杂物是啥，在哪，怎么改，后来想了一下，既然不知道，我打印不就行了？可以看到s是我每次提取出来要转的字符串，然后最后一步转的时候就会出错了，我可以每次转之前打印一下字符串再转，这样当报错时候我就可以看到报错的是哪个字符串了，也可以对症下药。...
2020-10-24 10:43:15
630
原创 FATEboard
FATEboard的使用排雷容器刚启动就挂掉（可能是内存不够）容器的访问地址不明确一、容器刚启动就挂掉在我们开心的启动了docker容器后，发现Network error，如果用（shift+F5）刷新后页面甚至直接没了。这时候我们首先要 考虑一下Fateboard的容器是否启动 。我们使用 docker ps 命令查看一下当前启动的容器，如果发现只有fate_python启动而fateboard的容器没有启动（如下）：则说明该容器挂掉了，那么我们可以打开fateboard的er
2020-10-19 15:44:31
2648
原创 横向LR代码理解
横向LR的代码理解横向LR以及其他类似的横向联邦学习的代码框架比较清晰，相对于纵向逻辑更好理清整体的横向LR的结构如图：我们可以看到逻辑就是A和B在本地训练若干轮(aggregator_iters)后来一次向Arbiter的聚合，之后收到Arbiter的回复后便结束了一轮。所以，我们想要理清整个横向LR的代码框架可以从client怎么向arbiter传送数据以及arbiter怎么拿到传来的数据这两方面考虑。至于arbiter反过来传给client以及client的接收和前面两步类似，所以只需了解
2020-10-19 15:44:19
759
3
原创 技术探讨类——纵向LR
纵向LR的代码实现分析在federatedml目录下的算法中，逻辑回归是比较容易理解并且实现步骤也比较易懂的，所以本文从逻辑回归中的纵向LR下手，具体带领读者分析其代码实现。一、原理分析正如上图，我们可以看到，LR的损失函数的梯度是指数形式，由于不能进行同态加密，所以用泰勒展开为多项式。这个多项式的表达式就是我们上图中的红色框乘以x，而这个红框内的表达式我们亲切的用d来表示它。可见：d中含有y，所以d的表达式只有guest能算，而host不能算。（1）委屈的host只能将||wx||传给g
2020-10-19 15:43:57
1360
11
原创 Windows中利用pycharm连接docker的挂载文件，进而在本地修改FATE代码
Windows中利用pycharm连接docker的挂载文件，进而在本地修改FATE代码一、 Docker容器的挂载拿FATE单机版（docker部署）举例：https://github.com/FederatedAI/FATE/blob/master/standalone-deploy/doc/Fate-standalone_deployment_guide_zh.md关于docker和docker-compose的安装不再赘述，这里默认已经下载好上图中的压缩包并且解压好了。进入后有上图中
2020-08-11 10:27:17
1075
1
原创 给CentOS服务器部署html
如何将html传到CentOS服务器上，我们先下载一个nginx，命令如下：// 用yum来安装nginx yum install nginx -y// 安装完毕，启动nginx nginx这里我就不配置路径了，直接在服务器上的根目录下的/usr/share/nginx/html这个目录中放入你的html文件，然后访问地址就是“你的ip地址/你的html文件”...
2020-02-12 14:49:05
2363
原创 如何重置云服务器
我记录一下重置阿里云服务器，首先登陆后我们先进入控制台（https://blog.youkuaiyun.com/zjs975584714/article/details/104228658），之前写过在哪里找了。然后我们点击左侧栏中的实例进去后先把服务器关了再点更多点进去后只要按照你想要的操作系统更换就行了，记住要设置密码别整密钥...
2020-02-08 21:35:04
1264
原创 访问不到我的阿里云服务器上某个端口怎么办
这个问题我们应该是服务器端没打开门儿，我们先登录阿里云官网，进入控制台。点击这个然后点击左侧栏中的安全组之后点击配置规则点击添加安全组规则点进入后，端口范围填入你想访问的端口，比如8080。授权对象是说哪些ip可以访问，直接写0.0.0.0/0即可，代表所有ip都可以。...
2020-02-08 21:27:46
1920
1
原创 Docker安装后client和server的版本不一致？？
好不容易想要学习，好不容易准备开始学习docker，却没想到败在了安装。我遇到了以下几个问题，先列出：（1）使用docker version命令想看看安装成功否，结果Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?（2）我安装好后Client和...
2020-02-08 12:37:14
10017
1
原创 一个新手学着重装系统之路
在此，我要感谢我的大佬同学，在微信上一步步教导我，为了给大家分享，也为了自己以后能别忘了，在这里记录一下。首先，装系统之前，我们需要做几件事：（1）把自己的数据都备份好（2）回想一下电脑的微软账户，装好了以后还要登陆，微软账户就是你买电脑时候自己创建的那个，我的是xxxx@outlook.com，不知道别人的是什么样（3）准备一个8G的u盘，存我们的镜像（u盘里的东西提前存好，因为要把里面...
2020-01-05 00:52:47
2787
原创 channel_first和channel_last的一些技巧
首先声明：我是在学习keras框架的过程有感而发！希望能够帮助你 我们在model的搭建过程中，有很多时候因为channel_first or channel_last的问题绞尽脑汁，这里我提两点技巧。 First我们要明白几点内容，当我们用theano作为backend时候，我们在进行卷积等一些操作时候，系统都会自动按照channel_first的来，比如卷积后的...
2019-11-25 14:21:03
3736
原创 tf.image.resize_bilinear的局限性
1.背景我们在model各层之间转换时，难免要对tensor的shape做改变。我在这里记录一下几个改变大小的函数。2.方法（1）Reshape我这里指的是keras.layers.Reshape层，当然也有reshape方法，一个道理。x = Reshape((H*W, classes)) (x)比如这样的，我想要将一个（H，W，classes）变成上述的（H*W,...
2019-11-25 13:49:59
1839
原创 A `Concatenate` layer requires inputs with matching shapes except for the concat axis. Got... x = Co
bug背景：使用keras.layers.Concatenate层拼接首先，我们看一下标题中这段bug的意思：Concatenate层要求我们的输入需要shape能匹配，除非是concat axis（用于连接的那个维度）。嗯，道理我都懂，这是啥意思？意思就是你想拼两个东西，你得让人家能拼起来啊，比如说我现在想拼两个立方体，第一个长宽高是 20 20 10，第二个长宽高是 20 20 40，...
2019-11-25 11:56:12
3849
原创 AttributeError:'Tensor' object has no attribute '_keras_history'
当你的model各层的维度都对上了，最后马上就要输出了，忽然来这个错，我的心里是崩溃的。那么具体的原因是什么呢？具体而言，就是我们在用keras训练的模型过程中出了叛徒啦！！！（我卡卡西早已看穿一切）废话不多说，这个问题的主要原因是我们使用了tensorflow的一些函数导致的，比如我们可能会用tf.XXXX函数做一些处理。而tensorflow的函数处理过后的tensor叫做tf.t...
2019-11-25 11:34:09
7479
13
原创 字符串遇到的一些问题
一、字符串怎么表示用字符指针 char * str用字符数组 char str[N]二、字符串数组怎么表示char * S[N]char S[N][M]三、我遇到的问题问题一在结构体中（比如Student结构体）有一项char * name的内容项，在使用的过程中涉及此内容时候会有Access Violation报错解决：我遇到此类问题一般由以下两种原因引起...
2019-11-25 11:01:56
328
原创 InvalidArgumentError (see above for traceback): You must feed a value for placeholder tensor '...
1.bug背景InvalidArgumentError (see above for traceback): You must feed a value for placeholder tensor ‘input_1’ with dtype float and shape[?,256,1,1]在训练model的过程中，我使用Input(shape=(channel,H,W))输入了一个t...
2019-11-25 10:58:26
6062
10
原创 ValueError: invalid axis for this array in `source` argument
1、bug背景在我训练模型的过程中，我的模型输入本来是一个（batchsize,H,W,channel）的tensor，但是我想要换成(batchsize,channel,H,W)，也就是我想把第一维度和第三维度（初始值是0维）调换。2、解决方案网上介绍的解决方案是采用moveaxis这个函数，具体的使用方法如下：import numpy as npx = np.moveaxis(x, ...
2019-11-25 10:41:19
530
原创 图像训练时的数据处理
当训练数据时，如果数据只是一列，而输出也是一列，那就对应着（train，label）输入模型即可。但是如果处理对象是图片时，应该如何将图片作为数据输入模型。我只记录到目前为止的理解作为参考，后续还会修改（应该会的吧！）一、对图片的结构的了解图片分成了彩色图和非彩色图：彩色图，我们用python中任意一个可以读入图片的函数读入查看，可以得到彩色图的维度是（H，W，channel=3）...
2019-11-01 21:51:18
3067
4
原创 CUDA+CUDNN+tensorflow-gpu安装教程（hand by hand）
在安装了Keras和TensorFlow后跑FCN代码感觉略慢，然后发现电脑中有NVIDIA的GPU芯片，于是企图妄想使用TensorFlow-GPU，由此入坑开始了悲惨人生安装过程中主要需要注意的有几点（可能我并没有弄全）CUDA版本（CUDA的版本有很多，但是最好不要选太高的，选择太高可能你的NVIDIA不配，或者你的别的哪个安装包不配，我选择的是CUDA8.0）CUDNN版本（CU...
2019-10-25 11:54:49
1396
转载 使用pydot的报错问题解决
欢迎使用Markdown编辑器||标题1标题21223Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：...
2019-10-22 13:36:50
980
2
转载 归并法的时间复杂度计算
首先先来讨论一下递归法的时间复杂度求解（递归树法）（转载）递归算法时间复杂度的计算方程式一个递归方程： 在引入递归树之前可以考虑一个例子： T(n) = 2T(n/2) + n2 迭代2次可以得： T(n) = n2+ 2(2T(n/4) + (n/2)2) 还可以继续迭代，将其完全展开可得： T(n) = n2+ 2((n/2)2+...
2018-11-11 23:22:49
2533
原创 怎样将自己写的网页放在服务器详解
刚刚学会html怎么做，想要放到云服务上让大家看却不知从何下手？ 没事，我也不会，我是看完我写的这篇文章才会的。 废话不多说，我不知道你目前进展到哪一步，我只是来讲讲我怎么将我的朴（chou）素（lou）的html公布于世。 step1: 注册账号并连接到服务器（我用腾讯云讲述） 腾讯云新人注册会有一个免费使用的时间，我也是...
2018-06-05 16:18:54
14609
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人