木子若鱼-优快云博客

原创 c++相关课程以及书籍（包括计算机网络，操作系统，设计模式，c++，数据库等）

c++书籍《c++ primer》《efficient c++》侯捷译《the c++ standard library》c++课程c++面向对象高级编程侯捷

2020-11-26 17:54:23 356 1

原创 Pytorch 分布式多GPU训练

本文章借鉴于Pytorch官方的TotourialDDP（DistributedDataParallel）：多进程，可单机多GPU训练，可跨设备训练DP（DataParallel）：单进程，多线程，只可单机多GPU训练，但多GPU训练时内存主要占用第一块GPUimport osimport sysimport tempfileimport torchimport torch.distributed as distimport torch.nn as nnimport torch.optim

2021-10-26 15:47:17 470

原创 screen 查看历史输出，方便自己查看

方法先利用ctrl-a [ 进入copy mode。在copy mode下可以回滚、搜索、复制就像用使用 vi 一样。在copy mode下有这些快捷键：C-b ：Backward、PageUpC-f ：Forward、PageDownH： High，将光标移至左上角L：Low，将光标移至左下角0：移到行首$：行末w：forward one word，以字为单位往前移b：backward one word，以字为单位往后移Space：第一次按为标记区起点，第二次按为终点按esc退出c

2021-10-16 18:01:24 2956

原创 python经典小游戏——飞机大战

飞机大战-assets（文件夹，下面存放需要用到的图片和声音资源）-game（文件夹，存放游戏中的类，包括子弹类、飞机类以及战争类）-store（文件夹，定义如何存放结果，以及计算分值和）-constans.py 定义常量-main.py 主程序开始游戏结束资源：链接: https://pan.baidu.com/s/1vdwYA3qGqLhWq8DsaocVTw 提取码: xdck或者（下载连接）TODO...

2021-04-01 14:25:43 443

原创 Get error : “No module named joblib“ when I using blender

参考：https://blender.stackexchange.com/questions/5287/using-3rd-party-python-modules进入到blender目录中，找到python的位置，找到bin的位置。bin目录下有python的可执行文件，我的是python3.7m./python3.7m -m ensurepip./python3.7m -m pip install joblib如果是其他的第三方库，也可以用该办法进行安装。...

2020-11-10 11:19:00 1892

原创进程——进程标识

进程标识每个进程都有唯一的非负整数表示的进程 ID虽然进程ID是唯一的，但是进程ID是可以复用的。当一个进程终止时，其进程ID就成为了服用的候选者。大多数的UNIX系统实现延时复用算法，使得赋予新建进程的ID不同于最近终止进程所使用的ID。这是为了防止将新进程误认为时使用同一ID的某个已终止的先前进程。系统中的一些专用进程交换进程/调度进程（swapper），进程ID为0。该进程是系统进程的一部分，它并不执行任何磁盘上的程序，因此也被称为系统进程。init进程，进程ID为1，它在自举过程结束

2020-11-02 17:57:14 1295

原创创建进程fork——父进程与子进程

fork创建进程fork系统调用是用于创建进程的，并且fork创建的进程初始化状态与父进程一样。（进程空间中的变量）系统会为fork的进程分配新的资源fork系统调用无参数。fork返回两次，（在父进程中）第一次返回子进程id，（在子进程中）第二次返回0 .换句话说就是返回子进程id的是父进程，返回0的是子进程。测试代码...

2020-11-02 17:04:42 7434 2

原创 unix高级环境编程 apue第三版源码编译过程（完整）

环境：ubuntu18.04（有root权限）1.下载源代码第三版：http://www.apuebook.com/code3e.html2.上传到服务器（ubuntu）解压 tar -xvf apue.3e.tar.gz进入目录 cd apue.3e3.下载依赖sudo apt install libc6-devsudo apt-get install libbsd-dev4.尝试makemake遇到错误，没有权限给文件赋予权限chmod 755 systypes.s

2020-10-29 18:10:08 985

原创堆区（heap）和栈区（stack）的区别以及各自运行原理

堆区（heap）和栈区（stack）这里的堆和栈表示的是在操作系统中的内存空间，后面会对数据结构中的堆栈进行比较。数据结构中堆是满足父子节点大小（比如大根堆中规定父节点的值要比子节点大）关系的一种完全二叉树。由于是完全二叉树，可以用数组来实现，用节点编号来访问和操作节点，简化程序，提升效率。而其大小关系则为我们查询堆中极值提供了常数级别的时间复杂度，又由二叉树的性质，插入和删除则为对数级别时间复杂度。数据结构中的栈则是一种相当简单的结构。就像是只有一个口的深深的文件桶，先进去的文件会被压在下面（

2020-10-28 12:30:19 881

原创 tensorboard 远程服务器训练可视化

·在登陆服务器时，使用 ssh -L 16006:127.0.0.1:6006 用户名1@网络地址代替原来的 ssh 用户名1@网络地址·在服务器上运行程序，找到之前提到过的会在目录下生成的日志文件，运行 tensorboard --logdir=xxx --port=6006 这里的xxx表示文件存储的目录·在本地浏览器输入 127.0.0.1:16006 即可在本地显示tensorboard如果端口被占用，可使用命令# 如果找不到lsof命令，则需要下载lsof $ apt-get

2020-09-21 18:12:25 549

原创 caffe 安装出错 fatal error: hdf5.h: 没有那个文件或目录”解决方法

参考自http://blog.youkuaiyun.com/hongye000000/article/details/51043913Step 1在Makefile.config文件的第85行，添加/usr/include/hdf5/serial/ 到 INCLUDE_DIRS，也就是把下面第一行代码改为第二行代码。INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/includeINCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/i

2020-08-13 11:23:06 769

原创 python 保存执行日志logging

python test.py >1.log将输出结果记录到1.log（覆盖写入）python test.py >>1.log将输出结果追加到1.log（每次追加）

2020-07-02 10:51:38 1447

原创 python函数进阶：reduce、filter以及map函数的区别

参考博客：https://www.cnblogs.com/hnlmy/p/9544835.htmllambda 为关键字。filter，map，reduce为内置函数。lambda：实现python中单行最小函数。lambda x: x*x*x相当于def f(x): return x*x*xfilter(function, sequence)对sequence中的item依次执行function(item)，将执行结果为True的item组成一个List/String/Tuple（

2020-05-19 17:42:16 241

原创 python中列表、字典、元组与集合的特点以及差异

1.列表（List）列表的特点1. 数据按顺序存储2. 列表有正序、倒序两种索引3. 列表可存储任意类型的数据，并且允许重复。列表的遍历：lst = [1,2,3]for i in range(len(lst)): print(lst[i])列表的增删改操作列表的缺点：在表达结构化数据时语义不明确（结构化数据是指有明确属性的数据）例如：["张三"，“经理”，“2000-4-24”，39，21000]像上述的结构无法解析2000-4-24到底是什么含义，21000也不明确

2020-05-15 23:53:12 12214 1

原创远程控制服务器，跑代码避免其down掉的办法

使用screen命令。screen -S name 启动一个名字为name的screenscreen -S name -X quit 删除某个sessionscreen -ls 是列出所有的screenscreen -r name或者id，就可以回到某个screen了（如不行先detached： screen -d name）ctrl + a + d 可以回到前一个screen，当时在当...

2020-04-18 20:17:18 524

原创 python pip安装出现问题WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=Non

参考博客：https://blog.youkuaiyun.com/lsf_007/article/details/87931823解决方案：pip install package_name -i http://pypi.douban.com/simple --trusted-host pypi.douban.com其中package_name是自己要安装的包我的是torchvision...

2020-04-15 22:19:11 1270

原创华为暑假实习生面试经历

投递部门：人工智能使能部岗位：AI工程师估计就业务面一轮。简历过了，我也不知道为什么，双非本科+深大研究生。。1.自我介绍，准备了两分钟的，估计背的太慢了，面试官听到后面让我聊下自己做过哪些项目。2.对其中一个项目进行详细的描述。主要是针对一个什么样的需求，然后什么样的数据，数据集大小，什么模型，为什么选择这个模型，简单介绍一下这个模型，有没有其他的模型进行对比。最后结果如何，两大标准：...

2020-04-02 09:56:25 2731

原创计算机网络第十课：数据链路层的三个基本问题（第三章）

1.封装成帧封装成帧就是在一段数据的前后分别添加首部和尾部，然后构成一个帧，确定帧的界限。首部和尾部的一个重要作用就是进行帧定界。确定头部和尾部的界限从网络层得到IP数据报/IP数据包，然后加上帧的首部和帧的尾部，这就是封装成帧的过程。2.透明传输如何防止帧的数据部分中含有帧首部（SOH）和帧尾部（EOT）？如果原始数据中含有SOH和EOT，那么在SOH和EOT前面进行填充ESC...

2020-03-28 17:41:06 803

原创计算机网络第九课：数据链路层基础概念（第三章）

数据链路层基本概念和基本问题数据链路层信道类型：1.点到点信道2.广播信道链路和数据链路：1.链路：是一条点到点的物理线路段，中间没有任何其他的交换结点。一条链路只是一条通路的一个组成部分2.数据链路：除了物理线路外，还必须有通信协议来控制这些数据的传输。若把实现这些协议的硬件和软件加到链路上，就构成了数据链路。数据帧看下图：数据链路层传送的是数据帧数据帧由帧头+校验...

2020-03-28 15:56:38 240

原创第八课：物理层基本概念（第二章）

物理层基本概念物理层主要定义了：1.机械特性：如接口形状、大小等2.电气特性：例如规定电压范围（-5V~+5V）3.功能特性：例如规定-5V表示0 +5V表示14.过程特性：也称为规程特性，规定建立连接时各个相关部件的工作步骤。典型的数据通信模型：...

2020-03-28 15:27:48 434

原创第七课：计算机网络性能

1.速率连接在计算机网络上的主机在数字信道上传送数据位数的速率，也称为data rate或bit rate，单位是b/s, kb/s, Mb/s, Gb/s.01011001011000每一位是一个比特 bit 8M带宽 800K/s2.带宽数据通信领域中，数字信道所能传送的最高数据率，接口支持最大的传输速度3.吞吐量在单位时间内通过某个网络的数据量4.时延包括发送时延、传播时...

2020-03-21 16:17:59 352

原创第六章：OSI参考模型

OSI参考模型（国际标准化组织）把计算机通讯分为了七层应用层所有能够产生网络流量的程序（比如qq）表示层在传输之前是否进行加密或者压缩处理（传输之前的操作，比如qq聊天信息以及视频等）（开发人员进行开发的）二进制或者ASCII码会话层查木马 netstate -n netstate -nb传输层可靠传输流量控制不可靠传输（域名解析、qq聊天）网络层...

2020-03-15 21:19:26 300

原创计算机网络第四课和第五课：数据包和数据帧以及数据发送

大部分的信息我在图里面都已经写到了。这里再陈述一遍。数据包：数据+发送IP+接收IP数据帧：数据+发送IP+接收IP+当前发送物理地址+下一次接收的物理地址（这样写比较准确，因为在传输过程中是需要不断改变MAC地址）...

2020-03-15 14:07:58 452

原创计算机网络第三课：规划IP地址介绍MAC地址

DNS 解析域名，将网站名称改成IP地址。如图：解析网页如何到达客户端。1.全球的计算机都要有IP地址。跟电话号码一样，统一规划，无重复。一个区域用一个网段。比如：分网络部分和主机部分（主机部分中第一个为路由器的地址）。13.0.0.0子网掩码：255.0.0.0（255告诉那部分是网络部分），这个表示13为网络部分如图：...

2020-03-14 17:00:25 465 1

原创计算机网络第二课： Internet和广域网

Internet是由许多ISP运营商组成，有自己的机房，对网民提供访问Interenet链接上一课说的局域网是覆盖范围小，自己维护，并且带宽固定，一般为10M 100M 1000M 距离不能超过100米广域网的话距离远，并且花钱租带宽，由其他人（一般是运营商公司）维护，带宽不固定，钱多带宽大。看图：中间像云一样的由非常多路由器组成的就是internet。假设有网通机房和电信机房，如果...

2020-03-14 16:11:11 527

原创计算机网络第一课：局域网

局域网视频资源：计算机网络第一课在视频当中，表示的特别清楚。每个教室假设有六台电脑，如果有三间教室的电脑都需要联网，那么如果说网络设备在走廊的另一边，那么这十八台电脑连到对面路由器实在需要太多网线了，而且也不方便管理，因此，有了以下的连接方式。1.在每间教室加一个交换机，也就是接入层路由器，然后将该教室的电脑都连接在这个路由器上即可。（并且接入层路由器与电脑之间的距离不能超过100m）2...

2020-03-13 20:07:01 448 1

原创计算机网络课程目录（持续更新中...）

因为后面可能需要找工作了，所以要准备一些基础知识，这个是补习计算机网络的目录，为了督促自己学习。（争取每天更新四章）课程链接：计算机网络第一课：局域网第二课：Internet和广域网第三课：规划IP地址介绍...

2020-03-13 18:36:00 934

原创无root权限在ubuntu16.04安装python3.6 并创建python3.6的虚拟环境

参考博客：https://blog.youkuaiyun.com/lfs666666/article/details/88901543当使用服务器时，没有办法使用sudo也就是root权限，但是有些环境必须要安装，于是我就自己试试安装python3.6然后创建3.6版本的虚拟环境。1.下载python3.6.10版本（地址：https://www.python.org/downloads/release/...

2020-03-03 20:29:41 1191 1

原创查看PID对应的进程

nvidia-smi得到PIDps -aux |grep -v grep|grep PID_NUM查看PID_NUM进程对应的文件夹以及使用者PID_NUM为数字例如34024

2020-02-21 16:54:28 5498

原创 win系统+python3.6+opencv+dlib+face_recognition安装记录（anaconda环境中完整版）

目录1.创建anaconda python3.6环境（一定要python3.6 否则很多坑）2.安装opencv3.安装dlib4.安装face_recognition1.创建环境conda create --name your_env_name python==3.6.0your_env_name填写自己的环境名称，例如我写的是py362.安装opencvpip insta...

2020-02-19 16:18:21 495 2

原创 keras--超参数搜索

搜索策略：1.网格搜索2.随机搜索3.遗传算法搜索4.启发式搜索1.网格搜索离散值代入，如上图所示，learning rate 有四个离散值，dropout rate 有四个离散值，组成16个组合。每个方格对应一组超参数一组一组参数尝试2.随机搜索网格搜索缺点：只能取固定的值，最优的值可能在其他位置随机搜索是随机产生值，可搜索空间更大3.遗传算法搜索遗传算法是独立算法。...

2020-01-29 13:47:34 861

原创知识点：归一化与批归一化

最常见的归一化：1.将输入数据x_train,x_valid,x_test归一化为均值为0，方差为1的数据。2.min-max归一化：x*=(x-min)/(max-min)3.Z-score 归一化：(x-均值)/方差批归一化：在神经网络中，对每一层的激活值都做归一化...

2020-01-02 11:17:21 759

原创 1.tensorflow2.0-keras分类模型（初步实现->使用归一化）（fashion-mnist数据集）

环境：tensorflow2.0keras1.导入库import matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport sklearnimport pandas as pdimport osimport sysimport timeimport ...

2020-01-02 10:30:08 1420

原创 tensorflow学习目录

初级课程：1.张量、计算图和会话2.前向传播3.反向传播4.损失函数：激活函数，交叉熵，softmax函数5.学习率 learning rate6.滑动平均7.正则化8.神经网络搭建八股9.卷积神经网络高级：8.简单线性模型9.CNN（mnist）10.mnist改进11.tensorboard12.dropout13.mnist交叉熵损失函数14.非线性回归1...

2019-12-30 16:52:59 369

原创 tensorflow 18 验证码生成

from captcha.image import ImageCaptchaimport numpy as npfrom PIL import Imageimport randomimport sysimport osnumber = [str(i) for i in range(10)]# 随机生成4个字符def random_captcha_text(char_set=nu...

2019-12-30 16:29:38 172

原创 tensorflow 17 google图像识别网络下载inception-v3并查看结构

import tensorflow as tfimport osimport tarfileimport requestsinception_pretrain_model_url = 'http://download.tensorflow.org/models/image/imagenet/inception-2015-12-05.tgz'inception_pretrain_mod...

2019-12-30 14:35:09 204

原创 tensorflow 16- 保存和载入模型

保存模型saver = tf.train.Saver()with tf.Session() as sess: sess.run(init) ......省略训练过程 saver.save(sess,'net/mymodel.ckpt')载入模型saver = tf.train.Saver()with tf.Session() as sess: sess....

2019-12-30 13:11:31 203

原创 tensorflow 15-RNN（lstm+mnist实现）

参考视频：https://www.bilibili.com/video/av20542427?p=23import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist=input_data.read_data_sets('MNIST_data',one_hot=True)#初始化权...

2019-12-30 11:21:04 318

原创（二）组合数学之Schroder数

1.HVD路径从（0，0）到（p，q）的格路径上，不仅可以向上H和向右走R，还可以走对角线D，其格路径数称为HVD路径。即从（p+q-r）步中选r步走对角线，p-r步向右，q-r步向上。（这里有个误区，其实是p+q-r，不是p+q-2r，因为r是对角线，相当于是走了两步的，一步向上一步向右）2.Schroder路径...

2019-12-27 20:58:01 2023

原创（一）组合数学之格路径数

参考博客：https://www.cnblogs.com/rhythmic/p/5988529.html1.格路径假设向上走为H，向右走为R，则从（r，s）到（p，q）的一条格路径为：H,R,H,R,H,R,H,R.即从p+q-r-s中选p-r个H。因此，从( r ,s )到（p，q）的矩形格路径的数目是等于二项式系数:2.下对角线格路径从（r，s）到（p，q）但不能经过x=y...

2019-12-26 21:52:39 2395