- 博客(61)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Mac iTerm2配置rz和sz命令
安装并配置lrzsz要先安装brewbrew install lrzszbrew list lrzsz #查看lrzsz安装位置在/usr/local/bin目录下创建或下载两个文件，这里给出创建方式。cd /usr/local/binvi iterm2-send-zmodem.sh内容如下：#!/bin/bashosascript -e 'tell application "iTerm2" to version' > /dev/null 2>&1 &
2021-07-14 18:23:23
820
原创 xgboost算法原理
xgboost原理：https://www.jianshu.com/p/7467e616f227CART树：https://blog.youkuaiyun.com/e15273/article/details/796485021.xgboost就是一个监督模型，其对应的模型就是一堆CART树。将每棵树的预测值加到一起作为最终的预测值，可谓简单粗暴。2.xgboost在特征粒度上可以并行计算。Q：xgboost为什么使用CART树而不是用普通的决策树呢？对于分类问题，由于CART树的叶子节点对应的值是一个实际的
2021-03-31 16:42:13
604
原创 mac M1安装tensorflow
适用机型：macOS Big Sur 11.1，M1芯片截止到目前，apple出了mac arm版的tensorflow，仅支持python3.8。python3.9也能支持arm，而python3.8及以下不支持。因此只能选择通过arm版conda创建python3.8虚拟环境，使用创建的arm python3.8安装TensorFlow。安装conda此处下载arm版Miniforge3bash Miniforge3-MacOSX-arm64.sh激活conda的环境变量vim ~/.b
2021-03-23 20:21:34
3553
2
原创 mac BigSur解决系统文件只读问题
本文档适用机型：mac M1芯片，macOS Big Sur 11.1版本问题macOS Big Sur升级了系统保护，系统分区无法使用命令sudo mount -uw /重挂载为读写，导致系统文件无法修改，如下：原因首先使用以下命令查看磁盘分区挂载情况：其中disk3s1s1即为系统分区disk3s1的快照，以上可知，根目录是从只读权限的快照进去的，因此root用户也无法修改系统文件。解决方案方案一重命名快照，重挂载系统分区为读写，具体操作可参考https://iosre.com/t/
2021-03-22 15:31:29
8344
12
原创 GPT-2
GPT-2的功能就是预测文字。OpenAI 的研究员为了实验研究，从网上收集了40GB大的数据集（名为WebText），对GPT-2进行了训练。就存储大小而言，训练的GPT-2中规模最小的也需500MB空间才能存储其所有参数，最大的所需空间是其13倍，那也就是说存储空间约6GB。模型结构GPT-2是通过transformer解码器模块构建的，模块堆得尽可能高，输入海量的训练文本，再进行大量运算。如下图，小规模的 GPT-2 模型堆叠了 12 层，中等规模的是24 层，大规模的是36 层，还有一个特大规模
2020-11-30 18:18:31
2700
原创 Unilm
UniLM论文全名为Unified Language Model Pre-training for Natural Language Understanding and Generation，译为自然语言理解与生成的统一预训练语言模型，来自于微软研究院。论文https://arxiv.org/abs/1905.03197源码https://github.com/microsoft/unilm模型简介UniLM，既可以应用于自然语言理解（NLU）任务，又可以应用于自然语言生成（NLG）任务。UniLM
2020-11-30 18:16:13
463
原创 基于检索的聊天机器人之TripleNet
多轮对话中基于检索的聊天机器人主要用于特定情景的聊天回复。TripleNet源码地址https://github.com/wtma/TripleNetTripleNet论文地址https://www.aclweb.org/anthology/K19-1069.pdf数据集TripleNet的数据集分别有douban corpus(中文)和ubuntu corpus(英文)，由于我们不训练英文模型，这里只介绍douban corpus。douban corpusdouban corpus可分为三部
2020-09-11 15:21:03
411
原创 关键词提取
关键词提取技术调研目前比较常用的关键词提取算法都是基于无监督算法。对数据的要求低，不需要人工标注语料辅助训练。如TF-IDF算法和TextRank算法。TF-IDF算法TF-IDF是一种数值统计方法，用于反映一个词对于预料中某篇文档的重要性，它的主要思想为：如果某个词在一篇文档中出现的频率高，即TF高；并且在其他文档中很少出现，即IDF高，则认为这个词具有很好的类别区分能力。TextRank算法此种算法的一个重要特点是可以脱离语料库的背景，仅对单篇文档进行分析就可以提取该文档的关键词。基本思想来
2020-09-11 15:01:57
554
原创 python内存管理--深拷贝和浅拷贝
python内存浅析栈内存区【stack】：用于直接分配数据，存取数度较快，数据存储不稳定，适用于小数据块的快速存取，一般在程序中用于存储变量数据。方法区【data】：主要用于加载程序中的代码数据、二进制数据、方法数据等等程序运行需要的预加载数据静态区【static】：主要用于加载存储程序中的一些静态数据、常量数据等等，在PYTHON中的不可变数据类型的数据也会存储在静态常量区内存中堆内存【heap】：存储数据稳定持久，一般用于存储加载较为重量级的数据，如程序运行过程中的对象都是存在堆内存中的一
2020-08-17 20:33:41
325
原创 ubuntu升级gcc-7
1.查看当前gcc版本gcc --version2.升级gcc sudo add-apt-repository ppa:ubuntu-toolchain-r/test sudo apt-get update sudo apt-get install -y g++-7 3.对gcc更换软连接cd /usr/bin sudo rm -r gcc sudo ln -sf g...
2019-10-30 18:25:34
2757
原创 谷歌efficientnet加速模型解读
谷歌在2019年5月发表了新论文 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks ICML 2019这篇论文主要讲述了如何利用复合系数统一缩放模型的所有维度，达到精度最高效率最高，符合系数包括w,d,r，其中，w表示网络宽度；d表示网络的深度；r表示分辨率大小.谷歌开源了tensorflow代码(...
2019-09-03 16:05:21
1910
6
原创 TPU张量处理器
2017年4月,谷歌公布了张量处理器（TPU）的论文——TPU 已经在谷歌数据中心内部使用大约四年，而且TPU 在推理方面的性能要远超过 GPU（“尽管在一些应用上利用率很低，但 TPU 平均比当前的 GPU 或 CPU 快15-30倍，性能功耗比高出约 30~80 倍”）CPU GPU TPU的工作原理CPU 如何运行CPU 最大的优势是灵活性。通过冯诺依曼架构，我们可以为数百万的不同应...
2019-07-31 18:30:20
4278
原创 Deep Learning三种梯度下降方式：批量batch，随机stochastic，小批量mini-batch
批量梯度下降法（Batch Gradient Descent）在每次更新参数时都会将全部数据集计算一遍。 优点：全局最优解，能保证每一次更新权值，都能降低损失函数；易于并行实现。 缺点：当样本数目很多时，训练过程会很慢，计算量开销大，不支持在线学习。随机梯度下降法（Stochastic Gradient Descent）每计算一个样本就更新一次参数。如果样本量很大的情况（例如几十万）...
2019-07-29 18:00:12
689
转载 arm架构和x86架构的区别
一、性能X86结构的电脑无论如何都比ARM结构的系统在性能方面要快得多、强得多。X86的CPU随便就是1G以上、双核、四核大行其道，通常使用45nm（甚至更高级）制程的工艺进行生产；而ARM方面：CPU通常是几百兆，最近才出现1G左右的CPU，制程通常使用不到65nm制程的工艺，可以说在性能和生产工艺方面ARM根本不是X86结构系统的对手。但ARM的优势不在于性能强大而在于效率，ARM采用RI...
2019-07-29 11:42:11
660
原创 linux软链接和硬链接的区别
硬链接ln f1 f2 #创建f1的一个硬连接文件f2硬连接指通过索引节点来进行连接。在Linux的文件系统中，保存在磁盘分区中的文件不管是什么类型都给它分配一个编号，称为索引节点号(Inode Index)。在Linux中，多个文件名指向同一索引节点是存在的。比如：A是B的硬链接（A和B都是文件名），则A的目录项中的inode节点号与B的目录项中的inode节点号相同，即...
2019-07-23 17:59:32
276
原创 docker深度学习环境部署:docker+nvidia-docker构建tensorflow/pytorch/mxnet镜像
前面小C已经给出了很多深度学习环境的安装教程,但是每次来个新机器都要重新装一遍,既枯燥又耗时,下面介绍docker方法:一次构建,多次运行.并且保证运行环境和开发环境保持一致.更多的docker知识请搜索度娘.下面介绍用docker构建深度学习环境镜像.宿主机已安装:ubuntu16.04LTS, nvidia-390.59显卡驱动一、安装 Docker参考官网 https://mirror...
2019-06-10 14:50:57
3684
11
原创 ubuntu16.04更换清华源
ubuntu系统自带的镜像源速度特别慢,并且有些包无法下载.推荐使用清华源,下载速度很快.找到镜像源的存放文件,并备份cd /etc/apt/sudo cp sources.list sources.list.baksudo vim sources.list将下面内容覆盖掉原文件内容# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释deb htt...
2019-06-10 14:40:01
8730
原创 ubuntu安装软件时报错:E: Sub-process /usr/bin/dpkg returned an error code (1)
最近在ubuntu安装软件时报错:dpkg: error processing package apport (--remove): package is in a very bad inconsistent state; you should reinstall it before attempting a removalErrors were encountered while pro...
2019-05-31 17:42:53
1279
原创 ubuntu16.04使用GParted对/根目录扩容
本文使用图文并茂的方式,提供让你一看就明白的扩容教程,并且超级安全,不用担心系统损坏或文件丢失啦~首先安装gparted: sudo apt-get install gparted. 启动gparted:sudo gparted,或者在Dash里搜索gparted打开,看到如下界面:点击右上角, 选择当前磁盘(小C这里是250G固态和1T机械,ubuntu装在机械硬盘里),如下图:可以看到3...
2019-05-16 19:33:45
25975
14
原创 关于linux的一些想法
一. 理解1.众所周知,windows系统可分区且可分盘. 然而linux没有分区一说,我们所听到的分区不过是逻辑概念. 也即是linux只能占用磁盘一块区域,且只能在一块硬盘上.2./根目录与/dev /media等只是节点之间的联系,并不会实现空间的共享.若安装系统时给定了/home和/usr的容量,那么它们与根目录之间也没有空间共享,其中一个空间不足就会报错.若没有给定,则系统给它们动态...
2019-05-16 17:45:39
248
原创 ubuntu16.04安装搜狗拼音输入法
Tips:很多教程安装sougou过程很复杂,这里给出一种超级简单超级稳妥的方法,让你的安装过程妥妥得~首先去官网https://pinyin.sogou.com/linux/?r=pinyin下载安装包sogoupinyin_2.2.0.0108_amd64.debsudo apt updatesudo apt install gdebisudo gdebi sogoupinyin_2....
2019-05-14 17:41:37
237
原创 ubuntu16.04源码安装python3.6及卸载的坑
Tips:ubuntu16.04系统自带python2.7和python3.5,安装在/usr/bin下,千万不能删除.为了方便管理可以把python3.6安装在/usr/local/bin下.然后把python3.6和pip3软连接到/usr/bin下.一 安装依赖库sudo apt-get install gcc make zlib1g-devsudo apt-get install l...
2019-05-14 17:08:25
7104
2
原创 分辨率越高,视频的帧率越低
换了台2080ti的主机,重装深度学习环境,从摄像头读取视频,发现分辨率越高,视频的帧率越低,480p的帧率30fps,720p的帧率15fps,1080p的帧率10fps.猜测是显卡或主板相关配置更改了摄像头的默认编码方式.只需加上第一行即可:cap.set(6,cv2.VideoWriter.fourcc('M','J','P','G')cap.set(3,480)cap.set(4,...
2019-03-29 09:57:57
3413
原创 ubuntu更改默认启动内核及禁止自动更新内核
ubuntu开机的时候，会默认使用最高版本的内核。但它保存所有以前版本的内核。可以在启动时在GRUB菜单中手动选择以前的版本。不过每次开机都要选择很麻烦。我们可以更改默认内核。1.sudo gedit /etc/default/grub2. 将文件中的GRUB_DEFAULT=0改为GRUB_DEFAULT=”1> 12”。使用 ‘>’ 符号来指定有一个子菜单，注意符号 >...
2019-03-28 11:09:30
6148
原创 2080ti+ubuntu18.04+nvidia410.93+cuda10+cudnn7.3.1+tensorflow1.12+mxnet-cu100
一 安装nvidia驱动410.931.禁止nouveau驱动$ sudo vi /etc/modprobe.d/blacklist.conf 写入下面5行代码，保存并退出 blacklist nouveau blacklist lbm-nouveau options nouveau modeset=0 alias nouveau off alias lbm-nouveau off...
2019-01-21 16:16:10
4791
原创 在Ubuntu打开Windows文件显示乱码
1、转换文件内容编码Windows下天生的纯文本文件，其中文编码为GBK，在Ubuntu下显示为乱码，可以使用iconv命令进行转换：iconv -f gbk -t utf8 source_file > target_file2、转换文件名编码Windows下压缩的zip文件，在 Ubuntu下解开时，中文文件名会显示乱码，可以用convmv解决。安装convmv：sudo ap...
2018-11-29 14:16:45
1112
原创 Centos7服务器上配置GPU的tensorflow:用--enable-shared的方式编译python3.6出现的问题
用以下代码重新编译python生成动态链接库cd /usr/local/Python-3.6.4./configure --enable-sharedmakemake install进行到最后一步时报错:AttributeError: '_NamespacePath' object has no attribute 'sort' 此时,使用python命令报错:加载共享库时出错：l...
2018-08-06 15:57:11
834
原创 Ubuntu下tensorflow的GPU配置:在ppa源中安装显卡驱动
在Ubuntu下安装显卡驱动有两种方式: 1.下载.run驱动包安装,适合桌面版Ubuntu,安装方式见链接https://blog.youkuaiyun.com/carina_cao/article/details/78875981 2.在ppa源中安装显卡驱动,适合服务器版Ubuntu,下面介绍安装方式: 2.1 禁止系统自带的nouveau,方式参考上面的链接,重启后使用ls mod | grep...
2018-08-02 18:13:19
820
原创 Centos7服务器上配置GPU的tensorflow：多版本误删python和pip问题
服务器上装了太多python版本，整理了一下。 /usr/bin/python2.7 /usr/bin/python3.6(3.6.3) /usr/local/bin/python3.5(3.5.4) /usr/local/bin/python3.6(3.6.4) 因为不小心误删了/usr/bin/python3.6和/usr/local/bin/python3.5，要找回它们，告诉大家...
2018-07-19 11:54:26
370
原创 Ubuntu系列：终端挂载/卸载U盘，删除/复制U盘中的文件
使用下面的命令查看U盘设备名$ sudo fdisk -l挂载U盘$ sudo mount -t vfat /dev/sdc4 /media //U盘是fat32格式的$ sudo mount -t nfs /dev/sdc4 /media //U盘是NTFS格式的进入挂载路径查看U盘内容$ cd /media $ ls卸载U盘$ sudo umoun...
2018-06-29 15:32:36
1803
原创 Centos7服务器上配置GPU的tensorflow：python3安装pyaudio的坑
用# pip install pyaudio 命令安装python3.6的pyaudio包报错：fatal error: portaudio.h: No such file or directorycompilation terminated.error: Setup script exited with error: command 'gcc' failed with exit stat...
2018-06-29 14:03:39
1043
原创 Centos7服务器上配置GPU的tensorflow:报错ImportError: No module named '_tkinter‘
原因：缺少_tkinter模块 使用下面的命令查看是否有相应模块，若没有添加上即可。# yum list installed | grep ^tk解决：安装相应模块# yum install -y tkinter# yum install -y tk-devel重新编译python# cd /usr/local/Python-3.6.4 //进入自己的python目录...
2018-06-29 10:13:22
538
原创 Centos7服务器上配置GPU的tensorflow:使用ssh登录服务器，一段时间不操作会卡住
在终端使用ssh连接服务器，一段时间没有操作，终端就卡住了，只能退出再重新连接。 原因是 linux 的安全问题,如果 60s 内没用任何数据,会自动断开. 解决方法$ sudo vim /etc/ssh/ssh_config //从本地打开，添加下面两行ServerAliveInterval 50ServerAliveCountMax 3 $ sudo vim /etc/ssh/...
2018-06-28 18:02:38
404
原创 Centos7服务器上配置GPU的tensorflow:使用ssh登录服务器
使用下面的命令生成公钥和私钥ssh-keygen出现下面几行Generating public/private rsa key pair.Enter file in which to save the key (/home/usera/.ssh/id_rsa): //可以把id换成自己的名字，这个名字就是登录服务器的账户名，不换就回车。Created directory '/ho...
2018-06-28 17:55:26
660
原创 Centos7服务器上配置GPU的tensorflow:scp命令详解及报错permission denied(publickey)，从本机上传到服务器
从本机上传东西到服务器，使用scp命令很方便，前提是本机登录服务器需要ssh连接。在本机上执行：scp -P 55×× -r /home/caohz/cudnn-9.0-linux-x64-v7.tgz root@193.112.××.××:share-P：使用端口 55××：服务器端口号 /home/caohz/cudnn-9.0-linux-x64-v7.tgz：需要上传的文件路径...
2018-06-28 17:31:16
707
原创 Centos7服务器上配置GPU的tensorflow:使用yum命令报错 File “/usr/bin/yum”, line 30 except KeyboardInterrupt
修改了python的软链接会影响yum命令，报错 File “/usr/bin/yum”, line 30 except KeyboardInterrupt 解决方法：# vi /usr/bin/yum //修改下面这行，将python版本指向以前的旧版本#!/usr/bin/python2.7 # vi /usr/libexec/urlgrabber-ext-down ...
2018-06-28 17:14:23
492
原创 Centos7服务器上配置GPU的tensorflow
由于是在服务器上安装，所以下载软件有点不方便，其他的跟 ubuntu下Tensorflow的GPU配置:https://blog.youkuaiyun.com/carina_cao/article/details/78875981一样。踩过这么多坑，渐渐地竟然成安装高手了，哈哈！ tip:本文全部是在服务器的root用户下操作的，因为个人用户没有安装权限啊。一 安装显卡驱动# yum -y in...
2018-06-28 17:10:51
1739
原创 Ubuntu下的tensorflow:ubuntu16.04+python+opencv调用usb摄像头
摄像头为罗技c930e。使用下面代码安装guvcview，在/dev下输入guvcview命令就可以了！是不是很简单， 比cheese好使哦～$ sudo add-apt-repository ppa:pj-assis/ppa $ sudo apt-get update $ sudo apt-get install guvcview$ cd /dev$ guvcview附: ...
2018-06-25 14:28:50
3912
3
原创 Centos7下tensorflow的CPU配置：python2和python3共存，pip3无法使用command not found
Ubuntu16.04系统自带两个Python：python2.7和python3.5，都在/usr/bin目录下。 Centos7系统自带python2.7，也在/usr/bin目录下。假如安装python3.5在/usr/local/bin目录下。安装好的pip3无法使用。出现下面的情况：sudo: pip3: command not found这是因为系统寻找pip命令只会在/us...
2018-06-17 17:53:53
1373
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人