404 NOT FOUND

原创 监控有空闲资源的GPU并发送邮件

助你不浪费资源NOTE打开POP3/SMTPgetpass;re;smtplib;socket;subprocess;time;emaillinux运行注意事先检查服务器是否可以访问外网CODEimport getpassimport reimport smtplibimport socketimport subprocessimport timefrom email.mime.text import MIMETextimport numpy as npdef log

原创 Expected to have finished reduction in the prior iteration before starting a new one.

Expected to have finished reduction in the prior iteration before starting a new one. This error indicates that your module has parameters that were not used in producing its output (the return value of forward). You can enable unused parameter detection .

原创 devtoolset安装gcc的坑

本文日期：20200508Software Collections 官网镜像源例如：https://www.softwarecollections.org/en/scls/rhscl/devtoolset-4/按照指引安装可能遇到问题比如我这里安装gcc5 用的devtoolset-4，但是这里的源里已经没有了，就会报找不到的错。google搜了一下，都没找到有效解决办法。后来检查了下centos-release-scl的镜像，发现官方不提供devtoolset-4了，直接是7起步了。所以

原创 video大体数据集

大体数据集情况video classifificationfullysupervised, whole-clip, forced-choice video classififierstrim的单个动作样本，适合训练分类器KTHWeizmannHollywood-2HMDBUCF101large-scale video classifification也是单个动作样本，规模大...

原创 spatio-temporal localization方法

前言: 光流，backbone等等这种的发展就不说了，主要说下大的发展的变化早期是单帧检测，然后把结果连接起来。不同方法backbone不同，有的也用了光流，比如[1]由于单帧缺少对时序信息的挖掘，最近的方法是在做检测时用到时间信息。代表性的有1>ACT [2] 将多帧结果堆叠回归一个立方的proposal也就是说类似于做了proposal层面的tube(作者把它叫做...

原创 tensorrt libnvinfer.so.5 libcublas.so.9.0

安装tensorrt后，在import tensorrt时出现libnvinfer.so.5: cannot open shared …libcublas.so.9.0: cannot open shared object file: No such file or directory等错误把下面两行加入.bashrcexport LD_LIBRARY_PATH="$LD_LIBRA...

原创 pytorch dataloader num_workers

Notenum_workers是多进程执行的，其中子进程全是守护进程；pin_memory是多线程的。其中每个worker加载一个batch的数据选择num_workers如果使用pin_memory：此时是把所有数据放到host内存的固定区域，所以会一次性加载完所有数据，此时num_workers应该根据你的总数据量来设置，来达到最快的速度，比如设置：数据量 = batch_size...

原创 rsync传输文件 删除文件

rsync -a /dir1/ /dir2/（注意/dir1/最后一个斜杠不能省略，否则会把dir1这个父目录也同步dir2，这个坑一定要注意）-u如果只想用dir1替换dir2中同名的文件加此参数--ignore-existing如果要保存dir2中的同名文件，加此参数--remove-source-files加这个参数在同步过程中，会把dir1的删掉...

原创 为什么RGB图不使用3D卷积？

首先说明2D和3D不是指的卷积核的维度，而是输出的维度其实从输出维度遵从直觉，必然是输出的维度意味着做卷积运算的维度，意味着更"重要"原理上说2D是在RGB的三个通道上(其实不必被这个限制住，如果这里的输入的深度维度不是3，是5，10甚至更多)，做点乘然后相加，类似于全连接，而不在第三个维度做类似于前两个维度的卷积运算。之所以RGB图像不用3D卷积（不是不能用），也就是说不用在三个通道上...

原创 python os 创建文件/目录 同名处理

import osindex = ''while True: try: os.makedirs('../hi'+index) break except WindowsError: if index: index = '('+str(int(index[1:-1])+1)+')' # Append 1 to ...

原创 最简单 安全 高效的 nvidia 驱动 pytorch tensorflow keras cuda安装

注：windows务必使用管理员权限这里使用pyenv + anaconda 管理ref：https://blog.youkuaiyun.com/huuuuuuuu/article/details/88530215https://blog.youkuaiyun.com/huuuuuuuu/article/details/84109295pyenv（windows跳过此部分）安装mac：(ref...

原创 undefined symbol: nvrtcGetProgramLogSize

莫名其妙 import torch,出现undefined symbol: nvrtcGetProgramLogSize错误解决方法：卸载conda uninstall pytorchconda uninstall libtorchpip uninstall torchpip uninstall torch # 两遍安装conda install pytorch cuda80 -...

原创 最简单的最省事的win10 tensorflow-gpu安装

最简单的最省事的win10 tensorflow-gpu安装注意：使用管理员权限的CMD1. 官网安装anacondaanaconda官网2. 更新anaconda包C:\Users\admin> conda update condaC:\Users\admin> conda update anacondaC:\Users\admin> conda update...

原创 强化学习概括

1. 概括图2. 基本方式1. 策略学习 Policy learningstate->action 叫做一个policy相当于每个state做了个action的分类，即找到最好的policyinput: state(界面，图片等)output: <action0, 70%>, <action1, 20%>, <action2, 10%>…...

原创 Keras return_state和return_sequences

1.常见的4中结构one to one:model.add(Dense(output_size, input_shape=input_shape))one to many:model.add(RepeatVector(number_of_times, input_shape=input_shape))model.add(LSTM(output_size, return_seq...

转载 词向量与Embedding究竟是怎么回事？

词向量，英文名叫Word Embedding，按照字面意思，应该是词嵌入。说到词向量，不少读者应该会立马想到Google出品的Word2Vec，大牌效应就是不一样。另外，用Keras之类的框架还有一个Embedding层，也说是将词ID映射为向量。由于先入为主的意识，大家可能就会将词向量跟Word2Vec等同起来，而反过来问“Embedding是哪种词向量？”这类问题，尤其是对于初学者来说，应该是...

原创 《统计学习方法》课后题

这个同学总结了：https://sine-x.com/statistical-learning-method/

转载 最大熵模型

1.什么是最大熵原理例子1:假设随机变量X有5个取值{A,B,C,D,E},要估计各个值的概率P(A),P(B),…,P(E). 这些概率值满足条件P(A)+P(B)+P(C)+P(D)+P(E)=1 但是满足这个条件的概率分布有无数个。如果没有其他信息,一个可行的办法就是认为他们的概率都相等,均为0.2。 如果再加一个条件P(A) + P(B) = 0.3,那么各个值的概率为多少?...

原创 CUDA安装以及基于pyenv和anaconda的TensorFlow和PyTorch安装与环境配置

基于pyenv和anaconda的TensorFlow和PyTorch安装与环境配置1.CUDA配置UbuntuWindowsmacOs2.TensorFlow安装与配置UbuntuWindowsmacOS3.PyTorch安装与配置UbuntuWindowsmacOS1.CUDA配置Ubuntu1.推荐16.04版本Ubuntu2.NVIDIA显卡驱动安装（通过ppa，当前推荐3.7....

转载 Sklearn-RandomForest随机森林

在scikit-learn中，RandomForest的分类类是RandomForestClassifier，回归类是RandomForestRegressor，需要调参的参数包括两部分，第一部分是Bagging框架的参数，第二部分是CART决策树的参数。sklearn官网地址（RandomForestClassifier）：http://scikit-learn.org/stable/mod...

原创 计算机网络 重点总结

转载 模拟退火算法案例

2018年的华为软件精英挑战赛题目简介：给出华为云虚拟机过去的租借数量历史数据，用以训练模型并预测下一个时间段里的虚拟机租借数量，然后把这些预测得到的虚拟机装填进一定规格的物理机中，即分为预测和装填两个部分。 总结一下装填部分使用的模拟退火算法：算法原理装填的基础算法是FF（首次适应算法），而虚拟机的序列会影响FF算法的装填效果。比较明显的是FFD把序列降序之后再使用FF算法往往效...

原创 Hadoop 读取文件源码分析

转载 算法、技术及其它

在和刘同学长谈之后，我再次对前一段时间的想法进行了反思，结合聊天中的新感受，整理在这里。（注：标题里的算法，指机器学习算法，或者说“算法工程师”这个职位名称里的“算法”，不是“算法与数据结构”里的那个算法。谁能告诉我有没有什么更好的名字来区别这它们，或许是“机器学习算法”与“传统算法”？）

原创 最近邻 相关推荐

#余弦相似度#相似度计算,inA、inB都是行向量 import numpy as np from numpy import linalg as la from sklearn.neighbors import NearestNeighbors M=np.array(["你吃饭了吗","今天的花儿很好看","简直不能更完美","你喜欢吃辣椒吗","天气很完美","这个花儿长的像辣

原创 jieba分词，并去除所有标点

# encoding=utf-8import jiebaimport reclass Scan(object):    def __init__(self,path):        self.path = path    def scan(self):        r = '[’!"#$%&\'()*+,-./:;?@[\\]^_`{|}~]+'

原创 jedis使用

jedis是官方首选的java客户端开发包 Github地址:https://github.com/xetorthio/jedis下载 jedis-xxx.jar (http://mvnrepository.com/artifact/redis.clients/jedis)下载 commons-poolx.x.x.jar (http://mvnrepository.com/artifa

转载 mapreduce和shuffle详解

Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在

原创 wireshark常用过滤器配置

tcp[13]&32==32 设置了URG位的TCP数据包tcp[13]&16==16 设置了ACK位的TCP数据包tcp[13]&8==8 设置了PSH位的TCP数据包tcp[13]&4==4 设置了RST位的TCP数据包tcp[13]&2==2 设置了SYN位的TCP数据包tcp[13]&1==1 设置了FIN位的TCP数据包tcp[13]==18 TCP SYN-AC

原创 pyshon实现一天前，一月前，一年前的日期计算

直接上代码from operator import modfrom datetime import datetimefrom datetime import timedeltaimport sysimport pandas as pdtimestr=sys.argv[1]#timestr='2016-02-01'Y=int(timestr[0:4])M=int(timestr

原创 OutOfMemoryError和StackOverflowError异常demo

/** * java堆溢出 * 虚拟机参数: -Xms:30m -Xmx30m -XX:+HeapDumpOnOutOfMemoryError */public class HeapOOM{ static class OOMObject{ } public static void main(String[] args){ List list=new

转载 行存储与列存储

1 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻译不好，直接抄原文了)：Ø  Row-based storage stores atable in a sequence of rows.Ø  Column-based storag

转载 hive中的静态分区与动态分区

hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。下面的语句创建了一个简单的分区表：create table partition_test(member_id string,name string)partition

转载 ELK在大数据的应用

圈子里关于大数据、云计算相关文章和讨论是越来越多，愈演愈烈。行业内企业也争前恐后，群雄逐鹿。而在大数据时代的运维挑站问题也就日渐突出，任重而道远了。本文旨在针对复杂的大数据运维系统推荐一把利器，达到抛砖引玉的效果，如果文中出现任何纰漏和错误的地方，恳请指正，欢迎讨论，希望大家不吝赐教。众所周知，大数据平台组件是很复杂的。笔者之前接触的一个大数据平台解决方案，仅平台组件就达20多个，这还没有

转载 Logstash 快速入门

简介Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。怎么样听起来挺厉害的吧？在一个典型的使用场景下(ELK)：用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色，它为数据存储，报表查询和日志解析创建了一个功能强大的管道链。Lo

原创 前端&盒&图解总结

原创 倒排索引 mr实现

Map阶段....context.write("google ->a.txt",1);context.write("google ->a.txt",1);context.write("google ->a.txt",1);context.write("google ->a.txt",1);context.write("google ->a.txt",1)

原创 中缀 后缀 前缀 原理

中缀转前缀:     和后缀大体一样,就是它是从右往左前缀的计算:     和后缀大体一样,就是它是从右到左举例：(3 + 4) × 5 - 6 就是中缀表达式- × + 3 4 5 6 前缀表达式3 4 + 5 × 6 - 后缀表达式

原创 数据结构与算法：约瑟夫问题

这里用到循环链表#include #include #构造节点的自定义结构体类型变量typedef struct node{     #数据部分     int data;     #指向下个节点的指针部分     str

原创 ETL算法总结

源数据概述一.元数据分类流水事件表 一般只会增加不会删除和修改,如存款记录,采用append 常规状态表 会修改删除和新增,如客户信息表 代码参数表 记录原系统中使用数据代码的参数二.数据文件类型数据文件大多 数以一天为周期从源系统中加载到数仓,数据文件包含增量和全量以及带删除的增量.增量数据文件  数据文件内容为数据表增量信息,包含表内新增及修改的记录 全量数据...