zkq_1986的博客

scrapy使用PhantomJS爬取数据环境：python2.7+scrapy+selenium+PhantomJS内容：测试scrapy+PhantomJS爬去内容：涉及到js加载更多的页面原理：配置文件打开中间件+修改process_request函数（在里面增加PhantomJS操作）第一步：settings.pyDOWNLOADER_MIDDLEWARES = { 'dbdm.middlewares.DbdmSpiderMiddleware': 543,}

df=pd.read_excel(filepath) #原来的字段顺序为：a, c, bdf=df[['a','b','c']] #经过这步之后，就将dataframe的字段顺序换为：a, b, c

# 关于插入程序的说明- 前期准备： - 表结构：`****.sql` - 建表后，字段`id` 为 **自增** - 完成建表后在本地生成`model.py` 使用peewee包（`pip install peewee`），在python所在的Lib\site-packages文件夹下打开cmd输入： > python -m pwiz -e mysql -H'数据库所在位置ip' -p3306 -u'你的用户名' -P '数据库名' &gt...

1. 创建远程仓库 mkdir -p /home/remote_test cd /home/remote_test git init --bare2. 克隆remote仓库至本地 git clone ssh://localhost/home/remote_test3. 在本地修改完文件，提交到remote仓库 git add ....

import pandas as pdf = pd.ExcelFile('./data.xlsx')for i in f.sheet_names: d = pd.read_excel('./data.xlsx', sheetname=i) print(d)

#coding=utf-8def is_chinese(text): for c in text: """判断一个unicode是否是汉字""" if c >= u'\u4e00' and c <= u'\u9fa5': return True return Falsea=u'dsfa'b=u'...

按index索引选择序列中的值例如：import tensorflow as tfseq = [1,2,3]idxs = [2]a = K.tf.batch_gather(seq, idxs)with tf.Session() as sess: print(a.eval())结果输出： 3import tensorflow as tfseq...

1、而使用OrderedDict时我们需要从collections模块引入OrderedDict，Dict作为python内置的数据类型，所以可以直接使用；Python其它一些内置的数据类型，像str、int、list、tuple、dict。2、python中字典Dict跟OrderedDict最大的区别就是：OrderedDict是有顺序的，而Dict是无序的。从Orde...

python中双路径的切换：先安装某一个集成环境,例如anaconda3.5它自带的是python3.6环境,如果你需要再安装一个python2.7,那么在终端执行下列命令condacreate-n环境的别名python=版本号例如condacreate-npy27python=2.7.12终端命令执行完成之后输入activate激活，输入python便可出现pyth...

用两个{{}}就能输出{}，f-string里不能用反斜杠例：&gt;&gt;&gt; a=1&gt;&gt;&gt; b=f'{a}{{}}'&gt;&gt;&gt; print(b)1{}

pypi 镜像使用帮助pypi 镜像每 5 分钟同步一次。临时使用pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package注意，simple 不能少, 是 https 而不是 http设为默认升级 pip 到最新的版本 (>=10.0.0) 后进行配置：pip install p...

 安装要想在windows下搭建Spark(python版本)主要分为：JDK安装配置Scala安装配置 （可不安装）Spark安装配置Hadoop安装配置Python安装配置PyCharm运行JDK安装配置JDK 版本需要在 1.8 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/inde...

# -*- coding:utf-8 -*-import pymysqlimport sys__all__ = ['MySQL']class MySQL(object): ''' MySQL ''' conn = '' cursor = '' def __init__(self, host='localhost', user='r...

MMD介绍MMD（最大均值差异）是迁移学习，尤其是Domain adaptation （域适应）中使用最广泛（目前）的一种损失函数，主要用来度量两个不同但相关的分布的距离。两个分布的距离定义为：python代码样例：import torchdef guassian_kernel(source, target, kernel_mul=2.0, kernel_num=5, fix_si...

首先需要安装Java到官网下载并安装Java Standard Edition即Java SE10.0.1版本，这里下载的是window64位版本JDK，点击打开链接，设置环境变量安装过程中按照默认配置就好，安装好以后，配置Java的环境变量，右键我的电脑，依次点击属性-高级系统设置-环境变量新建用户变量: JAVA_HOME；C:\Program Files\Java\jdk-10...

原代码：for dog,cat in zip(dp.dogs,dp.cats)[:1000]:    #省略代码报错：TypeError: 'zip' object is not subscriptable解决方法：使用list包装zip对象，如下，for dog,cat in list(zip(dp.dogs,dp.cats))[:1000]:    #省略代码 转载自...

第一步：我们要创建torch能够识别的数据集类型（pytorch中也有很多现成的数据集类型，以后再说）。首先我们建立两个向量X和Y，一个作为输入的数据，一个作为正确的结果：    随后我们需要把X和Y组成一个完整的数据集，并转化为pytorch能识别的数据集类型：    我们来看一下这些数据的数据类型：     可以看出我们把X和Y通过Data.TensorData...

import itertoolsb=[[1, 2, 3]] +[[4, 5, 6, 7, 8, 9]]a=itertools.chain(*map(list,b))for e in a: print(e)输出：123456789 itertools中chain类的代码片段。class chain(object): """ ch...

map()是 Python 内置的高阶函数例如：def f(x): return x*xprint(*map(f, [1, 2, 3, 4, 5, 6, 7, 8, 9]))输出结果：1 4 9 16 25 36 49 64 81

ls=[1,2,3,4,5]l=ls[:100]print(l)l = ls[:2]print(l)输出结果：[1, 2, 3, 4, 5][1, 2]

import randomrandom.seed( 3 )print("Random number with seed 3 : ", random.random())# 生成同一个随机数random.seed( 3 )print("Random number with seed 3 : ", random.random())# 生成同一个随机数random.seed( 3 )...

a.py文件的代码如下：import argparseparser = argparse.ArgumentParser()parser.add_argument('--t', help=' ', action='store_true', default=False)config = parser.parse_args()print(config.t)直接运行python a.p...

from tqdm import tqdmfor i in tqdm(range(100)): for j in range(100000): s='sd'+'s'输出：100%|██████████| 100/100 [00:00&lt;00:00, 116.38it/s]

Summary主要包括以下三种途径：使用独立的函数；使用torch.type()函数；使用type_as(tesnor)将张量转换为给定类型的张量。使用独立函数import torchtensor = torch.randn(3, 5)print(tensor)# torch.long() 将tensor投射为long类型long_tensor = tensor.long...

需要用到LIBLINEAR，但是在安装的过程中遇到了一些问题，在这里总结如下，希望对大家有用。也希望和大家在这里一起交流，一起学习，一起进步。安装环境：系统：Win7（64位）MATLAB版本：MATLAB R2017aLIBLINEAR版本：liblinear-2.11具体安装步骤如下：1. 下载liblinear-2.11安装包。下载地址：http:...

setenv('MW_MINGW64_LOC','C:\TDM-GCC-64')mex emd_mex.c emd.c -O % -v

model.train() ：启用 BatchNormalization层 和 dropout层model.eval() ：不启用 BatchNormalization层 和 dropout层

import tracebacktry: a=int('asdf')except Exception as e: print(traceback.format_exc())输出：Traceback (most recent call last): File "D:/t1.py", line 4, in <module> a=int('asdf...

代码示例：import torchimport torch.nn as nnclass a1(torch.nn.Module): def __init__(self): super(a1, self).__init__() self.l1 = nn.Linear(3, 2)class aa(a1): def __init__(se...

import numpy as npa = np.linspace(-10,10,21)print(a)输出：[-10. -9. -8. -7. -6. -5. -4. -3. -2. -1. 0. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.]

Tensor是python类，tensor是python函数，区别在于默认的数据类型不一样。>>> a=torch.Tensor([1,2])>>> print(a)tensor([1., 2.])>>> a.type()'torch.FloatTensor'>>> a=torch.tensor([1,...

detach的方法，将variable参数从网络中隔离开，不参与参数更新。如下：# y=A(x), z=B(y) 求B中参数的梯度，不求A中参数的梯度y = A(x)z = B(y.detach())z.backward()...

def zero_grad(self): r"""Clears the gradients of all optimized :class:`torch.Tensor` s.""" for group in self.param_groups: for p in group['params']: if...

import numpy as npimport torchx = torch.Tensor(2, 2, 2)y = x.view(1, 8) #输出维度：1*8z = x.view(-1, 4) # -1表示维数自动判断，此输出的维度为：2*4t = x.view(8) #输出维度 ： 8*1t = x.view(-1) #输出维度： 1*8...

/ ：表示除的时候留余数// : 表示整除，不留余数。例如： 5/2 = 2.5 5//2 = 2

match必须从开始部分就匹配search可以从string的中间部分开始匹配

解决方案：1. (bert) [pgrad@mgt flair]$ ldd /app/anaconda3/envs/bert/lib/python3.6/site-packages/sklearn/svm/libsvm.cpython-36m-x86_64-linux-gnu.so linux-vdso.so.1 => (0x00007ffffb115000) libs...

from multiprocessing import Processimport os'''这是多进程的代码演示ps:本人的演示代码环境为python2.7（此版本下可加可不加，python很强的可以前后兼容）python3.x版本下依然可以运行，只需要print的内容加上括号（规范啊规范少年们）'''# 子进程要执行的代码def run_proc(name): ...

正则表达式(?x) 表示宽松排列。例：pattern = r'''(?x) (e1|e2)\w*被\w*(e1|e2)\w*收购 | (e1|e2)\w*对\w*(e1|e2)\w*投资 | (e1|e2)\w*投资\w*：[、\w]*(e2|e1) ...

python调用shell的方法import ospython_file="./test.py"cmd="/home/spark/bin/spark-submit --master yarn --deploy-mode cluster "+python_fileos.system(cmd)