m0_47170642的博客

原创 js中使用xpath

一：直接使用这个function $x(STR_XPATH) { var xresult = document.evaluate(STR_XPATH, document, null, XPathResult.ANY_TYPE, null); var xnodes = []; var xres; while (xres = xresult.iterateNext()) { xnodes.push(xres); } return xnodes;}二、框架里面套框架使用这个functio

转载 将python项目打包成exe文件

最近在研究一个采集系统，最后做好之后由于客户使用时不能直接运行py，而且安装python环境也十分不方便，因此通过搜集资料，发现了一个工具包pyinstaller，可以将python类别的所有文件打包成exe，接下来详细说明一下我自己的使用过程。一、安装pyinstaller使用指令pip install pyinstaller进行安装即可。二、找到你python项目的初始文件（即启动文件），在所在目录的dos下执行命令pyinstaller -F main.py ,因为我的启动文件时main.p.

原创 c# 的使用

这里写目录标题1、js的常用方法1.1、在JavaScript使用xpath1.2、javascript在iframe的使用2、C#随机数的常用方法2.1、C#获取一个范围内的随机数2.2、C#获取一个String列表的随机数2.3、C#获取一个List列表的随机数2.4、C#随机获取string数据里面的一个char3、c# datatabe的常用方法3.1、将一个datatable里的行放到另一个datatable的行里。3.2、将一个datatable里创建行并对其赋值和取值。4、c# datetim

原创 c# datatable的使用

datatable将一行数据插入到新的一行去//代码执行入口，请勿修改或删除public void Run(){ int row = data_table.Rows.Count; Console.WriteLine(row); for (int j = 0; j < data_table.Columns.Count; j++) // 获取表的结构，可以直接配置一个表 { data_table1.Columns.Add(data_ta

原创 scrapy的回调函数为什么不成功

1.scrapy的调试过程中，如果出现回调函数callback失败,可能的原因  例如：import jsonimport osimport scrapyfrom images360.items import Images360Itemfrom urllib.parse import urlencodeclass ImagesSpider(scrapy.Spider): name = 'images' allowed_domains = ['images.so.com']

转载 xlrd的使用

xlrd库的使用文章目录xlrd能打开的文件类型1、打开xls文档2、使用.row(rowx)获取某一行的信息2.1行操作2.2列操作2.3单元格操作xlrd能打开的文件类型如果是 csv 文件会报错打开的文件需要时 xls 后缀结尾1、打开xls文档import xlrdws = xlrd.open_workbook('data.xls')print(ws)1.1 根据不同的方法打开文档import xlrddoc = xlrd.open_workbook('data.x

转载 scrapy数据建模与请求

爬虫之scrapy数据建模与请求1. 数据建模通常在做项目的过程中，在items.py中进行数据建模1.1 为什么建模  1、定义item即提前规划好哪些字段需要抓，防止手误，因为定义好之后，在运行过程中，系统会自动检查  2、配合注释一起可以清晰的知道要抓取哪些字段，没有定义的字段不能抓取，在目标字段少的时候可以使用字典代替  3、使用scrapy的一些特定组件需要Item做支持，如scrapy的ImagesPipeline管道类，百度搜索了解更多1.2 如何建模在items.py文件

原创 scrapy

1、创建一个项目scrapy startproject mySpider2、生成一个爬虫scrapy genspider itcast itcast.cn3、提取数据根据网站结构在spider中实现数据采集相关内容4.保存数热使用pipeline进行数据后续处理和保存

原创 影刀的一些用法

1、os 的用法# 返回的是绝对路径os.path.abspath(path)2、获取网页上的图片from urllib.request import urlretrievepython3中urllib.request模块提供的urlretrieve()函数。urlretrieve()方法直接将远程数据下载到本地。urlretrieve(url, filename=None, reporthook=None, data=None)参数url：下载链接地址参数filename：指定了保存本

原创 zip的使用

1、zip的使用是可以把一系列的数据组合起来a = ['a','b','c','d','e']b = [1,2,3,4,5]for i,j in zip(a,b): print(i,j)返回的数据就是这样的a 1b 2c 3d 4e 5

转载 linux的vim命令

VIM命令1. 关于Vimvim是我最喜欢的编辑器，也是Linux下第二强大的编辑器。 虽然emacs是公认的世界第一，我认为使用emacs并没有使用vi进行编辑来得高效。 如果是初学vi，运行一下vimtutor是个聪明的决定。 （如果你的系统环境不是中文，而你想使用中文的vimtutor，就运行vimtutor zh）1.1 Vim的几种模式正常模式：可以使用快捷键命令，或按:输入命令行。 插入模式：可以输入文本，在正常模式下，按i、a、o等都可以进入插入模式。 可视模式：正常模式下按v可以进入

原创 linux的基本命令

cd/： 命令的意思是进入文档的位置cd (文件夹) ：意思是进入文件夹cd…/ ： 返回上一级文件夹useradd chris -m -s /bin/bash : 创建一个新的用户（chris）passwd chris ：设置用户密码sudo gpasswd -a chris root : 将用户chris加入到root组中pwd : 打印当前的路径...

原创 VM和centos结合远程连接

一、linux下sudo权限问题 等报错liunx新建了一个用户 使用sudo命令 出现了这样的问题user is not in the sudoers file. This incident will be reported(用户名) not in the sudoers file. This incident will be reported.当我们遇到这样的问题时：①：切换到root用户下su root然后输入密码:密码为你创建用户的密码②：更改sudoers文件权限etc/s

转载 os.path.join()斜杠与反斜杠的问题

问题：directory1='/user/hou/Package'directory2='python'directory3=os.path.join(directory1,directory2)print('directory3 : %s' %directory3)结果：directory3 : /user/hou/Package\python没有拼接成功…解决：directory1='/user/hou/Package/'directory2='python'directory

原创 flask重要的文档网址

flask sqlalchemy：关于数据库的网站：http://www.pythondoc.com/flask-sqlalchemy/quickstart.htmljQuery ajax 文档：https://www.w3school.com.cn/jquery/jquery_ref_ajax.aspJquery文档：https://www.w3school.com.cn/jquery/jquery_ref_manipulation.aspBootstrap文档（html css）ht

原创 flask的模块

1、路由@app.route(’/’)def test():pass变量规则：str int float path uuiduid = uuid.uuid4()格式2、视图函数：返回值：类型： 字符串，dict,tuple,response,WSGI response对象 响应对象 response('字符串',headers={key:value}) response = make_response('.....') response.headers['

原创 pymysql.err.ProgrammingError: (1064, “You have an error in your SQL syntax；解决方法

开始的时候我的代码是这样的：import requestsfrom pymysql import *import pymysqlurl = "https://movie.douban.com/j/chart/top_list?"headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safa

原创 python SyntaxError: Non-UTF-8 code starting with ‘\xa3‘ in file的解决方法

方法一：在代码的头步加上一行 -*- coding:utf-8 -*-方法二：如果使用的是pycharm在设置里进行设置

原创 mysql的一些命令的使用方法

数据库的使用

原创 列表list的一些用法

一、自动接收一个list以空格隔开list1 = list(map(int,input().split()))list2 = list(map(int,input()))print(list1)print(list2)输出的结果为：2 2 1 122[2, 2, 1, 1][2, 2]二、list的转换a = (1,2) # tuple元组b = {"1":2,"3":3} # dict字典c = {1,2,3} # setd = range(2,1

原创 有关time的一系列python使用方法

一、在python中，与时间处理有关的模块就包括：time，datetime以及calendar一、表示时间的方式时间戳表示法： 即以整型或浮点型表示的是一个以秒为单位的时间间隔。这个时间的基础值是从1970年的1月1号零点开始算起。格式化的时间字符串： 即以格式化字符串的格式输出时间形式。元组格式表示法： 即一种Python的数据结构表示。这个元组有9个整型内容（不能少），分别表示不同的时间含义。索引（Index） 属性（Attribute） 值（

原创 python的sorted和reverse的区别

区别：sort：是容器的函数，对列表（list）的成员进行排序并且改变的是原列表sorted：是Python的内建函数，用built-in函数sorted进行排序并且返回的是新的列表，对所有可迭代的对象均有效#sortnum_list = [6,2,7,4,1,3,5]num_list.sort()print(num_list) 输出结果：[1, 2, 3, 4, 5, 6, 7] #sortednum_list = [6,2,7,4,1,3,5]print(sorte

原创 python中字符串的ljust、rjust、center方法的作用

这三种方法的用法差不多：S.ljust(width[, fillchar]),即长度加占位符，默认为空格，这三种在格式化输出时用着非常方便。如：>>> a="Hello world">>> print a.rjust(20)' Hello world' #前面有20-len(hello)个空格>>> print a.ljust(20)'Hello world '>>> print

原创 python常用的十进制，十六进制，八进制，二进制之间的转换,和ascll码的转换

hex(16) #用于10进制转换为16进制oct(8) #用于10进制转换为8进制bin(2) #用于10进制转换为2进制实例如下：# hex(16)用于10进制转换为16进制n = int(input(''))a = hex(n) # 用于10进制转换为16进制# oct(8)用于10进制转换为8进制b = oct(n) # 用于10进制转换为8进制# bin(2)用于10进制转换为2进制c = bin(n)print(a)print

原创 python蓝桥杯基础题

1、问题描述　　给定一个长度为n的数列，将这个数列按从小到大的顺序排列。1<=n<=200输入格式　　第一行为一个整数n。　　第二行包含n个整数，为待排序的数，每个整数的绝对值小于10000。输出格式　　输出一行，按从小到大的顺序输出排序后的数列。样例输入58 3 6 4 9样例输出3 4 6 8 9代码如下：a = int(input(""))if 1 <= a <= 200: list1 = sorted(list(map(int, inpu

转载 map方法的使用

map()函数map()是 Python 内置的高阶函数，它接收一个函数 f 和一个 list，并通过把函数 f 依次作用在 list 的每个元素上，得到一个新的 list 并返回。例如，对于list [1, 2, 3, 4, 5, 6, 7, 8, 9]如果希望把list的每个元素都作平方，就可以用map()函数：因此，我们只需要传入函数f(x)=x*x，就可以利用map()函数完成这个计算：def f(x):return x*xprint map(f, [1, 2, 3, 4, 5, 6,

原创 爬取图片并保存

首先我们导入一些相关的库，如requests,re,os等标准库：接下来我们要访问的网址为：http://pic.yxdown.com/list/0_0_1.html这就是我们要爬取的图片。以下是我们要导入的库：import requestsfrom lxml import etreeimport osimport re接下来是找到我们所需要的网页html并解析：url = 'http://pic.yxdown.com/list/0_0_1.html'headers = {

原创 解析库的使用

一、解析库的使用1、XPath2、Beautiful Soup3、pyquery1、 XPath的使用方法：表　达　式描　　述nodename选取此节点的所有子节点/从当前节点选取直接子节点//从当前节点选取子孙节点.选取当前节点…选取当前节点的父节点@选取属性from lxml import etreetext = '''<div> <ul> <li class="i

原创 python文件的读去和写入（r/r+/rb/w/w+/wb/a/a+/ab）

1. ‘r’：只读。该文件必须已存在。2. ‘r+’：可读可写。该文件必须已存在，写为追加在文件内容末尾。3. ‘rb’：表示以二进制方式读取文件。该文件必须已存在。4. ‘w’：只写。打开即默认创建一个新文件，如果文件已存在，则覆盖写（即文件内原始数据会被新写入的数据清空覆盖）。5. ‘w+’：写读。打开创建新文件并写入数据，如果文件已存在，则覆盖写。6. ‘wb’：表示以二进制写方式打开，只能写文件， 如果文件不存在，创建该文件；如果文件已存在，则覆盖写。7. ‘a’：追加写。若打开的是已有

原创 正则表达式

模式描述\w匹配数字，字母下滑线\W匹配不是字母、数字及下划线\s匹配任意空白字符，等价于[\t\n\r\f]\S匹配任意非空字符\d匹配任意数字，等价于[0-9]\D匹配任意非数字的字符\A匹配字符串开头\Z匹配字符串结尾，如果存在换行，只匹配到换行前的结束字符串\z匹配字符串结尾，如果存在换行还会匹配换行符\G匹配最后匹配完成的位置\n匹配一个换行符\t匹配一个制表符^匹配一个字符的开头...

原创 常见的错误代码

原创 如何在cmd下查询mongodb数据库

首先我们要找到我们安装mongodb的文件夹下的bin文件夹，接下来在路径框中输入cmd进入命令行：这样我们就可以进入命令行了可以输入这些命令让你们查找相关的信息：在这里插入代码片 show dbs 可以查看所有的数据库 db 可以查看当前的数据库名称 show collection 可以查看当前数据库下的集合 use test(数据库的名称) 切换到指定的数据库 db.集合名.操作 对集合进行某种操作...

原创 运行pyspider时出现SyntaxError: invalid syntax的解决方法

在安装pyspiders时我们使用：pip3 install pyspider进行安装，安装完成后我们要运行pyspider直接打开命令提示符：输入pyspider运行，但是这时候出现了报错此类异常说语法错误其实很简单，其实是python升级将async 设置为关键字，而pyspider 版本更新缓慢并没有在此处修改，所以导致pyspider 不能正常启动。有两种方法可以解决。第一、将python版本降低到3.5或以下这个不建议使用因为会导致你之前安装的一些环境因为依赖高版本而失效第二、修

原创 Message: ‘phantomjs‘ executable needs to be in PATH

这是使用selenium+phantomjs的时候，出现了这样的报错信息：下面给出解决方法：就是说要下载，安装 phantomjs-2.1.1-windows这是下载地址：http://phantomjs.org/download.html下载后解压安装，安装后在代码中替换掉你自己的解压的文件路径就可以了。例如：browser=webdriver.PhantomJS(executable_path=r'C:\Users\lyh\Anaconda2\phantomjs-2.1.1-windows

原创 Splash渲染报错，渲染后一片空白

Splash使用dockers安装后使用docker run -p 8050:8050 scrapinghub/splash进行安装运行Splash打开网址 localhost:80550 st:80550 出现的画面是这样的没有黑色的代码框，而且输入网址（https://www.baidu.com）进行渲染，输出的是一片空白：不知道是这么回事，而且代码中报错：不知道这么解决，如果哪位大佬知道解决方法，评论我，谢谢。...

转载 python爬虫代理的使用

python 爬虫代理的使用from urllib.error import URLErrorfrom urllib.request import ProxyHandle,build_openerproxy_handler=ProxyHandler({ 'http':'http://127.0.0.1:9743' 'https':'https://127.0.0.1:9743'})opener=build_opener(proxy_handler)try: response=opener.

转载 Redis存储

Redis是一个基于内存的高效的键值型非关系型数据库，存取效率结构，使用也非常简单。本节中我们就来介绍一下Python的 Redis操作，主要介绍 redis-py这个库。1.准备工作在这之前，请确保已经安装好了 Redis 及 redis-py库。如果要做数据导入/导出操作的话，还需要安装RedisDump.2.Redis和 StrictRedisredis-py库提供两个类Redis和StrictRedis来实现Redis的命令操作。StrictRedis实现了绝大部分官方的命令，参数也-对应