Thoms_的博客

wxappUnpacker 微信小程序反编译 逆向 2019使用问题总结问题一：Cannot find module 'uglify-es'npm install esprima --savenpm install css-tree --savenpm install cssbeautify --savenpm install vm2 --savenpm install ug...

计算机中常见的编码方式有多种，英文一般是ascii编码，其他有unicode，utf-8，gbk，utf-16等编码。 常见编码方式:ASCII编码：ASCII是早期的编码，包含英文字母、数字和一些英文符号一共127个符号； Unicode编码：不同的语言有各自不同的编码方式，导致在多种语言环境下按照某一种固定的编解码方式会出现乱码。为了统一，制定了Unicode编码。Unico...

在写一个用BeautifulSoup抓取twitter网页时遇到的问题# UnicodeEncodeError: 'gbk' codec can't encode character u'\xa0' in position 148:# illegal multibyte sequence这样说： (1)出现UnicodeEncodeError –> 说明是Unicode编...

"UTF-8" 是标准写法，php 在 Windows 下边英文不区分大小写，所以也可以写成 "utf-8"。"UTF-8" 也可以把中间的"-"省略，写成 "UTF8"。一般程序都能识别，但也有例外，在数据库中只能使用"utf8"(MySQL) 在MySQL的命令模式中只能使用"utf8"，不能使用"utf-8"，为了严格一点，最好用标准的大写&q

uuid是128位的全局唯一标识符（univeral unique identifier），通常用32位的一个字符串的形式来表现。有时也称guid(global unique identifier)。python中自带了uuid模块来进行uuid的生成和管理工作。（具体从哪个版本开始有的不清楚。。）　　python中的uuid模块基于信息如MAC地址、时间戳、命名空间、随机数、伪随机数来uui...

总的来说，scrapy框架中设置cookie有三种方式。第一种：setting中设置cookie当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie当COOKIES_ENABLED设置为True的时候scrapy就会把settings的c...

刚开始接触 bs4 的时候，我也很迷茫，觉得 string 属性和 text 属性是一样的，不明白为什么要分成两个属性。html = '<p>hello world</p>'soup = BeautifulSoup(html, 'lxml')p = soup.pprint(p.string)　　# hello wordprint(p.text)　　 # he...

 直接使用pip安装1 pip install selenium用 Chrome 浏览器来测试1 from selenium import webdriver2 3 browser = webdriver.Chrome()4 browser.get('http://www.baidu.com/')运行这段代码，会自动打开浏览器，然后访问百度。如果程序执行错误，浏览...

#LOG:# test to check CPU ,memory and process state# built time 2017-05-19# coder:ly #!/usr/bin/python# -*- coding: UTF-8 -*- import osimport timeimport psutilimport sysimport atex...

1 cpu信息 2 #Linux系统cpu利用率有以下几个部分 3 #User Time，执行用户进程的时间百分比 4 #System Time，执行内核进程和中断的时间百分比 5 #Wait IO,由于IO等待使cpu处于idle（空闲）状态的时间百分比 6 #Idle，cpu处于空闲状态的时间百分比 7 8 import psutil 9 #获取cpu完成信息10 p...

scrapy Post 发送数据是我们通常会用yield scrapy.FormRequest( url = url, formdata = {"email" : "xxx", "password" : "xxxxx"}, callback = self.parse_page )来发送请求，但这是...

 项目需要程序能够放在超算中心定时运行，于是针对scrapy写了一个定时爬虫的程序main.py ，直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。 最简单的方法：直接使用Timer类import timeimport oswhile True: os.system("scrapy crawl News") time.sleep(86400) #每...

1. 背景在使用selenium浏览器渲染技术，爬取网站信息时，一般来说，速度是很慢的。而且一般需要用到这种技术爬取的网站，反爬技术都比较厉害，对IP的访问频率应该有相当的限制。所以，如果想提升selenium抓取数据的速度，可以从两个方面出发：第一，提高抓取频率，出现验证信息时进行破解，一般是验证码或者用户登录。第二，使用多线程 + 代理IP， 这种方式，需要电脑有足够的内存和充足稳定的代理...

按以往经验只要安装了pywin32就可以了，而且我也找到了\venv\Lib\site-packages\win32\win32api.pyd，不知道为什么，但就是不行。最后查了一些资料后，通过pip安装pypiwin32后就OK了，特此记录。pip install pypiwin32...

selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归...

1.正则表达式是进行内容匹配，将符合要求的内容全部获取；xpath()能将字符串转化为标签，它会检测字符串内容是否为标签，但是不能检 测出内容是否为真的标签；Beautifulsoup是Python的一个第三方库，它的作用和 xpath 作用一样，都是用来解析html数据的相比之下， xpath的速度会快一点，因为xpath底层是用c来实现的 2.三者语法不同，正...

SON(JavaScript Object Notation) 是一种轻量级的数据交换格式，易于人阅读和编写。JSON 函数使用 JSON 函数需要导入 json 库：import  json。函数 描述 json.dumps 将 Python 对象编码成 JSON 字符串 json.loads 将已编码的 JSON 字符串解码为 Python 对象 js...

这篇文章给大家整理了关于Python中循环语句中else的用法，包括常规的 if else 用法、if else 快捷用法、与 for 关键字一起用、与 while 关键字一起用以及与 try except 一起用的用法总结，有需要的朋友们可以参考借鉴。本文讨论Python的for-else和while-else等语法，这些是Python中最不常用、最为误解的语法特性之一。Python中的for、...

今天实在太累了，就简单给大家写一点基础语法吧。循环          占位符操作          字符串操作            列表循环：在Python里主要有两种循环方式for循环和while循环     for循环：for循环主要侧重于控制循环的次数 如：   for x in range(3): print(x)012      while循环：while循环主要侧重循...

      众所周知，在python函数里面参数分为形参，实参两种。形参当然了就是形式参数，而实参是我们需要给这个函数传入的变量，在我们给实参传入变量之后，调用函数，实参则自动会把数值或则变量赋予形参，从而通过函数得出我们想要的结果。既然形参是由实参赋值传递，所以说形参的位置顺序至关重要，稍有疏忽，程序可能就会出错。那么下面就来帮大家在初学的时候如何让更好的避开这些隐形的陷阱。      首先，形...

1.爬虫的过程分析　　当人类去访问一个网页时，是如何进行的？　　①打开浏览器，输入要访问的网址，发起请求。　　②等待服务器返回数据，通过浏览器加载网页。　　③从网页中找到自己需要的数据（文本、图片、文件等等）。　　④保存自己需要的数据。　　对于爬虫，也是类似的。它模仿人类请求网页的过程，但是又稍有不同。　　首先，对应于上面的①和②步骤，我们要利用python实现请求一个网页的功能...

 关于指针和对象的区别困扰很多初学者，现在我就用一些直白的语言描述，来帮助大家越过这个坑，希望对大家有所帮助。Student* s1; s1 = new Student(); s1->set("111"); Student s2; s2.set("222"); s1->print(); s2.print(); 对于类student ，定义了一个对象 和一个指针...

描述sorted() 函数对所有可迭代的对象进行排序操作。 sort 与 sorted 区别： sort 是应用在 list 上的方法，sorted 可以对所有可迭代的对象进行排序操作。 list 的 sort 方法返回的是对已经存在的列表进行操作，而内建函数 sorted 方法返回的是一个新的 list，而不是在原来的基础上进行的操作。 列表有自己...

什么是运算符？本章节主要说明Python的运算符。举个简单的例子 4 +5 = 9 。 例子中，4 和 5 被称为操作数，"+" 称为运算符。Python语言支持以下类型的运算符:算术运算符 比较（关系）运算符 赋值运算符 逻辑运算符 位运算符 成员运算符 身份运算符 运算符优先级接下来让我们一个个来学习Python的运算符。Python算术运算符以下假设变量：...

第一点，搞清楚它们用在什么地方？ 正则表达式中，group（）用来提取分组截获的字符串，（）用来分组。组是通过 "(" 和 ")" 元字符来标识的。 "(" 和 ")" 有很多在数学表达式中相同的意思；它们一起把在它们里面的表达式组成一组。举个例子，你可以用重复限制符，象 *, +, ?, 和 {m,n}，来重复组里的内容，比如说(ab)* 将匹配零或更多个重复的 "ab"。如果不...

前提有些网页，一开始用脚本语言（python）去访问的时候会遇到这样问题。一般这样的网站用浏览器去访问的时候，会弹出这样的警告“您的链接不是私密链接”。内容大多出自于崔大神书籍。本菜结合书中内容做了自己的阐述。简单解释这里是由于这个网页的证书没有被官方CA机构信任，所以这里会出现证书验证的错误。这样的url典型有https://www.12306.cn如下使用代码的时候...

Unicode和Python的中文处理　　在Python语言中，Uincode字符串处理一直是一个容易让人迷惑的问题。许多Python爱好者经常因为搞不清Unicode、UTF-8还有其它许许多多的编码之间的区别而大伤脑筋。笔者曾经也是这“伤脑筋一族”的成员，但经过半年多的努力，现在终于初步弄清楚其中的一些关系。现将其整理如下，与各位同仁同享。同时也希望能借这篇短文抛砖引玉，吸引更多真正...

首先，remove 是删除首个符合条件的元素。并不是删除特定的索引。如下例： >>> a = [0, 2, 2, 3] >>> a.remove(2) >>> a [0, 2, 3]而对于 del 来说，它是根据索引（元素所在位置）来删除的，如下例： >>> a = [...

20个Python经典面试题，你都知道吗？ 1、Python如何实现单例模式？Python有两种方式可以实现单例模式，下面两个例子使用了不同的方式实现单例模式： class Singleton(type):def init(cls, name, bases, dict):super(Singleton, cls).init(name, bases, dict)cls.instance =...

一、Session与Cookie介绍这些都是基础知识，不过有必要做深入了解。先简单介绍一下。二者的定义：当你在浏览网站的时候，WEB 服务器会先送一小小资料放在你的计算机上，Cookie 会帮你在网站上所打的文字或是一些选择，都纪录下来。当下次你再光临同一个网站，WEB 服务器会先看看有没有它上次留下的 Cookie 资料，有的话，就会依据 Cookie里的内容来判断使用者，送...

Python 程序能用很多方式处理日期和时间，转换日期格式是一个常见的功能。Python 提供了一个 time 和 calendar 模块可以用于格式化日期和时间。时间间隔是以秒为单位的浮点小数。每个时间戳都以自从1970年1月1日午夜（历元）经过了多长时间来表示。Python 的 time 模块下有很多函数可以转换常见日期格式。如函数time.time()用于获取当前时间戳, 如下实例:#!/u...