stanwuc的博客

一、定时框架APScheduler1、helloworldimport timefrom apscheduler.schedulers.blocking import BlockingSchedulerdef job(): print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))if __na...

111

一、准备1、数据库安装配置mongodb、redis、mysql2、python多版本共存配置环境变量python 安装后，为了保证系统能够找到相应的命令，就是在命令行能够直接调用python 等命令，需要设置环境变量；多版本配置多版本python 安装配置环境变量后，python 和 pip 等命令存在重名问题，直接调用和变量中的配置顺序有关，解决方法是，直接复制重命名，pip...

numpypandasmatplotlib

一、 二、 三、 

一、numpy练习代码##########numpy提供了进行数组和矩阵的运算的方法import numpy as npa=[1,2,3,4]b=np.array(a)########创建简单数组b.sizeb.shapeb.ndim #######维度b.dtypearray_one = np.ones([10,10]) ######创建10行...

一、抓取猫眼top100import requestsimport jsonimport refrom requests.exceptions import RequestExceptionfrom multiprocessing import Pooldef get_one_page(url): kv = { 'user-agent': 'Mozil...

一、维护代理池1、代理池的要求多站抓取，异步检测； 定时筛选，持续更新； 提供接口，易于提取；2、代理池的架构3、flask 和redis 的作用redis 作为队列存放代理； flask 提供获取代理的web服务； 二、维护cookie池1、要求自动登录更新（生成器模块） 定时验证筛选（验证器模块） 提供访问接口（API模块）2、原理 ...

一、selenium库1、综述驱动浏览器，模拟人的上网场景，解决js渲染问题2、使用细节（1）声明浏览器对象webdriver.Chrome()（2）访问页面brower.get('   ')（3）查找元素单个元素多个元素（4）元素交互操作（5）交互动作动作附加到动作练中串行执行（6）执行JS（7）获取元素信息获取属性：i...

一、re模块1、综述（1）示例result = re.match(parttern,string,model)result.group(1)（2）说明： 泛匹配（.*）能减少正则表达式的长度，使用时用非贪婪模式（.*?） 用括号得到匹配目标 result.group()，特殊符号 \ 转义 （.* ）默认不能匹配换行符，指定使用re.S匹配模式后可以匹配换行符2、几个...

一、准备1、数据库安装配置（1）mongodb、redis、mysql2、python多版本共存配置（1）环境变量python 安装后，为了保证系统能够找到相应的命令，就是在命令行能够直接调用python 等命令，需要设置环境变量；（2）多版本配置多版本python 安装配置环境变量后，python 和 pip 等命令存在重名问题，直接调用和变量中的配置顺序有关，解决方法...