dz45693的专栏

在没有服务器，以excel存储数据的情况下，同样可以利用SQL和python来做数据处理和分析，在遇到excel处理数据特别麻烦的时候可以选择上面的方案做处理，即可以锻炼自己的SQL和python编程的能力，又可以高效地解决问题。

主要使用https://github.com/kubernetes-client/python/blob/master/kubernetes/docs/这个说明， 一般主要是创建pod 和svc，以及更新pod，直接上代码如下：from kubernetes import client, configfrom kubernetes.client.rest import ApiExceptiondef main(): #可以用以下命令把token 放到一个 文件中 # Token.

首先说结论吧，个人感觉go的goroutine和C# 的Task 相似，goroutine 和Task 可以近似理解为逻辑线程， 至于多个goroutine 或Task 对应操作系统几个物理线程 是底层决定的，我们可以不用太关心；但是一定是多对多【这个我们可以简单理解多对一， 一个或多个goroutine 或Task 对应底层一个物理线程】， 具体的blockingcollection可以参考https://blog.youkuaiyun.com/ma_jiang/article/details/54561684，..

其实网上正确地使用Redis的SETNX实现锁机制和高并发1-Redis分布式锁setnx,setex连用说的都对，只是现在的redis做了很多优化比如现在的Set 指令如下set key value [EX seconds] [PX milliseconds] [NX|XX]EX seconds：设置失效时长，单位秒PX milliseconds：设置失效时长，单位毫秒NX：key不存在时设置value，成功返回OK，失败返回(nil)XX：key存在时设置value，成功返回OK，失...

以前在python环境下selenium 主要用的是chromdriver，这次发现老是报错（Timeout）， 实际又是正确的， 可能是和chrome版本不正确，再加上我程序蹦来就在windows环境下。IE浏览器驱动下载链接：http://selenium-release.storage.googleapis.com/index.html，我这里安装的是v3.0（担心最新的有问题），运行代...

简介django为用户实现防止跨站请求伪造的功能，通过中间件 django.middleware.csrf.CsrfViewMiddleware 来完成。而对于django中设置防跨站请求伪造功能有分为全局和局部。全局：中间件 django.middleware.csrf.CsrfViewMiddleware局部：@csrf_protect，为当前函数强制设置防跨站请求伪造功能...

无论你工作在什么项目上，IPython都是值得推荐的。利用ipython --pylab，可以进入PyLab模式，已经导入了matplotlib库与相关软件包（例如Numpy和Scipy)，额可以直接使用相关库的功能。本文作为学习过程中对matplotlib一些常用知识点的整理，方便查找。这样IPython配置为使用你所指定的matplotlib GUI后端（TK/wxPython/PyQ...

django模板继承通过搞一个base.html 这个base.html可以包含两类 block片断 其他html 然后index.html继承base.html 继承关系如图 代码体现template继承关键字- 预设片断模板- 留坑{% block title %} 默认标题{% endblock %}- 预包含html文件{...

web server 快速入门运行一个简单的web server为了实现web server, 首先需要实现request handler一个 request handler 必须是一个coroutine (协程)， 它接受一个Request实例作为其唯一参数，并返回一个Response 实例，如下代码中的hellofrom aiohttp import webasync d...

Reference:http://mp.weixin.qq.com/s?src=3&timestamp=1474985436&ver=1&signature=at24GKibwNNoE9VsETitURyMHzXYeytp1MoUyAFx-2WOZTdPelAdJBv9nkMPyczdr4riYdUZWOaUInIFOxWELVDugvJJxpeEgp5KWDFFtwR8V...

网上关于Django的文章很多，比如继续Django和Django框架全面讲解后来遇到一篇 关键是图比较 多，索性就copy以下了。一、Django简介　　百度百科：开放源代码的Web应用框架，由Python语言编写......　　重点：一个大而全的框架，啥都替你考虑好了。1. web框架介绍　　具体介绍Django之前，必须先介绍WEB框架等概念。　　web...

Django的缓存机制1.1 缓存介绍1.缓存的简介在动态网站中,用户所有的请求,服务器都会去数据库中进行相应的增,删,查,改,渲染模板,执行业务逻辑,最后生成用户看到的页面.当一个网站的用户访问量很大的时候,每一次的的后台操作,都会消耗很多的服务端资源,所以必须使用缓存来减轻后端服务器的压力.缓存是将一些常用的数据保存内存或者memcache中,在一定的时间内有人来访问这些数...

自定义simple_tag内置的方法首先Django中包含了很多内置的方法：这里通过lower实现在views视图函数中写如下代码：def tp3(request): name= "ABCDEFG" return render(request,"tp3.html",{"name":name})在urls路由关系中添加如下：path('tp3/', v...

Django中间件在http请求 到达视图函数之前   和视图函数return之后，django会根据自己的规则在合适的时机执行中间件中相应的方法。中间件的执行流程1、执行完所有的request方法 到达视图函数。2、执行中间件的其他方法2、经过所有response方法 返回客户端。注意：如果在其中1个中间件里 request方法里 return了值，就会执行当前中间的re...

问题描述初学python，在用python中的urllib.request.urlopen()和urllib.request.urlretrieve方法打开网页时，有些网站会抛出异常: HTTP Error 403:Forbidden问题原因网站对爬虫的操作进行了限制解决方法伪装成浏览器，headers = {'User-Agent':'Mozilla/5.0 (X11; Ub...

Socket有一个缓冲区，缓冲区是一个流，先进先出，发送和取出的可自定义大小的，如果取出的数据未取完缓冲区，则可能存在数据怠慢。其中【recv(1024)】表示从缓冲区里取最大为1024个字节，但实际取值大小是不确定的，推荐其值小于等于8192。黏包问题：Socket发送两条连续数据时，可能最终会拼接成一条进行发送解决方法一：两条数据间进行延时发送，如【tiem.sleep(0.5...

前言之前有个同学询问我是否能够爬取知乎的全部回答，当初只会Scrapy无法实现下拉的数据全部加载。后来在意外中接触了selenium的自动化测试，看出了selenium的模拟能力的强大，而昨天有个同学问我能否爬取中国工商银行远程银行的精彩回答，我说可以试试。思路selenium模拟下拉直至底部然后通过selenium获取数据集合通过pandas写入excelselenium模拟下拉直...

今天seo的同事需要一个简单的爬虫工具， 根据一个url地址，抓取改页面的a连接，然后进入a连接里面的页面再次抓取a连接1.需要一个全局的set([])集合来保存抓取的url地址2.由于现在单页面也来越多，所以我们借用selenium来抓取页面内容， 由于页面内容比较多， 我们程序需要将滚动条滚到最下面，如：driver.execute_script("return document.bo...

pandas 是python中很重要的组件，网上关于pandas 的文章也很多，比如Python科学计算之Pandas 和 Python数据分析入门http://pandas.pydata.org/Pandas基于两种数据类型：series与dataframe。一个series是一个一维的数据类型，其中每一个元素都有一个标签。如果你阅读过这个系列的关于Numpy的文章，你就可以发现se...

小子今天想来谈谈“并行计算”，作为一个非科班人员，我为什么去捣鼓这么一个在科班里也比较专业的问题了。这就要说下我前几天做的一个作业了，当时我用python写了个程序，结果运行了一天，这个速度可让我愁了，我还怎么优化，怎么交作业啊。于是小子就去各大论坛寻丹问药了，终于让我发现可以用并行计算来最大化压榨电脑的CPU，提升计算效率，而且python里有multiprocessing这个库可以提供并行计算...

多线程编程多任务可以由多进程完成，也可以由一个进程内的多线程完成。我们前面提到了进程是由若干线程组成的，一个进程至少有一个线程。由于线程是操作系统直接支持的执行单元，因此，高级语言通常都内置多线程的支持，Python也不例外，并且，Python的线程是真正的Posix Thread，而不是模拟出来的线程。Python的标准库提供了两个模块：_thread和threading，_th...

要让Python程序实现多进程（multiprocessing），我们先了解操作系统的相关知识。Unix/Linux操作系统提供了一个fork()系统调用，它非常特殊。普通的函数调用，调用一次，返回一次，但是fork()调用一次，返回两次，因为操作系统自动把当前进程（称为父进程）复制了一份（称为子进程），然后，分别在父进程和子进程内返回。子进程永远返回0，而父进程返回子进程的ID。这样做的...

在程序运行的过程中，所有的变量都是在内存中，比如，定义一个dict：1 dict1 = {'name': 'Rob', 'age': 19, 'score': 90}可以随时修改变量，比如把age改成20，但是一旦程序结束，变量所占用的内存就被操作系统全部回收。如果没有把修改后的'Bill'存储到磁盘上，下次重新运行程序，变量又被初始化为19。很多游戏有存档的功能，就是使用的序列化，将用...

Python的内建模块itertools提供了非常有用的用于操作迭代对象的函数。首先我们看看itertools模块提供的几个“无限”迭代器， import itertools naturals = itertools.count(1) for i in naturals: # Count(self, start, step) print(i)因为count()会创...

Urllib3是一个功能强大，条理清晰，用于HTTP客户端的Python库，许多Python的原生系统已经开始使用urllib3。Urllib3提供了很多python标准库里所没有的重要特性：　　　　　　　　　　1、 线程安全　　　　　　　　　　2、 连接池　　　　　　　　　　3、 客户端SSL/TLS验证　　　　　　　　　　4、 文件分部编码上传　　　　　　　　　　5、 协助...

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.这篇文档介绍了BeautifulSoup4中所有主要特性,并且有小例子.让我来向你展示它适合做什么,如何工作,怎样使用,如何达到你想要的效果,和处理异常情况.文档中出现的例...

Python版本：3.5            系统：Windows一、准备工作需要先安装几个库（pip，lxml，pywin32，Twisted，pyOpenSSL），这些都比较容易，如果使用的是Pycharm，就可以更方便的安装模块，在settings里可以选择版本进行下载。如果在命令行模式下输入pip -V出现 'pip' 不是内部或外部命令，也不是可运行的程序或批处理文件，先确...

一、创建项目scrapy startproject books二、编写Item在items.py中编写我们需要的数据模型:# -*- coding: utf-8 -*- # Define here the models for your scraped items## See documentation in:# http://doc.scrapy.org/en/la...

这几天在学习python的爬虫， 无意中看到一篇博文 Python爬虫之自制英汉字典 发现里面的ctypes 和pyinstaller 还不了解，这边文章说白了就是你输入英文， python读取你的输入 然后发送一个http请求到有道翻译，然后把翻译的结果打印出来，这里使用了ctypes来设置打印窗口的颜色，使用pyinstaller来打包python程序， 网上关于pyinstaller和cty...

、特性（property）                                                                         1 什么是特性propertyproperty是一种特殊的属性，访问它时会执行一段功能（函数）然后返回值import mathclass Circle: def __init__(self,radiu...

一般我们使用python的第三方库requests及框架scrapy来爬取网上的资源，但是设计javascript渲染的页面却不能抓取，此时，我们使用web自动化测试化工具Selenium+无界面浏览器PhantomJS来抓取javascript渲染的页面， 但是新版本的Selenium不再支持PhantomJS了，请使用Chrome或Firefox的无头版本来替代。如下图：这里有2中...

今天本打算把【Python3爬虫】网易云音乐爬虫 的代码敲一遍， 但是在安装pycrypto老是报错，由于我计算是win10， 并且也有vs2017python3环境下安装pycrypto的一些问题Python踩坑之路-Python-3.6 安装pycrypto 2.6.1各种疑难杂症及解决方案windows 下的python 安装pycryptopip安装pycrypto报错：Mic...

CPython 解释器本身就不是线程安全的，因此有全局解释器锁(GIL)，一次只允许使用一个线程执行 Python 字节码。因此，一个 Python 进程通常不能同时使用多个 CPU 核心。然而，标准库中所有执行阻塞型 I/O 操作的函数，在等待操作系统返回结果时都会释放GIL。这意味着在 Python 语言这个层次上可以使用多线程，而 I/O 密集型 Python 程序能从中受益：一个 Pyth...

装饰器的主要功能：在不改变函数调用方式的基础上在函数的前、后添加功能 ，类似C#的AOP编程。添加功能的这部分就在装饰器中，典型的格式如下：def timer(func): def inner(*args,**kwargs): '''执行函数之前要做的''' re = func(*args,**kwargs) '''执行函数之后要做的'...

Django2.0发布后，很多人都拥抱变化，加入了2的行列。但是和1.11相比，2.0在url的使用方面发生了很大的变化，下面介绍一下：一、实例先看一个例子：from django.urls import pathfrom . import viewsurlpatterns = [ path('articles/2003/', views.special_case_...

多线程的使用场景IO操作不占用CPU计算占用cpupython多线程不适合cpu密集型操作的任务，适合IO操作密集型的任务多进程简单的一个多进程例子：（用于理解对多线程方法的使用）和线程的方法类似，下面是一个简单的多进程代码import time, multiprocessingdef run(name): time.sleep(2) print...

最近再次学习python，本来就是一个菜鸟，我按照 Python CGI编程 发现读cookie 读取不了，后来发现它这种写的方式也不怎么靠谱。Python中Cookie模块（python3中为http.cookies）提供了一个类似字典的特殊对象SimpleCookie，其中存储并管理着称为Morsel的cookie值集合。每个Morsel都有name，value以及可选属性（expires，p...