- 博客(50)
- 收藏
- 关注
RSS订阅原创 python学习—Day47—celery异步分布式（一）
celery异步分布式Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用celeryCelery有以下优点：简单：一单熟悉了celery的工作流程后，配置和使用还是比较简单的高可用：当任务执行失败或执行过程中发生连接中断，celery 会自动尝试重新执行
2017-12-19 22:22:26
276
原创 python学习—Day46—Queue模块（一）
消息队列的实现：#@File :queue_1.pyfrom threading import Threadimport timefrom multiprocessing import Queueclass Proceduer(Thread): def __init__(self, queue): super(Proceduer,
2017-12-18 22:33:22
423
原创 python学习—Day45—消息队列
消息队列：消息队列是在消息传输过程中保存消息的容器。消息队列最经典的用法就是消费者和生产者之间通过消息管道来传递消息，消费者和生产者是不通的进程。生产者往管道中写消息，消费者从管道中读消息。操作系统提供了很多机制来实现进程间的通信，multiprocessing模块就提供了Queue和pipe两种方法来实现。#@File :queue_demo1.pyfrom mul
2017-12-18 21:54:48
218
原创 python学习—Day44—多线程共享变量与线程池
多线程共享变量：多线程和多进程不同之处在于多线程本身就是可以和父进程共享内存的，这也是为什么其中一个线程挂掉以后，其他线程也会死掉的道理。#@File :enjoy_mem.pyimport threadingdef worker(): l.append("xiao") l.append("jing") l.append("jing")if _
2017-12-14 20:58:04
887
原创 python学习—Day43—多线程
多线程：python中提供了threading模块来对多线程的操作。线程是应用程序中工作的最小单元。多线程实现有两种方式：一：将要执行的方法作为参数传给Thread的构造方法（和多进程类似） t = threading,Thread(target=action, args=(i,))二：从Thread继承，并重写run()#@File :duoxiancheng
2017-12-14 20:55:09
217
原创 python学习—Day42—多进程Manager,进程池
多进程的Manager：强大的Manager：；python中提供了强大的Manager专门用来做数据共享的，其支持的类型非常多，包括，value，array，list，dict，queue，lock等。例子：#@File :jincheng_manager.pyimport multiprocessingdef worker(d, l): l += rang
2017-12-12 21:55:42
306
原创 python学习—Day41—多进程锁与多进程共享内存
多进程锁：需求：一个进程写入一个文件，一个进程追加文件，一个进程读文件，同时启动起来我们可以通过join()方法实现，这里为了学习Lock，用lock实现。先看不加锁程序，再看加锁程序，对比两者的区别。#@File :jinchenglock.pyimport multiprocessingimport timelock = multiproces
2017-12-11 23:27:49
943
原创 python学习—Day40—多进程
多进程概念：进程是程序在计算机上的一次执行活动。当你运行一个程序，你就启动了一个进程。显然，程序是死的(静态的)，进程是活的(动态的)。进程可以分为系统进程和用户进程。凡是用于完成操作系统的各种功能的进程就是系统进程，它们就是处于运行状态下的操作系统本身；用户进程就不必我多讲了吧，所有由你启动的进程都是用户进程。进程是操作系统进行资源分配的单位。它的思想简单介绍如下：在操作系统的管理下，所
2017-12-08 22:25:58
200
原创 python学习—Day39—memcache常用方法
（一）首先环境：[root@localhost bin]# ./memcached -d -u root -p 11211[root@localhost bin]# netstat -anpt | grep memcachetcp 0 0 0.0.0.0:11211 0.0.0.0:* LIS
2017-12-07 22:39:57
245
原创 python学习—Day38—memcache安装以及群集操作
memcache安装：Memcached是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值的hashmap。其守护进程(daemon)是用C语言写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。
2017-12-06 21:53:33
395
原创 python学习—Day37—redis的hash类型及其他常用类型
hash类型的操作以及其他常用操作Hash类型操作Redis在内存中存储hash类型是以name对应一个字典形式存储的hset(name,key,value)#name对应的hash中设置一个键值对(不存在，则创建；否则，修改)#参数： #name:redis的name #key:key1对应的hash中的key #value:value1对应的ha
2017-12-05 21:59:41
201
原创 python学习—Day35—函数
python函数：社么是函数•函数就是完成特定功能的一个语句组，这组语句可以作为一个单位使用，并且给它取一个名字。•可以通过函数名在程序的不同地方多次执行（这通常叫函数调用）。•预定义函数 可以直接使用•自定义函数 用户自己编写为什么使用函数•降低编程难度 - 通常将一个复杂的大问题分解成一系列的小问题，然后将小问题划分成更小的问
2017-12-03 00:25:14
263
原创 python学习—Day34—python文件访问
使用for循环遍历文件：•open r：以读方式打开 w ：以写方式打开 \\文件存在，内容会被覆盖。不存在创建。 a ：以追加模式 r+ ：以读写模式打开 w+：以读写模式打开(参见 w ) a+：以读写模式打开(参见 a ) rb：以二进制读模式打开 wb：以二进制写模式打开(参见 w ) ab：以二进制追加模
2017-11-30 23:20:51
258
原创 python学习—Day32—综合复习基础
python的使用方法：python shell和ipython或者win下的python解释器pycharm。python文件类型：源代码：文件以“py”为扩展名，由python程序解释，不需要编译。字节代码：python源代码文件经过编译后声称的扩展名为“pyc”的文件。编译方法：首先新建py文件插入模块 import py_compile py_compile.com
2017-11-28 22:45:34
283
原创 python学习—Day31—redis操作:字符串、list、set
字符串操作：[root@localhost redis-3.0.1]# ./src/redis-cli keys "*" | xargs ./src/redis-cli del127.0.0.1:6379> set aaa testOK127.0.0.1:6379> type aaastring127.0.0.1:6379> get aaa"test"
2017-11-27 21:52:50
317
原创 python学习—Day30—redis
NoSQL简介：NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。虽然NoS
2017-11-27 00:46:37
224
原创 python学习—Day29—mysql删除更改数据操作、索引
删除数据：首先是程序如下：#@File :del_demo.pyimport MySQLdbdef connect_mysql(): db_config = { 'host': '192.168.172.131', 'port': 3306, 'user': 'xiao', 'passwd': '123456
2017-11-24 13:04:20
289
原创 python学习—Day28—创建表、增加查询数据
创建表：#@File :mysql_one.pyimport MySQLdb# conn=MySQLdb.connect(host="192.168.172.131",user="xiao",passwd="123456",db="python",charset="utf8",post=3306)def connect_mysql(): db_config = {
2017-11-23 14:29:17
239
转载 mysql相关
[转载]yum 安装 卸载 MySQL (2014-06-07 11:20:43)转载▼ 1、查看有没有安装过： yum list installed mysql* rpm -qa | grep mysql*2.查看有没有安装包： yum
2017-11-23 11:36:15
105
原创 python学习—Day27—mysql游标、连接池、表结构
mysql游标操作：游标是系统为用户开设的一个数据缓冲区，存放SQL语句的执行结果 用户可以用SQL语句逐一从游标中获取记录，并赋给主变量，交由python进一步处理，一组主变量一次只能存放一条记录 仅使用主变量并不能完全满足SQL语句向应用程序输出数据的要求 1.游标和游标的优点在数据库中，游标是一个十分重要的概念。游标提供了一种对从表中检索出的数据进行操作的灵活手
2017-11-22 11:06:31
383
原创 python学习—Day26—python的mysql操作
安装MySQL所需要的包：windows安装：首先从网址：https://pypi.python.org/pypi/MySQL-python/1.2.5 下载windows的可执行文件.exe结尾的文件，然后放到python的程序安装目录下。界面化安装下一步就好。查看结果可以使用：cmd到windows命令端，python进入python界面，使用import MySQLdb来查看安装是否
2017-11-22 10:10:57
305
原创 python学习-Day23-re的相关方法
re的match方法：match(string[, pos[, endpos]])string:匹配使用的文本，pos: 文本中正则表达式开始搜索的索引。及开始搜索string的下标endpos: 文本中正则表达式结束搜索的索引。如果不指定pos，默认是从开头开始匹配，如果匹配不到，直接返回None#@File :demo_re.pyimport rereg
2017-11-15 13:50:29
211
转载 正则趣事？哈哈哈哈
有同学提了个问题，虽然一样看不懂，但是觉得挺有意思贴出来吧哈哈哈哈^((((1[6-9]|[2-9]\d)\d{2})-(0?[13578]|1[02])-(0?[1-9]|[12]\d|3[01]))|(((1[6-9]|[2-9]\d)\d{2})-(0?[13456789]|1[012])-(0?[1-9]|[12]\d|30))|(((1[6-9]|[2-9]\d)\d{2})
2017-11-14 15:43:19
182
原创 python学习—Day22—python的正则表达式
正则表达式：正则的学习对于之后学习使用爬虫有很大帮助，爬虫爬到的东西，很多都是不规则的，需要发现一些规律来得到想要的东西，这样就需要用到很多的正则来实现如果返回的是json的字符串则还好使用json模块解决。不然如果涉及到筛选罗列要求时，就选哟正则来匹配。正则匹配推荐网站：https://regex101.com。在线测试正则命令。跟linux中的shell的正则也有相似的地方：
2017-11-14 11:47:37
311
原创 python学习—Day21—json
jsonjson的四种方法：json.loadsjson.dumps多个s的就是来处理字符串的，没有多s的就是用来处理文件的json.loadjson.dumploads 本意：加载。这里就是把json的字符串转换成其他格式，字符串或者文件相关的dumps 本意：颠倒。就是把其他对象或者格式，转换成json格式json.cn在线解析及格式化
2017-11-13 12:32:18
209
原创 python学习—Day20—模块:logging、os、command、sys
logging的使用：日志是我们排查问题的关键利器，写好日志记录，当我们发生问题时，可以快速定位代码范围进行修改，python有给开发者们提供好的日志模块，：logging日志级别有五个：默认是info及以上。debug日志会打印所有日志，产生很多日志import logging \\从上往下，日志级别逐渐升高logging.debug('this is debug me
2017-11-10 13:20:38
271
原创 python学习—Day19—import，时间格式转换
python常用内置模块的使用：datetime，logging，os，command构建模块，以及使用：导入的时候不写后缀(test.py是书写规范，在调用时不需要写)import demo1.import_textdemo1.import_text.hello()from demo1 import import_textimport_text.hello()fr
2017-11-09 12:12:41
266
原创 python学习—Day18—异常
异常常用形式：异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行。一般情况下，在python无法正常处理cheng'xu
2017-11-08 10:28:02
338
原创 python学习—Day17—类的重写，私有变量
类的重写：需要重写的类方法，只要在需要的子类下面重新定义即可。class parent(): name = 'parent' age = 200 def __init__(self): print('my name is {0}'.format(self.name)) def get_name(self): return
2017-11-08 07:50:47
227
原创 python学习—Day16—类(一般形式、继承)
类的一般形式：创建类使用class关键字，class后面跟类名字，可以自定义，最后以冒号结尾。可以使用三引号来备注类的说明class ren(object): \\所有创建的类都是继承于object的 name = "meizi" age = "18" def hello(self): \\self：默认格式，代表函数本身 print ("he
2017-11-07 10:07:00
216
原创 python学习-Day15-python生成式和生成器、迭代器、装饰器
列表生成式：一次性生成所有数据，然后保存在内存中。适合少量数据(有节操的程序员依旧不要选择)li = [x*x for x in xrange(1, 11) if x%2 == 0]print (li) \\上下两种表达方式过程结果是一样的。def funca(): a = [] for x in xrange(1, 11): if x%2 =
2017-11-03 14:36:12
244
原创 python学习-Day14-高阶函数
高阶函数：把函数当作参数进行传递；map()函数：第一个参数为自定义函数，第二个参数为一个可迭代对象lt = (1, 2, 3, 4, 5)def f2(x): return x*xm1 = map(f2, lt)print (type(m1))print (m1)[1, 4, 9, 16, 25]reduce()函数：传入的函数必须接受两个元素
2017-11-02 19:40:19
247
原创 python学习-Dya13-函数
函数就是一些小接口，调用之后会返回所需要的值。使用非常频繁。处理一些小功能，都会以函数的形式表现。在代码的可移植性来说，是非常好的。必须掌握。1. 熟悉函数的写法函数的定义：关键字：defdef sum(x, y): \\注释：x，y为形参，sum为自定义的函数名，需要注意的是：不要与系统函数或特殊关键字相同，否则会冲突。最好与函数的方法有关的 print('x
2017-11-02 09:12:40
314
原创 python学习-Day11-12-复习
把一个数字的list从小到大排序，然后写入文件，然后从文件中读取出来文件内容，然后反序，在追加到文件的下一行list = [4,22,445,678,43,678,43,45,92 ]list1 = sorted(list)f = open('2.txt','a')f.writelines(str(list1))f.writelines('\n')f.close
2017-11-01 10:20:03
231
原创 python学习-Day10-文件操作
python对于文件的操作alt+enter：导入类alt+shift+f10：运行shift+enter(回车)：直接跳到新的下一行，无论光标位置ctrl+alt+enter:在当前行上面，跳出新一行。ctrl+左键：光标放置在想要查看的类名上，会直接跳转到那个具体的类，进行查看。打开文件步骤：1、使用open，打开文件。2
2017-10-31 14:47:11
322
原创 python学习-Day9-练习题复习
复习，做如下练习题1. 实现1-100的所有的和2. 实现1-500所有奇数的和3. 求1+ 2! + 3! + 4! + ……20！的和4. 对指定一个list进行排序[2,32,43,453,54,6,576,5,7,6,8,78,7,89]5. 复习字典排序，字符串， list， tuple常用方法#/
2017-10-27 10:02:39
226
原创 python学习-Day8-python流程控制之if、for、which、
python特殊的缩进和语法：python语言的语法中使用特殊的缩进作为区分，缩进有严格要求：4个空格python的if条件判断：if 语句 if expression: //必须有冒号 statement(s) //相对于if缩进4个空格具体示例：①#!/usr/bin/python#co
2017-10-26 09:51:01
1670
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人