- 博客(21)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 python的threading和multiprocessing模块初探
前言 这两天为了做一个小项目，研究了一下python的并发编程，所谓并发无非多线程和多进程，最初找到的是threading模块，因为印象中线程“轻量...”，“切换快...”，“可共享进程资源...”等等，但是没想到这里水很深，进而找到了更好的替代品multiprocessing模块。下面会讲一些使用中的经验。后面出现的代码都在ubuntu10.04 + python2.6.5的环
2015-04-22 21:55:16
473
转载 使用Python进行并发编程
让计算机程序并发的运行是一个经常被讨论的话题，今天我想讨论一下Python下的各种并发方式。并发方式线程（Thread）多线程几乎是每一个程序猿在使用每一种语言时都会首先想到用于解决并发的工具（JS程序员请回避），使用多线程可以有效的利用CPU资源（Python例外）。然而多线程所带来的程序的复杂度也不可避免，尤其是对竞争资源的同步问题。然而在python中由于使用
2015-04-22 21:51:36
611
转载 关于Python并行任务技巧的几点补完
早上逛微博发现了SegmentFault上的这篇文章：关于Python并行任务技巧（http://segmentfault.com/a/1190000000382873） 。看过之后大有裨益。顺手试了试后遇到几个小坑，记录下来作为补完（作者也有点语焉不详哦^_^）。第一点是传入的function，只能接收一个传入参数，一开始以为在传入的序列里用tuple可以自动解包成多个参数传进去，可惜实
2015-04-22 21:47:38
2143
转载 python 多线程就这么简单
多线程和多进程是什么自行google补脑 对于python 多线程的理解，我花了很长时间，搜索的大部份文章都不够通俗易懂。所以，这里力图用简单的例子，让你对多线程有个初步的认识。 单线程 在好些年前的MS-DOS时代，操作系统处理问题都是单任务的，我想做听音乐和看电影两件事儿，那么一定要先排一下顺序。（好吧！我们不纠结在DOS时代是否有听音乐和
2015-04-22 21:14:21
483
转载 3个实例帮你理解Python中的线程
我们将会看到一些在Python中使用线程的实例和如何避免线程之间的竞争。你应当将下边的例子运行多次，以便可以注意到线程是不可预测的和线程每次运行出的不同结果。声明：从这里开始忘掉你听到过的关于GIL的东西，因为GIL不会影响到我想要展示的东西。 实例1 我们将要请求五个不同的url： 单线程 import timeimport urllib2def get_re
2015-04-22 21:12:41
419
转载 python 采集相关
为何要用正则表达式而不用其他一些解析HTML或者DOM树的工具是有原因的。我之前试过用BeautifulSoup3来提取内容，后来发觉速度实在是慢死了啊，一秒钟能够处理100个内容，已经是我电脑的极限了。。。而换了正则表达式，编译后处理内容，速度上直接把它秒杀了！
2015-04-14 12:59:45
322
转载 python 多线程相关
如果你的代码是CPU密集型，多个线程的代码很有可能是线性执行的。所以这种情况下多线程是鸡肋，效率可能还不如单线程因为有context switch但是：如果你的代码是IO密集型，多线程可以明显提高效率。例如制作爬虫（我就不明白为什么Python总和爬虫联系在一起…不过也只想起来这个例子…），绝大多数时间爬虫是在等待socket返回数据。这个时候C代码里是有release GIL的，最终
2015-04-14 12:22:53
747
原创 virtualbox 玩转slitaz
1、自动登录：(1)在/boot/grub的mune.lst里面添加autologin后就会以默认用户登录(2)打开/etc/slim.conf,在# for avoid pre-loading the username.default_user tux后面添加auto_login yes2、以text mode 登录在/bo
2015-04-11 14:19:32
739
原创 vagrant 1.7.1 记录
windows 下有两处需要修改：1、HashiCorp\Vagrant\embedded\gems\gems\vagrant-1.7.1\lib\vagrant下machine.rb 153行，去掉两个**2、
2015-04-08 19:17:26
685
原创 配置xshell通过ssh访问koding
一开始我用putty 或者xshell 怎么设置都连不上koding（中途重启了一次，不知道重启有作用么，后来偶然成功，记录一下）具体步骤如下：1、在xshell中生成ssh public key在xshell 菜单里 “工具”=》“新建用户密钥生成向导”，一般用RSA 1024位，密码可要可不要2、在koding的virtual machine中注册http://learn.
2014-12-10 15:55:01
631
原创 云端开发环境
云端开发环境https://koding.comCloud9 IDEhttps://codeanywhere.comnitrous.ioShiftEdit
2014-12-09 18:51:20
628
1
转载 Python：Scrapy中重写ImagePipeline组件的file_path函数，自定义图片的路径和名称
默认情况下，使用ImagePipeline组件下载图片的时候，图片名称是以图片URL的SHA1值进行保存的。如：图片URL:http://www.example.com/image.jpgSHA1结果：3afec3b4765f8f0a07b78f98c07b83f013567a0a则图片名称：3afec3b4765f8f0a07b78f98c07b83f013567a0a.jpg
2014-11-24 11:30:41
3924
2
转载 scrapy 下载gif图片
Come across to this thread. Here's my MyImagesPipeline to download full size gif images by overriding image_downloaded.class MyImagesPipeline(ImagesPipeline): def check_gif(self, image):
2014-11-24 11:06:24
1453
转载 python 获取当前目录和上级目录
import os#huoqprint os.path.dirname(os.path.abspath(__file__))print os.path.abspath(os.path.dirname(os.path.dirname(__file__)))print os.path.abspath(os.path.join(os.path.dirname(__file__),"..")
2014-11-24 09:22:57
19472
转载 PYTHON 虚拟环境
为了解决包依赖、安装权限和 python 版本问题，程序员们制造了许多工具。我把它们做一个汇总，便于查找。这里介绍的工具都是当前流行的，不会包含已经不再维护的工具。virtualenvvirtualenv 是目前最流行的 python 虚拟环境配置工具。它不仅同时支持 python2 和 python3，而且可以为每个虚拟环境指定 python 解释器，并选择不继承基础
2014-11-19 21:59:47
459
原创 windows下 在virtualenv的虚拟环境中使用pywin32
easy_install"C:\Path\To\Downloads\pywin32-219.win32-py3.4.exe"
2014-11-19 21:55:07
803
Chrome扩展及应用开发
2017-12-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人