liujiandu101的博客

协程的概念级描述（与线程对比）：转自知乎 链接　　线程有两个必须要处理的问题：一是碰着阻塞式I\O会导致整个进程被挂起；　　　　　　　　　　　　　　　　二是由于缺乏时钟阻塞，进程需要自己拥有调度线程的能力。　　如果一种实现使得每个线程需要自己通过调用某个方法，主动交出控制权。那么我们就称这种线程是协作式的，即是协程。在Python中关于协程的实现方式有三种：最初的生成器变形yi...

之前写了几篇源码剖析笔记，然而慢慢觉得没有从一个宏观的角度理解python执行原理的话，从底向上分析未免太容易让人疑惑，不如先从宏观上对python执行原理有了一个基本了解，再慢慢探究细节，这样也许会好很多。这也是最近这么久没有更新了笔记了，一直在看源码剖析书籍和源码，希望能够从一个宏观层面理清python执行原理。人说读书从薄读厚，再从厚读薄方是理解了真意，希望能够达到这个境地吧，加了个油。1 ...

只要安装了Python，在用C进行Python的扩展编程时不需要额外安装任何东西，Python会将头文件防置于/usr/include/python下，根据不同的版本稍有不同。下面给出一个例程，它将产生一个可以被python导入的模块，名为Example，其中包含一个splitwords的函数，这个函数接受两个参数，第一个是包含单词的字符串，第二个是单词的分隔符，这也是一个字符串，其中的每个字符都...

安装系统下载raspbian-stretch镜像：https://www.raspberrypi.org/downloads/raspbian/ 下载SDFormatterv4：https://www.sdcard.org/downloads/formatter_4/ 下载Win32DiskImager：https://sourceforge.net/projects/win32diskimage...

1.Python内置方法 2.Python方法修饰 2.1 @classmethod##普通方法调用def A(object)： def say(): print("this is class A")if __name__="__main__": a=A() a.say() #或者 A.say(a)##类方法调用@classmetho

一、开源的OpenCV机器视觉我们最常用的软件是OpenCV（Intel OpenSource Computer Vision Library），它的中文论坛http://www.opencv.org.cn/index.PHP里面有非常清楚的介绍。二、VisionPro®7.0系统，快速开发强大的应用系统康耐视公司（Cognex ®）推出的 VisionPro ® 系统组合

python模拟登录新浪微博自动获得调用新浪api所需的code标签： python新浪api2015-12-21 16:25 1493人阅读 评论(0)收藏举报分类： python 版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]用这篇文章来记录一下从头到尾调用新浪api的过程

Scrapy框架结合Spynner采集需进行js,ajax动态加载的网页并提取网页信息（以采集微信公众号文章列表为例）博客分类： Scrapy结合SpynnerScrapySpynnerwebkit对于网页的采集有这样几种:1.静态网页2.动态网页（需进行js,ajax动态加载数据的网页）3.需进行模拟登录后才能采集的网页4.

Neo4j简介Neo4j是一个高性能的,NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级的数据库的所有好处。Neo4j因其嵌入式、高性能、轻量级等优势，越来越受到关注。图形数

python程序默认是单线程的，也就是说在前一句语句执行完之前后面的语句不能继续执行（不知道我理解得对不对）　　先感受一下线程，一般情况下：def testa(): sleep(1) print "a"def testb(): sleep(1) print "b"testa()testb()#先隔出一秒打印出a，再过一秒打出b　　但...

 阅读目录一 multiprocessing模块介绍 二 Process类的介绍 三 Process类的使用 四 守护进程 五 进程同步(锁) 六 队列（推荐使用） 七 管道 八 共享数据 九 信号量(了解） 十 事件(了解) 十一 进程池一 multiprocessing模块介绍    python中的多线程无法利用多核优势，如果想要充分地使用多核CPU...

asyncio可以实现单线程并发IO操作。如果仅用在客户端，发挥的威力不大。如果把asyncio用在服务器端，例如Web服务器，由于HTTP连接就是IO操作，因此可以用单线程+coroutine实现多用户的高并发支持。asyncio实现了TCP、UDP、SSL等协议，aiohttp则是基于asyncio实现的HTTP框架。我们先安装aiohttp：pip install aiohtt...

在学习异步IO模型前，我们先来了解协程。协程，又称微线程，纤程。英文名Coroutine。协程的概念很早就提出来了，但直到最近几年才在某些语言（如Lua）中得到广泛应用。子程序，或者称为函数，在所有语言中都是层级调用，比如A调用B，B在执行过程中又调用了C，C执行完毕返回，B执行完毕返回，最后是A执行完毕。所以子程序调用是通过栈实现的，一个线程就是执行一个子程序。子程序调用总是...

  前年我曾写过一篇《初探 Python 3 的异步 IO 编程》，当时只是初步接触了一下 yield from 语法和 asyncio 标准库。前些日子我在 V2EX 看到一篇《为什么只有基于生成器的协程可以真正的暂停执行并强制性返回给事件循环？》，激起了我再探 Python 3 异步编程的兴趣。然而看了很多文章和，才发现极少提到 async 和 await 实际意义的，绝大部分仅止步于...

最近通过的PEP-0492为 Python 3.5 在处理协程时增加了一些特殊的语法。新功能中很大一部分在3.5 之前的版本就已经有了，不过之前的语法并不算最好的，因为生成器和协程的概念本身就有点容易混淆。PEP-0492 通过使用 async 关键字显式的对生成器和协程做了区分。本文旨在说明这些新的机制在底层是如何工作的。如果你只是对怎么使用这些功能感兴趣，那我建议你可以忽略这篇文章，而是去...

作为 Python 核心开发者之一，让我很想了解这门语言是如何运作的。我发现总有一些阴暗的角落我对其中错综复杂的细节不是很清楚，但是为了能够有助于 Python 的一些问题和其整体设计，我觉得我应该试着去理解 Python 的核心语法和内部运作机制。但是直到最近我才理解 Python 3.5 中 async/await 的原理。我知道 Python 3.3 中的 yield from 和 Py...

【八】协程停止future对象有几个状态：PendingRunningDoneCancelled创建future的时候，task为pending，事件循环调用执行的时候当然就是running，调用完毕自然就是done，如果需要停止事件循环，就需要先把task取消。可以使用asyncio.Task获取事件循环的task例如： [python] view plain copy...

六】协程并发定义tasks时可以设置多个ensure，也可以像多线程那样用append方法实现 [python] view plain copy tasks = [       asyncio.ensure_future(coroutine1),       asyncio.ensure_future(coroutine2),       asyncio.ensure_f...

 我们都知道，现在的服务器开发对于IO调度的优先级控制权已经不再依靠系统，都希望采用协程的方式实现高效的并发任务，如js、lua等在异步协程方面都做的很强大。Python在3.4版本也加入了协程的概念，并在3.5确定了基本完善的语法和实现方式。同时3.6也对其进行了如解除了await和yield在同一个函数体限制等相关的优化。event_loop 事件循环：程序开启一个无限的循环，程序...

之前做过一些文本挖掘的项目，比如网页分类、微博情感分析、用户评论挖掘，也曾经将libsvm进行包装，写了一个文本分类的开软软件Tmsvm。所以这里将之前做过一些关于文本分类的东西整理总结一下。1 基础知识1. 1 样本整理文本分类属于有监督的学习，所以需要整理样本。根据业务需求，确定样本标签与数目，其中样本标签多为整数。在svm中其中如果为二分类，样本标签一般会设定为-1和1，

由于在项目需要执行Python，找寻相关资料，总结出以下几种方式：直接执行Python脚本代码　　　　引用 org.python包1 PythonInterpreter interpreter = new PythonInterpreter(); 2 interpreter.exec("days=('mod','Tue','Wed','Thu','Fri','Sat','S

1、http://sourceforge.net/projects/jython/下载jython包，把其中的jython.jar添加到工程目录 示例：1、摘自：http://blog.youkuaiyun.com/anbo724/article/details/66086321.在java类中直接执行python语句view plainim

python机器登陆新浪微博代码示例　　前段时间开始学习Python，一直想不到有什么好的小项目可以做，憋得慌，这不， 绞尽脑汁想出了一个爬取新浪微博，并对爬取数据做简单统计的项目。一开始我自以为学习了点Python正则就可以搞定了，熟料在机器登陆上栽了跟头，从完全一头雾水到现在初步登陆获取到数据，整整历经了四五天。因为之前没搞过机器登陆方面的代码，所以这次项目的初步完成完全归功于网上的一些大

Python 爬虫 PhantomJs 获取JS动态数据字数2034 阅读2900 评论16 喜欢8上篇文章我非常high的爬取了一个正常网页的数据对是正常不正常的来了这次研究的就是那些“不正常”的网页 当时是我太天真 后面发现水又深介于现在JS H5的大趋势 大部分网站都是混入了JS数据加载 数据是延迟加载的这样如果我们用原始的ur

Python 爬虫入门（二）—— IP代理使用时间 2016-01-25 11:40:00  Python_博客园原文  http://www.cnblogs.com/hearzeus/p/5157016.html主题 Python上一节，大概讲述了Python 爬虫的编写流程， 从这节开始主要解决如何突破在爬取的过程中限制。比如，IP、JS、验证码等。这节主要

Scikit Learn: 在python中机器学习Warning警告：有些没能理解的句子，我以自己的理解意译。翻译自：Scikit Learn:Machine Learning in Python作者: Fabian Pedregosa, Gael Varoquaux先决条件Numpy, ScipyIPythonmatplotlibscik

SciPy-数值计算库SciPy函数库在NumPy库的基础上增加了众多的数学、科学以及工程计算中常用的库函数。例如线性代数、常微分方程数值求解、信号处理、图像处理、稀疏矩阵等等。由于其涉及的领域众多、本书没有能力对其一一的进行介绍。作为入门介绍，让我们看看如何用SciPy进行插值处理、信号滤波以及用C语言加速计算。3.1　最小二乘拟合假设有一组实验数据(x[i], y[i]

NumPy-快速处理数据标准安装的Python中用列表(list)保存一组值，可以用来当作数组使用，不过由于列表的元素可以是任何对象，因此列表中所保存的是对象的指针。这样为了保存一个简单的[1,2,3]，需要有3个指针和三个整数对象。对于数值运算来说这种结构显然比较浪费内存和CPU计算时间。此外Python还提供了一个array模块，array对象和列表不同，它直接保存数值，和C语

文本挖掘模型结构示意图1. 分词分词实例：       提高人民生活水平：提高、高人、人民、民生、生活、活水、水平分词基本方法：        最大匹配法、最大概率法分词、最短路径分词方法1.1 最大匹配法        中文分词在中文信息处理中是最最基础的，无论机器翻译亦或信息检索还是其他相关应用，如果涉及中文，都离不开中文分词，因此中文分词具有极高的地位

Neo4j 是一个高性能的 NoSQL 图形数据库。Neo4j 使用图（graph）相关的概念来描述数据模型，把数据保存为图中的节点以及节点之间的关系。很多应用中数据之间的关系，可以很直接地使用图中节点和关系的概念来建模。对于这样的应用，使用 Neo4j 来存储数据会非常的自然，要优于使用关系数据库。本文对 Neo4j 进行了深入的介绍，并结合具体的实例来进行详细的说明，可以让您对 Neo4j 有

Python动态页面抓取超级指南时间 2016-03-10 12:13:05  数据工匠原文  http://datartisan.com/article/detail/95.html主题 Python JavaScript当我们进行网页爬虫时，我们会利用一定的规则从返回的 HTML 数据中提取出有效的信息。但是如果网页中含有 JavaScript 代码，我们必

python+Selenium2+chrome构建动态网页爬虫工具2013-06-30 11:23 22863人阅读 评论(6) 收藏 举报 分类： python-web（11） 版权声明：本文为博主原创文章，未经博主允许不得转载。      网页爬虫分为静态网页爬虫和动态网页爬虫，前者是指索要获取的网页内容不需要经过js运算或者人工

Python 标准数据库接口为 Python DB-API，Python DB-API为开发人员提供了数据库应用编程接口。Python 数据库接口支持非常多的数据库，你可以选择适合你项目的数据库：GadFlymSQLMySQLPostgreSQLMicrosoft SQL Server 2000InformixInterbaseOracleSyb

基于Bayes和KNN的newsgroup 18828文本分类器的Python实现向@yangliuy大牛学习NLP，这篇博客是数据挖掘-基于贝叶斯算法及KNN算法的newsgroup18828文本分类器的JAVA实现（上）的Python实现。入门为主，没有太多自己的东西。1. 数据集Newsgroup新闻文档集，含有20000篇左右的Usenet文档，平均分配

文本挖掘的paper没找到统一的benchmark，只好自己跑程序，走过路过的前辈如果知道20newsgroups或者其它好用的公共数据集的分类（最好要所有类分类结果，全部或取部分特征无所谓）麻烦留言告知下现在的benchmark，万谢！嗯，说正文。20newsgroups官网上给出了3个数据集，这里我们用最原始的20news-19997.tar.gz。分为以下几个过程：

转自：http://rzcoding.blog.163.com/blog/static/2222810172013101895642665/在文本处理中，比如商品评论挖掘，有时需要了解每个评论分别和商品的描述之间的相似度，以此衡量评论的客观性。评论和商品描述的相似度越高，说明评论的用语比较官方，不带太多感情色彩，比较注重描述商品的属性和特性，角度更客观。那么Python 里

转自:http://www.lovelucy.info/python-crawl-pages.htmlCUHK上学期有门课叫做Semantic Web，课程project是要搜集整个系里面的教授信息，输入到一个系统里，能够完成诸如“如果选了A教授的课，因时间冲突，B教授的哪些课不能选”、“和A教授实验室相邻的实验室都是哪些教授的”这一类的查询。这就是所谓的“语义网”了啊。。。然而最坑爹的是

Neo4j是一个高性能的,NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级的数据库的所有好处。Neo4j因其嵌入式、高性能、轻量级等优势，越来越受到关注。图形数据结构在一个图