IMISer2016的博客

爬取基于Flex技术的网站数据Flex技术是网站运用flash方法与客户端进行数据通信，数据的格式可以是txt,json或amf等。 AMF是一种二进制编码方式，其在flash传输效率高,以农业信息网数据为例，爬取的方式与一般ajax分析相同。通过抓包分析请求头和响应数据，然后构造请求、接受返回数据。 github原文地址 下面我以中国农产品批发市场每日价格行情http://jgsb.a

再次爬取基于Flex技术的某农产品每日价格历史数据 这个是实习期间耽搁时间最长的项目了，通过这个对pyamf这个包算是很熟悉了。不得不说他的请求伪造真的好复杂。。。顺便吐槽一下，像flash这种当今在网页上见得很少了，但是众多政府网站依然使用，接受html5就那么难吗？？？还是说懒得换架构和模式？？网上对pyamf包的使用案例几乎没有，只能从国外找，1.23那天项目已经实践过一次

Python 异步IO技术异步(asynchronous)编程模式是相对于同步方式的另一种编程思路。 C10K的问题提出后， 各种编程语言都出现了解决高并发的技术栈， 而早在Python2时期， Twisted、Tornado和Gevent这三个库用不同的技术路径解决了高并发。[1] 其中就有用到Python的一些异步实现方法。 此文将对异步编程的基本思想和Python的实现方式进行阐述。文章...