星宇的博客

Python实现二叉树的前中后序遍历

Python Bytes和String相互转换发现Python的在bytes数据转string的时候直接用str(xx)会多一个b'xxx'。然后就很麻烦，后来查了下发现bytes和String相互转换，要用encode和decode来转。才不会有问题

Scrapy修改爬虫结束时统计数据中的时间为当前系统时间一、问题背景scrapy 在每次运行结束后都会显示一堆统计数据信息，其中是有统计时间数据的，那个时间是 UTC 时间（0时区），不是我们平时习惯的系统本地时间，而且里面的爬虫总运行时间是以秒计算的，不符合我们的日常习惯，于是我翻了下scrapy 的源码，找到其中相关的内容并将其重写了一遍。二、问题分析通过日志信息，找到对应的统计爬虫运行时间的类：scrapy.extensions.corestats.CoreStats日志信息显示.

Python3批量Telnet远程主机查看端口开放情况，可用于查找树莓派内网IP

看代码，我在主线程创建子线程，子线程在循环做什么事情，而main线程结束了。导致子线程获取到main线程的task。def task(): while True: # doing something passif __name__ == '__main__': request_thread = threading.Thread(target=task) request_thread.start() 解决方案，保证main线程存活

需求：tiem对象创建之后，修改原来的item的写好的table_name值我的item：class People(scrapy.Item): table_name = 'people' id = scrapy.Field() url_token = scrapy.Field() name = scrapy.Field()解决方案：people = People()people.__class__.table_name='people_20216'

Scarpy 通过telnet 特别卡,用过的肯定懂我的痛苦，并且原来的scrapy 在新版后砍了web service，并且n年没更新了，所以我修复原来版本的bug，增加接口的显示，并且上传到了pipy，方便使用。1.安装pip install scrapy-jsonrpc-api -i https://pypi.python.org/simple/2.修改scrapy项目中setting.py配置，增加以下扩展EXTENSIONS = { 'scrapy_jsonrpc.webs

Scrapy>；=0.16使用不同的方法将方法附加到信号，添加了额外的示例最简单的解决方案是编写一个扩展，在这个扩展中，您可以使用零碎的信号捕获故障。 例如，以下扩展将捕获所有错误并打印回溯。您可以对失败执行任何操作—如保存到数据库，或发送电子邮件—它本身就是twisted.python.failure.Failure的实例。对于0.16之前的零碎版本：from scrapy import signalsfrom scrapy.xlib.pydispatch import dispatche

BaseException # 所有异常的基类 +-- SystemExit # 解释器请求退出 +-- KeyboardInterrupt # 用户中断执行(通常是输入^C) +-- GeneratorExit # 生成器(generator)发生异常来通知退出 +-- Exception # 常规异常的基类 +-- StopIteration # 迭代器没有更多的值 +-- StopAsyncIteration # 必须通过异步迭代器对象的__anext__