python使用twisted里log模块操作text记录日志

最新推荐文章于 2023-12-02 10:04:23 发布
原创 最新推荐文章于 2023-12-02 10:04:23 发布 · 1.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文介绍了如何使用Python内置的日志模块进行日志记录。通过引入Twisted库中的log模块，并设置日志文件路径及时间格式，可以轻松实现日志消息的记录。

Python自带的日志

在使用到日志的文件添加

from twisted.python import log

 

在使用的地方添加

log.startLogging(open("app/logs/test.log",'w'))#这里是你的路径喔，后面参数我猜是读写的权限之类吧

log.FileLogObserver.timeFormat = '%Y-%m-%d %H:%M:%S'#设置时间格式

log.msg('test msg')#内容噢

Python Scrapy：使用Scrapy Crawler Process进行爬虫启动
Python编程之道的博客
04-07 1763
Scrapy是Python生态中最强大的网络爬虫框架之一，而Crawler Process是其核心的爬虫启动和管理机制。理解Scrapy内部的爬虫启动流程掌握通过代码控制爬虫运行的高级技巧实现复杂的爬虫调度和管理需求优化爬虫启动性能和资源利用率本文涵盖从基础概念到高级用法的完整知识体系，适用于各种规模的爬虫项目。首先介绍Scrapy的基本架构和Crawler Process的定位然后深入分析Crawler Process的核心实现原理接着通过实际代码演示各种使用场景。
Python的log的使用
jason_cuijiahui的博客
04-28 3759
一个封装好的Log类 #! /usr/bin/env python #coding=gbk import logging,os from logging.handlers import RotatingFileHandler class Logger: def __init__(self, app): self.logger = logging.getLogger(ap...
使用twisted.python.log日志
河边的小屋
05-29 8714
使用twisted.python.log日志目录 1   简单使用 1.1   日志与twistd 1.2   日志文件 2   编写日志监视器 版本: 2.4.0
python:初步搞懂了twisted
我呢D浪子又点会有初恋啊
01-25 2105
一个最简单的twisted的TCP服务器代码是酱紫的： from twisted.internet.protocol import Factory, Protocol from twisted.internet import reactor   class my_protocol(Protocol):     def __init__(self):
twisted log 按天记log
weixin_34006468的博客
01-24 142
2019独角兽企业重金招聘Python工程师标准>>> ...
使用twisted 的log生成每天的日志
weixin_33753003的博客
01-14 406
2019独角兽企业重金招聘Python工程师标准>>> ...
九、pytest接口自动化教程--日志模块logging
weixin_46271574的博客
12-02 1861
（1） 记录程序运行信息。1、框架增加log模块。（2） 方便定位问题。
Twisted框架与日志记录：twisted.internet.reactor中的日志管理策略
[Twisted框架与日志记录：twisted.internet.reactor中的日志管理策略](http://www.phpxs.com/uploads/202309/06/802227d47353af5f5e7afade4194ef56.jpg) # 1. Twisted框架概述 ## 1.1 Twisted框架简介 Twisted是一...
Twisted Python Failure的错误跟踪：快速记录和分析网络异常的方法
[Twisted Python Failure的错误跟踪：快速记录和分析网络异常的方法](https://datascientest.com/wp-content/uploads/2023/03/twisted-python-datascientest.png) # 1. Twisted Python和网络异常概述 ## 1.1 ...
Twisted Python的扩展和插件系统：打造可复用的网络应用模块
[Twisted Python的扩展和插件系统：打造可复用的网络应用模块](https://hips.hearstapps.com/hmg-prod/images/starblazer1-64262f5e7b4a6.jpeg?crop=1xw:0.9652631578947368xh;center,top&resize=1200:*) # 1. ...
Python 爬虫 性能 相关（ asyncio 模块 --- 高性能爬虫 ）
墨鱼菜鸡
07-11 1214
From：https://www.cnblogs.com/bravexz/p/7741633.html 爬虫应用 asyncio 模块 ( 高性能爬虫 )：https://www.cnblogs.com/morgana/p/8495555.html python异步编程之asyncio(百万并发)：https://www.cnblogs.com/sh...
python twisted教程_Python下的twisted框架入门指引
weixin_39779928的博客
12-06 555
什么是twisted？twisted是一个用python语言写的事件驱动的网络框架，他支持很多种协议，包括UDP,TCP,TLS和其他应用层协议，比如HTTP，SMTP，NNTM，IRC，XMPP/Jabber。 非常好的一点是twisted实现和很多应用层的协议，开发人员可以直接只用这些协议的实现。其实要修改Twisted的SSH服务器端实现非常简单。很多时候，开发人员需要实现protocol类...
twisted学习笔记
鸟窝
10-23 9179
经过上周末的突击，2dx client跑到python server前面去了：client网络连接、数据包收发、房间列表、进出房间都ok了；之前写的简易版server还只能接受连接和转发数据 故，开始着手twisted框架，把server搞起~ twisted启动一个tcp server很简单，按照示例几行代码就能搞定：监听端口、reactor启动反应堆、factory管理连接、改写proto
使用Python库pyqt5制作TXT阅读器（四）-------应用设置和程序打包
pikeduo的博客
01-09 1613
pyqt5编写TXT阅读器，添加设置功能，包括文字，背景颜色，背景图片，默认设置等，编写完成后打包程序。
python 网络框架twisted基础学习及详细讲解
anfeng4628的博客
08-14 1519
twisted网络框架的三个基础模块：Protocol, ProtocolFactory, Transport.这三个模块是构成twisted服务器端与客户端程序的基本。Protocol：Protocol对象实现协议内容，即通信的内容协议ProtocolFactory: 是工厂模式的体现，在这里面生成协议Transport: 是用来收发数据，服务器端与客户端的数据收发与处理都是基于这个模...
Python 日志组件学习（一）
youdabendan的博客
02-24 787
Python log组件主要 对以下python日志组件分析说明. [TOC] logging twisted.python.log twisted.loggerpython 日志的官方说明文档比较简单，一般使用没什么问题，不过了解一些基本的原理，可能在一些复杂的项目里使用起来比较方便一些 logginglogging 是python 标准的日志组件使用：import logging logg
python中如何把log输入到文件
qq_35958094的博客
10-15 2622
import logging,os import time def getlogger(loggername='mylogger'): # 使用一个名字为mylogger的logger logger = logging.getLogger(loggername) # 设置logger的level为DEBUG logger.setLevel(logging.DEBU...
请使用Twisted和事件循环，通过完全异步的方式来完成对百度首页的爬取，页面解析以及异常处理，给我一个完整示例
最新发布
03-19
<think>嗯，用户现在想要一个使用Twisted和事件循环来完全异步爬取百度首页的完整示例，包括页面解析和异常处理。之前他们问过Twisted的同步和异步请求示例，现在需要更具体的应用场景。首先，我得确认用户的需求，他们可能在做网络爬虫，希望利用Twisted的异步特性提高效率，同时处理解析和异常。 用户提到“完全异步的方式”，所以必须确保每个步骤都是非阻塞的。之前的回答里用了Agent来发送请求，但页面解析可能需要处理HTML内容，这里可能需要结合其他库，比如lxml或者BeautifulSoup。不过Twisted本身是异步的，解析HTML如果是同步操作可能会阻塞事件循环，所以得注意这部分是否需要用线程来处理。 接下来，异常处理是关键。在异步代码中，异常处理通常通过Deferred的errback链来处理，但用户可能需要更详细的错误分类，比如连接错误、超时、解析错误等。需要确保每个可能的错误点都有对应的处理。 然后，页面解析部分，可能需要使用到像treq这样的高级HTTP客户端库，或者继续使用Agent。但Agent在读取响应内容时需要异步处理，比如使用collect来收集响应体。解析HTML可以使用同步的解析库，但为了不阻塞事件循环，可能需要使用deferToThread将解析任务放到线程池中执行。 然后，整个流程需要步骤清晰：发起请求 -> 获取响应 -> 读取内容 -> 解析内容 -> 处理结果或错误。每个步骤都需要异步回调，并且错误处理要串联起来。 需要考虑到百度首页可能有重定向，Agent默认会处理重定向吗？或者是否需要自定义RedirectClient？可能需要查阅Twisted的文档确认。另外，设置合适的请求头，比如User-Agent，避免被屏蔽。 最后，代码结构要完整，包括启动reactor，处理异常，停止reactor，以及各个回调函数的连接。可能还需要超时处理，使用Deferred的addTimeout方法，或者reactor.callLater来设置超时。 综合这些点，应该先使用Agent发送GET请求，处理响应时读取内容，然后使用线程池解析HTML，提取需要的信息，比如标题。每个步骤都要有错误回调，确保任何环节出错都能被捕获，并正确停止reactor。同时，添加超时处理，防止请求长时间挂起。 可能需要注意的细节包括：正确关闭连接，处理部分接收的响应，编码问题（比如百度的页面编码可能需要处理），以及日志输出，方便用户理解流程。此外，示例代码需要包含必要的导入和注释，确保用户能够直接运行并看到效果。</think>以下是一个使用Twisted实现完全异步的百度首页爬取、解析及异常处理的完整示例： ```python from twisted.internet import reactor, defer, task from twisted.web.client import Agent, readBody from twisted.web.http_headers import Headers from lxml import html # 需要安装lxml库 from twisted.python import log import sys # 配置日志输出 log.startLogging(sys.stdout) class AsyncBaiduCrawler: def __init__(self): self.agent = Agent(reactor) self.timeout = 10 # 超时时间（秒） def _parse_html(self, content): """HTML解析方法（需在独立线程中执行）""" try: tree = html.fromstring(content) title = tree.xpath('//title/text()')[0].strip() return {"status": "success", "title": title} except Exception as e: return {"status": "parse_error", "message": str(e)} @defer.inlineCallbacks def _async_request(self): """异步请求核心逻辑""" try: # 发起异步请求 headers = Headers({ b'User-Agent': [b'TwistedBot/1.0 (+https://example.com/bot)'], b'Accept-Language': [b'zh-CN,zh;q=0.9'] }) response = yield self.agent.request( b'GET', b'https://www.baidu.com', headers ) # 处理HTTP错误状态 if response.code != 200: raise Exception(f"HTTP错误状态码: {response.code}") # 异步读取响应体 content = yield readBody(response) log.msg(f"接收到 {len(content)} 字节数据") # 将解析任务放入线程池（避免阻塞事件循环） parse_result = yield threads.deferToThread( self._parse_html, content ) if parse_result['status'] == 'success': log.msg(f"解析成功 - 页面标题: {parse_result['title']}") else: raise Exception(f"解析错误: {parse_result['message']}") except Exception as e: log.err(f"请求处理失败: {str(e)}") raise # 将异常传递到错误处理链 def _handle_timeout(self, deferred): """超时处理""" deferred.errback( Exception(f"请求超时（{self.timeout}秒未响应）") ) def crawl(self): """启动爬取流程""" deferred = self._async_request() # 添加超时控制 deferred.addTimeout( self.timeout, reactor, self._handle_timeout ) # 最终回调 deferred.addBoth(lambda _: reactor.stop()) return deferred if __name__ == "__main__": crawler = AsyncBaiduCrawler() # 设置安全终止 def shutdown(failure): if failure: log.err(failure) reactor.stop() # 启动事件循环 reactor.callWhenRunning(crawler.crawl) reactor.run() ``` --- ### 关键实现解析 1. **异步架构设计** - 使用`Agent`作为异步HTTP客户端 - 通过`defer.inlineCallbacks`管理异步流程 - 使用`deferToThread`处理CPU密集型任务（HTML解析） 2. **异常处理机制** ```python try: # 核心业务逻辑 except Exception as e: # 统一错误日志记录 log.err(f"请求处理失败: {str(e)}") raise # 传递异常到错误处理链 ``` - 覆盖网络错误、HTTP状态码错误、解析错误、超时等场景 - 使用Twisted的`log`模块进行统一日志记录 3. **超时控制** ```python deferred.addTimeout( self.timeout, reactor, self._handle_timeout ) ``` - 设置10秒超时阈值 - 超时后自动触发错误处理链 4. **线程池集成** ```python from twisted.internet import threads parse_result = yield threads.deferToThread(...) ``` - 将HTML解析任务放入独立线程 - 避免阻塞事件循环主线程 --- ### 运行效果示例 ``` 2023-12-07 14:20:33+0800 [-] 接收到 228133 字节数据 2023-12-07 14:20:33+0800 [-] 解析成功 - 页面标题: 百度一下，你就知道 2023-12-07 14:20:33+0800 [-] Main loop terminated. ``` --- ### 优化建议 1. **请求频率控制** ```python from twisted.internet import task # 添加延迟执行 yield task.deferLater(reactor, 1.0, lambda: None) ``` 2. **代理支持** ```python from twisted.web.client import ProxyAgent agent = ProxyAgent(reactor, proxy_uri=b"http://proxy.example.com:8080") ``` 3. **结果持久化** ```python from twisted.enterprise import adbapi # 异步数据库写入 dbpool = adbapi.ConnectionPool("sqlite3", "results.db") yield dbpool.runOperation( "INSERT INTO pages (title) VALUES (?)", (parse_result['title'],) ) ``` 该方案充分运用Twisted的异步特性，在单线程内实现完整的爬取-解析流程，适合需要高并发的网络爬虫场景。实际部署时建议配合`twisted.internet.task.LoopingCall`实现定时爬取任务。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值