python logging note

单元测试与日志配置
本文展示了一个Python单元测试的例子,使用unittest框架进行测试,并通过logging模块记录测试过程中的详细信息。介绍了如何设置日志级别及如何在测试中断言期望结果。
Attribute Error: 'function' object has no attribute 'rfind'

bounded, unbounded 和没有使用 () 有关

class SomeTest( unittest.TestCase ):
def testSomething( self ):
log= logging.getLogger( "SomeTest.testSomething" )
log.debug( "this= %r", self.this )
log.debug( "that= %r", self.that )
# etc.
self.assertEquals( 3.14, pi )

if __name__ == "__main__":
logging.basicConfig( stream=sys.stderr )
logging.getLogger( "SomeTest.testSomething" ).setLevel( logging.DEBUG )
unittest.main()
### 小红书关键词爬虫实现教程及示例代码 以下是一个基于 Python 的小红书关键词爬虫的实现教程和代码示例。该教程结合了项目 `xhs_simple_crawler` 的目录结构[^1]以及作者吴秋霖在爬虫领域的经验[^2]。 #### 1. 环境准备 确保已安装以下依赖库: - `requests`: 用于发送 HTTP 请求。 - `pandas`: 数据处理与存储。 - `selenium`: 模拟浏览器行为,适用于动态加载内容。 - `json`: 解析 JSON 格式数据。 可以通过以下命令安装所需依赖: ```bash pip install requests pandas selenium ``` #### 2. 代码实现 以下是一个简单的 Python 小红书关键词爬虫示例: ```python import requests import json import pandas as pd # 配置请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36', 'Cookie': '填写你的Cookie' # 替换为实际的小红书登录Cookie } # 定义搜索接口URL search_url = "https://www.xiaohongshu.com/web_api/sns/v1/search_notes" # 定义参数 params = { 'keyword': '关键词', # 替换为你要搜索的关键词 'page': 1, 'page_size': 20 } # 发送请求 response = requests.get(search_url, headers=headers, params=params) data = response.json() # 解析数据 if data['success']: notes = data['data']['notes'] result = [] for note in notes: note_data = { 'id': note['id'], 'title': note['title'], 'desc': note['desc'], 'user_name': note['user']['nickname'], 'like_count': note['interact_info']['like_count'], 'comment_count': note['interact_info']['comment_count'] } result.append(note_data) # 转换为DataFrame并保存为CSV文件 df = pd.DataFrame(result) df.to_csv('xhs_search_results.csv', index=False, encoding='utf-8-sig') print("数据已保存到 xhs_search_results.csv") else: print("请求失败:", data['msg']) ``` #### 3. 注意事项 - **Cookie**: 在实际使用中,需要替换 `headers` 中的 `Cookie` 字段为真实的登录态 Cookie。可以通过浏览器开发者工具获取。 - **反爬机制**: 小红书存在较为严格的反爬机制,可能需要对请求进行加密签名或使用 Selenium 模拟浏览器行为。 - **合法性**: 使用爬虫时,请遵守目标网站的《用户协议》和相关法律法规[^2]。 #### 4. 日志记录 参考 `xhs_simple_crawler` 项目中的 `log.txt` 文件[^1],可以使用 Python 的 `logging` 模块记录爬虫运行日志,便于排查问题。 ```python import logging logging.basicConfig(filename='log.txt', level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s') try: # 爬虫逻辑 logging.info("开始爬取数据") except Exception as e: logging.error(f"发生错误: {e}") ``` --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值