BAE python-worker 服务

本文分享了使用Python进行爬虫开发的经验,包括环境配置、常见错误处理、编码规范的重要性及测试流程等内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1:python-worker 可以通过新建 requirements.txt,然后添加你需要的任何
包。如:MySQL-python
2: python-worker 的main.py可以引用其他文件

3:编码还是使用utf8吧。

4:如,re,urllib,urllib2,这些模块可以直接import,因为已经内置了

5:常出现的错误
a:
因为我是在notepad++中编辑的代码,所以一不小心就会格式不正确
(identation error:unexpected indent),^
说明多了个tab键。python对格式要求特别严格,受教训了
b:
常出现越界行为,还没有赋值就引用。
说明,需要调整下程序的结构,逻辑上可能出现耦合啥的。。。

6:print 函数照常使用。不一定要使用sys.stdout,*

7:不过,为什么有的时候print正常,有的时候不正常???使用第三方平台好闹人

8:一定要细心啊。这次是明白了,为什么编程规范那么重要。写得一手规范,整洁的代码,会减少很多不必要的 调试时间
如:content变量,少写了个t,调了好一会儿

9:书到用时方恨少
sql语句啥的:如,多个表连接:插入语句中,如何往一个字段塞变量,往其余字段塞常量?

10:在调试爬虫的过程中,明白了什么叫,功能语句测试,单元测试。测试用例。。测试好累人啊,有点枯燥。很耗费心力。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值