python 爬虫小结

这两天又跟着网课做了爬虫的几个项目，却总是遇到一些令人苦笑不得的问题，导致一天下来收获廖廖，看来这种速成式的教育方法不太适合我，学习爬虫必须得去了解其所以然，计算机知识的时效性，在它上面体现的淋漓尽致，有的网站今天可以爬，可过几天，网站一改版，再去套用原来的代码，肯定不行。所以，只有把基础的知识理解透彻，才能随着时间的推移，及时调整自己的策略；看来我得去回炉重造了
总结以一下，这几天学习的内容

1.python语句

感觉python语句和c的语句使用基本一致但有以下几个区别
1.变量的定义(python不需要定义为变量定义某种类型）
2.输入输出格式
3.python的层级关系通过缩进与：区分，而c则是通过{}
4 .python不需要语句分割符
5.函数的编写

2.urllib库

可以说urllib库是python爬虫的基础，可以通过idle来编写，适用中小型项目，相对而言也更容易调试一些，使用用到的部分知识
1.正则语句
2.浏览器伪装
3.ip代理
4.文件的读写

3.scrapy

1.scrapy基础命令
2.xpath语句
3.简单scrapy爬虫项目的编写

4.其他

1.flidder抓包分析
2.数据库使用与基本语句