爬虫项目案例讲解 案例二：数据处理

目的：前面的的数据已经传过来了，此时都封装在pipelines.py的 items 里面了。

此时需要对数据进行处理，怎么处理呢？

首先，
class StockPipeline(object):
def init(self):
self.file=open(“executive_prep.csv”,“a+”);#a+:拿到文件的读写权限，没有的话直接写，有的话追加写
def process_item(self, item, spider):
#类加载时要创建一个文件
#判断一个文件是否为空，为空则直接写
#不为空那么我就追加写文件
if os.path.getsize(“executive_prep.csv”) and (item not in self.file):
#开始写文件
self.write_content(item);
else:
self.file.write(“高管姓名，性别，年龄，股票代码，职位\n”);
self.file.flush();
return item;
这样，仿照上面写一个，写完后先定一个一个csv文件，然后在确保不重复读取的情况下去获取数据，获取数据进行封装的代码如下：
def write_content(self,item):
names = item[“names”];
sexes = item[“sexes”];
ages = item[“ages”];
codes = item[“codes”];
leaders = item[“leaders”];
#此时获取到所有的数据了
result="";
for i in range(len(names)):
result=names[i]+","+sexes[i]+","+ages[i]+","+codes[i]+","+leaders[i]+"\n";
self.file.write(result);

此时，完成了数据的处理，并且找到刚才命名的文件，发现数据已经被写入。到此，第一个项目完成。

最后多说一句，小编是一名python开发工程师，这里有我自己整理了一套最新的python系统学习教程，包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。想要这些资料的可以关注小编，并在后台私信小编：“01”即可领取。