python 编写获取阿里巴巴行业分类数据代码

     现在做电子商务首先面对的就是需要整理成百上千的行业分类数据，以便给产品分类，方便用户选购。

 

而这些行业数据又需要长期的积累和整理，对于没有多少年经验的电子商务公司来说，最快捷的也就是像

 

中国电子商务的老大（阿里巴巴）借数据。阿里巴巴经过这么多年的电子商务发展，其行业数据可以说是

 

中国电子商务的标准了。好了接下来我们就要像老大借点行业数据来用用了。

 

    借东西首先要找到地方，下面就是阿里巴巴提供的行业分类数据的地址：

 

http://upload.china.alibaba.com/offer/list_category.htm

 

http://upload.china.alibaba.com/offer/list_category.htm?parent_id=58&t=123457

 

 

    我们可以看到第一个地址，就是行业分类的根分类一共40个，而第二个地址就是根分类下面的子分类。

 

我们首先可以根据第一个地址取的根行业分类，然后用第二个地址取得其子孙行业节点。将其行业数据全部

 

挖掘出来。好了下面就直接上代码了。

 

''' Created on 2010-12-27 @author: Administrator ''' import urllib import csv import sys import time LIST_CATEGORY_URL='http://upload.china.alibaba.com/offer/list_category.htm' count_category=0 def get_category_list(id=''): if id=='': list_category_url=LIST_CATEGORY_URL print ',,' else: #print id,time.time() list_category_url=LIST_CATEGORY_URL+"?parent_id="+id+"&t="+str(time.time()) #print list_category_url f=urllib.urlopen(list_category_url) for eachItem in f.readlines(): if len(eachItem.strip())>0: true='true' list_category=eval(eachItem) if len(list_category)>0: print ',,' for item in list_category: data_format=str(item['id'])+','+id+','+item['title'] global count_category count_category+=1 print data_format get_category_list(str(item['id'])) if __name__=='__main__': get_category_list() print 'category count:%s' %(count_category)

 

代码分析：因为阿里的数据是json格式的，其和python中的字典很相似。我们将它首先将返回的数据转换成列表

 

              然后再遍历列表中的字典，取出字典中我们所需要的values值，组成我们想要的数据格式。对还要子元素的

 

               的行业分类进行递归，取出所有的行业分类

 

运行结果：