利用ip代理池爬取链家网上海所有小区和详情信息，存进数据库

本文链接：https://blog.youkuaiyun.com/Q632655672/article/details/108255225

本文介绍了如何利用Python爬虫技术，配合IP代理池，爬取链家网上关于上海所有小区及房产详情，并将数据存储到MySQL数据库中。首先，创建了数据库表结构，接着通过SQLAlchemy连接数据库并插入数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.爬虫

dis=['浦东','闵行','宝山','徐汇','普陀','杨浦','长宁','松江','嘉定','黄浦','静安','虹口','青浦','奉贤','金山','崇明']
tb=pd.DataFrame(columns=['title_小区名','title_区域','title_挂牌均价','title_建筑年代','title_建筑类型','title_物业费用','title_物业公司','title_开发商','title_楼栋总数','title_房屋总数'])
num=1
for j in dis:
#     tb=pd.DataFrame(columns=['title_小区名','title_区域','title_挂牌均价','title_建筑年代','title_建筑类型','title_物业费用','title_物业公司','title_开发商','title_楼栋总数','title_房屋总数'])
    df=pd.read_excel("../../工作文件/爬虫/链家_上海%s.xlsx"%(j))

#     tb=pd.DataFrame(columns=['title_小区名','title_区域','title_挂牌均价','title_建筑年代','title_建筑类型','title_物业费用','title_物业公司','title_开发商','title_楼栋总数','title_房屋总数'])

    # b=[]
    lis=df.详情页链接.tolist()
#     tb=pd.DataFrame(columns=['title_小区名','title_区域','title_挂牌均价','title_建筑年代','title_建筑类型','title_物业费用','title_物业公司','title_开发商','title_楼栋总数','title_房屋总数'])
    for i in lis:
        host = 'http://zip.market.alicloudapi.com'
        path = '/devtoolservice/ipagency'
        method = 'GET'
        appcode = 'bc79363cab074f62a9cb4e1b31885643'
        querys = 'foreigntype=0&protocol=0'
        bodys = {
   }
        url_ = host + path + '?'