24python通过爬链家代码改良为爬代理(正在测试中)

本文介绍了一款针对链家网站二手房信息的爬虫程序实现方法。该爬虫使用Python语言,通过requests库获取网页数据,并利用lxml库进行DOM解析,最终将抓取的数据保存为CSV文件。文章详细展示了爬虫的代码结构与运行流程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

# 仅需修改这个地方https://jn.lianjia.com/ershoufang/pg{}rs/   将jn换成你所在城市的拼写首字母小写
import requests
from lxml import etree
import time
import random
import csv


class LianjiaSpider(object):
    def __init__(self):
        self.url = "https://jn.lianjia.com/ershoufang/pg{}rs/"

        self.headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1"}

    def get_page(self, url):
        res = requests.get(url=url, headers=self.headers)
        res.encoding = "utf-8"
        html = res.text
       # print(html)
        # 调用解析函数
      #  print(html)
        self.parse_page(html)

    def parse_page(self, html):
        parse_html = etree.HTML(html)
        print(parse_html)
        house_dict = {}
      #  house_list = parse_html.xpath("//div[@class='title']//")
        house_list = parse_html.xpath("//div[@class='footer']//div//table//tbody//tr")
        print(house_list)

        for house in house_list:
             house_dict["name"] = house.xpath(".//td[1]//text()")[0]
             print(house_dict["name"])
             #print(house_dict)
             with open('F:/top250/lianjia.csv', 'a', newline='', encoding='utf-8')as f:
                 write = csv.writer(f)
                 # write.writerow([house_dict["name"],house_dict["totalprice"],house_dict["uniteprice"],house_dict["info"]])
                 write.writerow(
                     [house_dict["name"], house_dict["totalprice"], house_dict["uniteprice"], house_dict["houseInfo"],
                      house_dict["positionInfoShequ"], house_dict["positionInfoJiedao"], house_dict["followInfo"]])
             f.close()

    def main(self):
        try:
            for i in range(1, 2):
                time.sleep(random.randint(3, 5))
                url = self.url.format(i)
                self.get_page(url)
        except:
            self.main()


if __name__ == '__main__':
    start = time.time()
    spider = LianjiaSpider()
    spider.main()
    end = time.time()
    print("执行时间:%.2f" % (end - start))
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值