数据分析---1.数据获取----爬取页面表格信息

最新推荐文章于 2024-08-18 22:49:52 发布

原创

最新推荐文章于 2024-08-18 22:49:52 发布 · 905 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据分析 #爬虫

成功的秘诀，在永不改变既定的目的

在看到某人的诉求后，并有高手回答，看过后我get了方法，并优化创新方法
带表格信息的网站（网址代码里面有），例如：

在这里插入图片描述

在这里插入图片描述

我对上面四个网站都进行了，爬取，基本相似，但有点区别

"""
@author: cht
@time: 2019/8/18 13:12
"""

# -*- coding: utf-8 -*-

import requests
from bs4 import BeautifulSoup
import pandas as pd
from lxml import etree

def run():
    url="https://mp.weixin.qq.com/s/li7BbNrZy-eOm79D6Eh-mA"
    req=requests.get(url)
    mylist=[["跳蚤属性"],["房源小区名字"],["具体位置"],["组团区域"],["户型"],["面积（㎡）"],["价格（元）"],["楼层"],["装修情况"],["其他信息"],["联系人"],["联系电话"]]
    soup=BeautifulSoup(req.content,"html.parser")
    for it in