用python抓取津房置换的房屋挂牌交易数据

    天津所有的公产房的交易都要通过这个网站来摘牌挂牌，本人因为房屋交易的需要，想抓取这个网站每天的挂牌公产房信息。这对于python的老手来说根本就是个小case，但本人之前只是python学了个入门教程，手写了个抓svn提交数据的python脚本，怎么抓互联网的信息还没尝试过，不过码农的一个特质就是爱折腾嘛，尝试着从0开始，花了2个晚上的下班时间搞定。下面记录下关键步骤，希望对跟我有类似需求的同学有帮助。这里没有选择scrapy这种功能很全的抓取框架，我觉得需求没有那么复杂，搜了下用requests应该就足够了

    1.确定要抓取信息的网站的真实地址并用代码能正确访问。

       打开津房置换首页www.jfzh.com.cn，进入右下角服务E栈-->公产房摘挂牌公示（http://www.jfzh.com.cn/jf/gongfang),然后你会看见几个按钮，点击第一个“挂牌期间显示”，会看到出来个小窗口，里面显示着挂牌出售的公产房的信息，每22s会刷新一次。 在这个小窗口按F12，能在标题栏看到它的真实地址www.jfzh.com.cn:8018/guapaiqijianxianshi.aspx。但是你如果在python里面直接requests.get这个地址，是会报错的。在http://www.jfzh.com.cn/jf/gongfang页面按F12，看了下“挂牌期间显示”这个按钮的源码，就是一个很简单的window.open函数。python之所以直接get会无法访问应该是请求的header里少了cookie或者其他的信息，所以想抓个包看看少哪些东西，但是chrome的F12在点击“挂牌期间显示”之后根本看不到什么内容：

无奈正准备下个专门的抓包软件，忽然又想到还有个默认的ie（win10叫edge)，死马当活马医试试看吧。这个时候不得不说微软立功了！在这一刻它是比google的chrome好用的：