weixin_37888958的博客

selenium+chrome 爬去淘宝商品信息 初学selenium，有点小心得分享下~~ 首先默认你安装好了selenium+chrome，其中chromedriver下载后把文件解压，然后放到本机chrome浏览器文件路径里，网上有很多配置方法，自行百度即可。 有头和无头 搜selenium发现有有头和无头两种，大概明白有头就是使用selenium会自动打开浏览器，无头就是在背后默默的运行，...

python—调用百度人脸识别API计算颜值 python—调用百度人脸识别API计算颜值 今天要跟着罗罗攀（公众号：luoluopan1）学习Python有趣|寻找知乎最美小姐姐 参加了罗罗攀的python打卡，太有意思了，安利给大家，原文：https://mp.weixin.qq.com/s/M64NBbAFglxscPOvuz0r-w 此文章仅为学习文章~~ 爬虫网页：https://ww...

编程初衷 去年这会儿，实验室师兄论文需要获取短租房源数据，老师顺手就把任务给了我和一个同门：你们先下个几千张吧，不要多，先看看图片质量，后面再慢慢来。 几千张？？还有后面？？打扰了… 想着下载都是重复工作，应该可以用爬虫解决吧，虽然没写过！画个时间学一学也好过人工无差别劳动嘛~ 综上 就开始我蒙逼又摸瞎的爬虫之旅 这里插播一条参考资料：崔庆才的个人博客 https://cuiqingcai.com...

上次说到获得了城市的id和query信息，存储在本地文本或数据库中，今天要做的就是利用这些信息构建查询连接爬房源信息了。 依旧是熟悉的配方，打开链接和辅助工具，找到网页返回数据的链接和json数据： 关于链接格式的分析昨天已经说过了，今天只要从本地读取参数和固定的url部分组合起来逐一请求即可。 url = 'https://www.airbnb.cn/s/plus_homes?refineme...

【Python有趣打卡】微博APP爬虫，尽知天下事 【Python有趣打卡】微博APP榜单爬虫，尽知天下事 今天要学微博热榜爬虫！激动！热榜肯定有我居居老师，最喜欢爬虫啦~ 今天爬虫要用到一个小工具 ！！！ Fiddler！！！ 官网：https://www.telerik.com/fiddler 下载后直接安装即可 配置：Tools→Option→如图→重启软件！！！！记得重启 重启了吗？...

上回说到已经获取了全部的相关房源的基本信息和展示图片，后面师兄又提了一个想要了解上海部分房源在2018年下半年的预订情况的要求。本着送佛送到西的思想，我就应下来一起做了。 思路还是那个思路，只不过这次的房源id已经在第二步中筛选出来，单独存储到一个本地excel中。这里用excel主要是因为数量并不大，估计也就一百来个，也就懒得用数据库去存取了。 关于这个excel的结构呢，也是超简单，第一行是房...