cow66的博客

VIVO应用商店app评论数据抓取。

处理pandas数据中的NaN值pd.dropna()pd.fillna()pd.isnull()pd.dropna() 是直接删除包含NaN的列或者行df.dropna( axis=0, # 0: 对行进行操作; 1: 对列进行操作 how='any' # 'any': 只要存在 NaN 就 drop 掉; 'all': 必须全部是 NaN 才 dr...

我们查看 scrapy 的发送邮件模块的源码 MailSenderclass MailSender(object): def __init__(self, smtphost='localhost', mailfrom='scrapy@localhost', smtpuser=None, smtppass=None, smtpport=25, smtptls=Fa...

scrapy-splash模拟鼠标点击跟网上其他教程一样，配置好scrapy和splash，网上的教程大多都没提及这一点，都是用的render.html,但是这个没法执行lua_source的脚本重写 start_requests#!/usr/bin/env python # -*- coding: utf-8 -*-import scrapyfrom scrapy_splash ...

使用scrapy-splash进行全站爬取#!/usr/bin/env python # -*- coding: utf-8 -*-from scrapy.spiders import CrawlSpider, Rulefrom scrapy_splash import SplashRequestfrom scrapy.linkextractors import LinkExtract...

这是使用python3.5+BeautifulSoup来爬取网易的股票信息， 使用这些数据来画出蜡烛图和折线图。效果如下图所示： 这个实现出来还是很简单的。这是大二做的，做的不怎么好，只是练练手。 代码很多注释，我就不解释了哈。。。 源代码在下面：'''Created on 2017年6月11日@author: liutao'''import urllibimport urllib.

使用python3+requests+beautifulsoup4+openpyxl因为在网上做了一个兼职，是他们给我flickr的ID，通过这些id来找需要的照片。有时候有的ID下照片太少，所以这有的ID不需要。写这个小程序就是为了过滤掉照片数太少的。1.首先通过openpyxl把数据读取出来，保存在一个列表中。 创建一个Excel类，里面有读取Excel数据的函数（readExcel）