chengduan37102900-优快云博客

转载 python多协程爬虫示例

写python协程时使用gevent模块和queue模块可以大大提高爬虫速度。在同时爬取多个网站时，原来用for循环一个网站一个网站按循序顺序爬，就像先烧饭后烧菜，两个步骤异步进行。使用多协程可以让爬虫自己选择爬取顺序，就像边烧饭边烧菜，两个步骤同步进行，速度自然快了。不多说了，来看下代码吧：from gevent import monkeymonkey.patch_all()#打上多协程布...

2019-09-10 07:37:48 489

转载 python获取NLPIR网站数据

有个自然语言处理的人工智能网站特别有意思，还能快速生成可视化图表，推荐给大家：http://ictclas.nlpir.org/nlpir/如何爬取这个网站隐藏在背后的数据呢？我这里演示一下联想词数据的爬取：import requests,jsoncontent=str(input('请输入要查询的文本：'))url='http://ictclas.nlpir.org/nlpir/inde...

2019-09-09 13:37:13 238

转载 python爬取全国2000多个城市的经纬度及geohash编码

如何爬取全国两千多个城市的经纬度？其实找对了数据源就一点也不难。哪些网站可能会有全国所有城市的经纬度呢？高德地图？百度地图？统计局？淘宝？……这次我们来试试通过饿了么爬取：import requests,csv,Geohashurl='https://www.ele.me/restapi/shopping/v1/cities'headers={ 'referer': 'https:...

2019-09-09 09:25:02 2677

转载 apikey创建接入图灵机器人

图灵机器人很多人都听说过，这个开放平台有很多功能，今天来介绍如何用apikey接入图灵机器人。以下是python代码http://www.turingapi.comimport requestsimport jsonuserid = str('Eliza')apikey = str('ec3')# 创建post函数def robot(content): # 图灵api ...

2019-09-08 19:36:43 3128

转载 python制作英语翻译小工具

用python爬虫可以制作英语翻译小工具。来看下代码吧～import requests,json#函数封装def translator(): session=requests.session() i=input('请问你要翻译什么？') url='http://fanyi.youdao.com/translate' head...

2019-09-08 18:20:35 416

转载 python阿里巴巴招聘网站爬虫

写了个阿里巴巴招聘网站爬虫，这次是存在csv文件里，小伙伴们可以对比一下～import requests,json,csv#写入csv文件中list=[]csv_file=open('阿里巴巴招聘.csv','w+',newline='',encoding='utf=8')writer=csv.writer(csv_file)list_head=['职位名称','部门','是否招聘'...

2019-09-07 13:34:33 832

转载 python智联招聘爬虫

博主写了一个智联招聘的爬虫，只要输入职位关键字，就能快速导出智联招聘上的数据，存在excel表里～import requests,openpyxl#建立excel表joblist=[]wb=openpyxl.Workbook()sheet=wb.activesheet.title='智联招聘数据'sheet['A1']='职位名称'sheet['B1']='薪资'sheet['...

2019-09-07 13:16:16 721

转载 python英语单词测试小程序

博主爬取了扇贝英语网，并制作了一个英语单词测试的小程序，还能生成错词本，一起来看下代码吧～import requests#扇贝网爬虫，获取英语单词category_res=requests.get('https://www.shanbay.com/api/v1/vocabtest/category/?_=1566889802182')category_json=category_res....

2019-09-07 13:03:41 1541

转载 Python群发邮件

前面我们介绍了用python发送定时天气预报，结合了爬虫、邮箱和定时发送的技术。这篇帖子专门介绍用python实现群发邮件。只要在excel表中填入邮箱地址，不用打开邮箱，就能实现一键群发。并且后期邮箱地址维护起来也比较方便，只要修改一下Excel表里的地址就行，python会自动拿到表里的数据，不需要再次复制粘贴。想起博主之前在一家公司的管理部门任职，经常要群发邮件，邮箱地址维护起来真是太麻烦了...

2019-09-07 12:35:19 407

转载 Python定时发送天气预报邮件

用python爬虫爬到的天气预报，使用smtplib和email模块可以发送到邮箱，使用schedule模块可以定时发送。以下是代码～#导入模块import requestsfrom bs4 import BeautifulSoupimport smtplibfrom email.mime.text import MIMETextfrom email.header import Hea...

2019-09-07 12:06:40 1847

转载 Python制作词云图

词云图是将词汇按照频率的高低显示不同大小而形成的图，可以一目了然地看出关键词。下面是词云图的python代码～#导入需要模块import jiebaimport numpy as np import matplotlib.pyplot as plt from PIL import Image from wordcloud import WordCloud, STOPWORDS, Ima...

2019-09-07 11:39:08 336

chengduan37102900的博客