yu1860110的博客

import requestsimport reclass Mao:def init(self):‘’’本质是初始化一些条件，并不是调用其他函数当前类实例化的时候触发‘’’self.count = 1self.spider_name = “万能爬虫”# self.run()def __call__(self, *args, **kwargs): ''' 当前类...

'''翻页获取股吧数据http://guba.eastmoney.com/获取10页信息，然后放到指定文件夹中''''''爬取板块：国产芯片思路： 找规律 第一页：http://so.eastmoney.com/web/s?keyword=%E5%9B%BD%E4%BA%A7%E8%8A%AF%E7%89%87 第二页：http://so.ea...

import requestsimport json#注意POST请求和网页url一般都不一致！！！base_url ='https://fanyi.baidu.com/sug'def fanyi(kw): data={ 'kw':kw } #发起POST请求 def post(url, data=None, json=None, **kw...

import requestsimport timeimport randomimport hashlibdef md5(value): # 创建MD5对象 md5_obj = hashlib.md5() # 加密字符串 md5_obj.update(bytes(value, encoding="utf-8")) # 进行16位的加密 si...

'''3、获取高德的所有城市天气信息北京接口： https://www.amap.com/service/weather?adcode=110000城市adcode列表：https://www.amap.com/service/cityList?version=201951410获取到天气情况，打印出来{ "adcode":"110000", "name":"北京"，...

import requests,re#获取整个网页# with open('华夏基金.html','w',encoding='utf-8') as f:# f.write(html)class Huaxia(): # def __init__(self): # self.base_html() def __call__(self, *args...

'''爬取扇贝网python必背词汇表接口地址：https://www.shanbay.com/wordlist/110521/232414/要求：获取所有的python词汇数据，形成字典，然后存储数据 思路： 第一页：https://www.shanbay.com/wordlist/110521/232414/ 第二页：https://www.sh...

'''3、 糗事百科：xpathhttp://www.qiushibaike.com/8hr/page/1获取列表页每个帖子里的图片、用户昵称、段子内容、点赞次数和评论次数选做：翻页写到json文件中'''import requests,os,jsonfrom lxml import etreeclass Qiubai: def __call__(self, *arg...