qq_47729488的博客

python异步爬虫，解决await requests问题案例

废话不多说上代码import osimport jsonpath1 = 'data'dict1 = {'a':'a','b':'b','c':{},'d':[]}if not os.path.exists(path1): os.mkdir(path1)with open(path1+'/1.json','w') as f: josn.dump(dict1,f)

def hanshu():无返回值a = hanshu()b = a + str者返回以上错误改：hanshu()内加返回值

简单了解：递归有点像数学里的归纳方法按次计算python内计算通过栈进行计算eg：f(n)=n!=nx（n-1)…2x1先拿出1 最后拿出n代码：def f(n): if n==1: return 1 return n*f(n-1)if __name__=='__main__': f = f(5) print(f) 结果：120...

sort：使用方法：L.sort(reverse=False) reverse 默认False升序reverse=True 降序使用后：L改变sorted：使用方法：sorted(L,reverse=False) 返回一个迭代对象 不改变L值例子：

题目利用字符重复出现的次数，实现字符串压缩功能。若“压缩”后的字符串没有变短，则返回原先的字符串。你可以假设字符串中只包含大小写英文字母（a至z）#练习 压缩字符串算法## 代码中的类名、方法名、参数名已经指定，请勿修改，直接返回方法规定的值即可### @param test_string string字符串 输入参数# @return string字符串#class Solution: def compressString(self , s ): # wr

题目详情def get_tf(s): #空字列表装载 list_s = [] #导入正则表达式 import re #分割非字母 非数字 splits = [item for item in re.split('[^a-zA-Z0-9]',s) if item!=''] #enumerate (key)index+value for i,item in enumerate(splits): #第后面字首字母大写

pythonif else第一个代码块：if i%j==0：#说明i有能被整除（2，）的数所以跳出循环执行else：#else 为第二个条件语句的else：第二个代码块：定义了flag = 0 辅助条件判断结合一二代码块分析代码含义Java语言...

实现过程：s4 = '''hdajg:gfafgaghfajhfajfwfgahfahfafga:hafhsgfjakfhwifafwufajskfwhhfajf:faffafhfafhesffu:fahfhfaahfwufaljwfaljhf:fgafgahahfajfwihsfahafahfhfa:hfaffgafjjfahfefhfehfhhfafia:affgafajfj'''list = filter(lambda x:len(x.strip())>0,s4.split('\

import requestsimport csvheaders = { 'user-agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Mobile Safari/537.36'}#i,purPage = str(i)来定量爬取for i in range(0,8):

1、目的高效爬取图片，联系基本的xpath，以及简单函数，文件存储等。2、逻辑实现运用requests 发起get请求url 得到response_html再解析数据data = etree.HTML(response_html.text)from lxml import etree再用xpath定位想要的地址匹配规则以虎牙直播为例按f12 点击元素选择器element选着图片获得图片位置，上图的img标签中的src data-original 属性为图片地址。gilrs = d

由于本机IP对淘宝访问多次后出发了淘宝反爬机制跳出滑动验证码等等，所以建立一个IP池随机IP地址对淘宝模拟登录某网站免费IP58.209.53.172:62330106.110.91.240:20750114.234.167.236:20693180.124.87.81:20689222.187.164.36:20820113.123.119.218:5004549.82.252.21:20685121.224.106.53:12004119.126.157.59:55201222.1

1.MySQL与python、pymysqlpip install pymysqlimport pymysql#链接数据库conn = pymysql.connect(host=‘localhost’,user=‘root’,password=‘123456’,db=‘dbmovie_top250’)#host user password db#host 为端口 #user用户 #password密码#db数据库cursor = conn.cursor()#游标当我们开启了游标功能，再去执

1、Google浏览器模拟登录淘宝先下载chromedriver链接：https://pan.baidu.com/s/1YoUCxtmrWXKxcoO9wwZwNA提取码：ulg0配置chromedriver将该文件添加到python.exe chorme.exe 同目录下import randomimport time# 修改代码如下from selenium.webdriver import Chromefrom selenium.webdriver import ChromeO

由于selenium被淘宝识别，然后跳出滑动验证问题。这里需要添加参数，让淘宝无法检测出selenium。开始以为是代理IP问题后来实验发现不是代理IP问题。对于xpath和其他人不一样着哩可能是浏览器的问题，开始用的火狐，后面还是感觉Google香。代码import randomimport time# 修改代码如下from selenium.webdriver import Chromefrom selenium.webdriver import ChromeOptionsoptions

import time #时间模块from bs4 import BeautifulSoup #数据筛选 网页选择器from selenium import webdriver #测试框架from selenium.webdriver.support.ui import WebDriverWait #浏览器等待完成的包#爬虫流程 面向对象class youdao_Infos: #魔术方法 构造方法 def __init__(self): url = 'https:/

import time #时间模块from bs4 import BeautifulSoup #数据筛选 网页选择器from selenium import webdriver #测试框架from selenium.webdriver.support.ui import WebDriverWait #浏览器等待完成的包#爬虫流程 面向对象class Taobao_Infos: #魔术方法 构造方法 def __init__(self): url = 'https:/

import urllibfrom urllib import requesturl = 'http://fanyi.youdao.com/translate?smartresult=dict,rule'header = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0' }key = input('n:')formdata

1.找到想要得到的小说网站https://www.ddxstxt8.com/5_5034/在浏览器的输入框中输入https://www.ddyueshu.com/5_5034/得到网站2.分析网站按F12出现页面布局，找需要内容，source里发现，链接与章节标题3.观察第一章小说得出规律点击第一章链接进入，第一章网页，点击F12得到网页代码，观察信息，可以发现在sources中发现小说内容4.开始购建爬虫框架，从简单深入import reimport requests#头部伪装h

简言：学习了爬虫基础后对爬虫代码理解后进行编程。收获:对于数据类型的了解更加深入，学习了txt文件的存储以及读取摘要：python爬取豆瓣网内容然后进行数据分析编程导入模块import requestsimport re爬虫搭建start = 0result = []headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)

简介：学习爬虫爬取豆瓣网第一页代码，以及心得分析1导入模块re#导入requests、re模块import requestsimport re2请求与响应，[headers作用](https://blog.youkuaiyun.com/u011031422/article/details/77156507?)#请求头headers = { 'Referer': 'https://img3.doubanio.com/dae/accounts/resources/d3e2921/movie/bu