qq_40272386的博客

【代码】基于Pandas操作Excel之 —— 在表格追加一列计算结果。

本篇博客整理了Python3对文件的一些实用操作方法一、 python3从给定的文件路径的字符串中获取文件名方法一import ntpathsrc_file_path = r'C:\ZCodes\pro_22\src\a.txt'print(ntpath.basename(src_file_path)) # 输出：a.txt -------- 取带后缀的文件名print(ntpath.dirname(src_file_path)) # 输出：C:\ZCodes\pro_22\src ---

一、方法采用python独有的切片方式，把字符串最后一个字符切掉，然后加上替换字符或者字符串二、实现# 实现替换最后一个字符串def replace_lastchar(former_str, replacechar): return former_str[:-1] + replacechar...

一、我的代码：因为要编一个报告自动化生成的代码，所以用了python docx，在设置标题自己写了一段代码，要求将标题设置成：一级标题 黑体 小四from docx import Documentfrom docx.oxml.ns import qnfrom docx.shared import Ptdef add_Head(document, level, text, font, size): # document word对象 # level 几级标题 # text 标题内容 # f

一、读取json文件源代码with open('json_data.json', 'r') as f: data = json.load()print(data)二、问题描述由于json文件中的中文字符不知什么原因是按照gbk格式编码的，出现了报错：UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xad in position 955: illegal multibyte sequence三、解决如果json文件中有中文字符，需要采用u

正则表达式总结常用正则表达式匹配练习工具的网址：https://regex101.com/练习语言使用的是python\n表示换行，newline\r表示回车，return\t表示Tab\0表示空字符，none、NUll…\s表示所有空白字符\f表示换页字符，form-feed单个字符.：除换行以外所有字符，匹配换行符以外的任何单个字符[]：匹配集合中任意一个...

需求：爬取荣耀门店的详情页的数据，练习地址分析：首先看无论访问是哪个省哪个市，首页的url一直未变。然后通过抓包工具抓包分析，该页面的数据为动态加载数据，定位到实际的数据包。通过分析可以看到真正的url，请求的类型，以及post请求携带的数据为json数据，并且响应的数据也是json形式的数据。注意：请求参数为字典格式并非常规的键值对，所以在代码实现中需要使用dumps将字典转...

在基于requests模块爬数据时，如果出现post请求中的数据为json格式的数据，可以使用两种方式来正确发送请求import json模块，将需要传递的数据有json格式转换成字典类型，然后在调用requests.post()方法时，调用json模块的.drump()方法完成json格式的数据发送，即response = requests.post(url=url, headers=hea...

简介selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 ，另一个是为了解决Scrapy框架只能爬取静态数据不能爬取动态加载数据的问题，结合selenium完成动态加载数据的爬取，selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器sele...

拒绝废话，直接配置第一步：点击Configure ——> Preferences第二步：点击Python Interpreter，然后找到Project interpreter这列最末尾的设置按钮点击，选择Add...第三步：【易错！！！】找到System Interpreter，千万注意不是Conda Environment，点击最后面的...图标，第四步：找到你自己的Anaco...

代理服务器：在爬虫中，代理的主要作用是转发请求和接收响应的，防止短时间对服务器过度高频请求导致设备ip被禁。代理服务器分类：透明代理：应用服务器端知道你使用了代理机制，也知道你的真实ip匿名代理：应用服务器端知道你使用了代理机制，不知道你的真实ip高匿代理：应用服务器不知道你使用了代理机制，也不知道你的真实ip我们在爬虫中并不是说一定要使用匿名代理，我们真正的目的是，通过代理ip...

最近在使用requests模块写爬虫的时候，使用到了代理服务proxy，出现了不支持代理方案的错误，即如下的报错：ProxySchemeUnknown Traceback (most recent call last) ProxySchemeUnknown: Not supported proxy scheme None。原因：通过排查发现了原因，就是在Python3.6以后，在使用代理时，r...

这个案例需要学会滚轮往下拖的时候动态加载的数据如何爬取，区别于豆瓣电影爬取cookie概述:cookie就是存储在客户端的一组键值对cookie在web中主要应用有免密登录cookie和爬虫之间的关联，有时候我们对一张页面进行请求的时候，如果请求的过程中不携带cookie的话，那么我们是无法请求到正确的页面数据，这是一种非常常见的反爬机制，因此遇到这种情况我们必须，所有的请求必须携带co...

项目实战：爬取肯德基的餐厅位置数据，练习网址处理ajax post请求：使用requests模块的.post(url, headers, data)方法，其中参数data是.post()方法中转门处理参数动态化的重要参数分页的核心在于分析请求数据包中的pageIndex参数，先抓取一页，再通过循环抓取多页注意：一定要对ajax请求返回的数据包进行分析，找到真正的url，找到响应的数据，如...

通过抓包工具，基于全局搜索，可以将动态加载数据的数据包定位到捕获动态加载数据：基于抓包工具进行全局搜索定位到动态加载数据对应的数据包，从改数据包中就可以提取1）请求的url2）请求方式3）请求携带的参数4）看到响应数据.json()方法：将获取到的响应中的字符串形式的json数据以字典或者列表形式返回项目实战：需求：豆瓣电影分类排行榜中动作电影的电影名称和评分的...

环境安装： 这里我们主要# pip install lxml

需求：输入一个关键词爬取相关页面网页链接：www.sogou.com/web代码：import requestsimport os#指定搜索关键字keywords = input('请输入你要爬取的关键词：')#基于反爬构建，User-Agentheaders = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac...

1.问题：最近在学Django时遇到了一个问题，python3.6版本下使用pip安装mysql-python失败。其实一句话很简单，python3以上使用的是pymysql，如果是python2.7对应的是下mysql-python。那如何让Django驱动mysql数据库当输入pip install mysql-python时报以下错误：pip install mysql-pyth