- 博客(7)
- 收藏
- 关注
RSS订阅原创 Selenium 模拟登录淘宝，获取cookies给requests使用
文章目录前言代码总结前言今天爬取淘宝商品图片，遇到登录拦截，看了淘宝的登录 url 里的请求参数，好多加密，果断放弃。不过可以用selenium模拟登录，然后获取cookies给requests使用，开整。代码from selenium import webdriverfrom selenium.webdriver.support import waitfrom selenium.webdriver.common.by import Byimport requestsfrom requ
2022-03-09 10:22:08
3038
6
原创 pandas 筛选excel文件并保存新表
文章目录前言代码总结前言今天处理了一个大的excel文件，从中筛选符合条件的数据，excel工具只能筛选两个条件太局限了，就用pandas处理了一下，也是学到了很多东西，在这里记录一下，方便查阅，如果有什么写的不对，不好的地方，希望大佬指正！代码代码量很少，就直接在代码中写注释了import pandas as pd # 导入pandas包from tqdm import tqdm # 这是个进度条的库，方便查看进度'''表格中的数据是这样的：GL-1(2024-02-
2022-02-10 21:02:17
4809
2
原创 pyecharts简单实用，折线图，箱型图，多饼图/玫瑰图，世界图
pycharts简单使用前言一、折线图二、箱型图三、饼图/玫瑰图四、世界图总结前言借一次小项目（小到练手的，嘿嘿），第一次接触到pyecharts，使用感觉嘎嘎舒服，在这里记录一下，一共四张图，折线图，箱型图，饼图/玫瑰图（其实这俩差不多，改个值就行），世界图一、折线图先看效果图这是pyecharts的链式调用，也有之前的单独调用，具体的用法可以看这个大佬的博客Python之pyecharts使用官方文档也是中文的，非常友好代码如下：# 开始绘图 line = (
2022-01-12 16:12:28
2095
原创 爬取某女鞋网全站商品，上传到oss中
Go2购途网全站商品爬取前言一、网站分析1.找所有的商家2.找每个商家的所有商品二、使用步骤1.引入库2.读入数据总结前言这次的项目就是http://www.go2.cn/点我直达卖女鞋的一个商品网站，要爬取里边商品的图片包，在做的过程中也是遇到了很多有意思的东西，在这里写出来记录一下，还有好多实用的小工具，感兴趣的可以拿去用哦！提示：以下是本篇文章正文内容，下面案例可供参考一、网站分析先分析网站的结构，要爬全站商品嘛，得有个思路，应该是先找出所有商家，然后去商家找所有商品1.找所有的商家
2022-01-03 12:39:55
1214
原创 python pandas处理csv表格（筛选，去重，分割，删除）
pandas处理csv读取文件筛选查找值所在行的索引根据索引删除行去重拆分写入csv总结：前言：本人没学过pandas，不过最近总处理一些csv文件，从网上查用法，总是忘记，所以今天记录一下这些常用的用法，以后再补pandas，写的很简陋，还请大家海涵，有不足的还请大佬指教读取文件import pandas as pddata = pd.read_csv(文件, encoding='编码')筛选单列value = data['列名']多列value = data[['列名1', '列
2021-09-29 11:44:27
13988
3
原创 python爬虫+ffmpeg批量下载ts文件，解密合并成mp4
标题python爬虫+ffmpeg批量下载ts文件，解密合并成mp4文章目录标题前言一、分析目标二、寻找url规律三、写代码总结前言（第一次写博客，写的不好请见谅哈~~）目标是大鹏教育里边的直播回放，他的回放是m3u8格式的，还有ts加密，这是分析过后才知道的，大家可以忽略哈，下边会有详细的过程！一、分析目标先进站点看看——大鹏教育拿一个免费的课程试试，进视频F12看代码可以看到video的链接是blob加密的，这个我查了一下，看不懂，就没在这方面下手，如果有大佬会可以指点一下小
2021-07-30 10:54:12
4005
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人