
python爬虫自学笔记
文章平均质量分 57
爬虫自学笔记
B.F.X
这个作者很懒,什么都没留下…
展开
-
[Ubuntu] Redis安装和配置
根据官方的快速开始安装指南, 官方推荐直接编译源码进行安装. 因为Redis没有很多依赖, 只需要GCC compiler 和 libc 即可. 而如果使用包管理器下载的可能不是最新的.第一步下载最新的redis-stablewget http://download.redis.io/redis-stable.tar.gz结果如下--2021-07-20 09:33:06-- http://download.redis.io/redis-stable.tar.gzResolving downl原创 2021-07-20 15:31:56 · 496 阅读 · 0 评论 -
[Python] js逆向初探: 某麦榜单
系列文章目录[Python] js逆向初探: 某麦榜单文章目录系列文章目录免责声明前言分析通用的抓包方法。。。偷懒作弊的抓包方法万恶之源免责声明本篇文章仅用学习交流和日常记录,请勿转载或用于任何商业用途!违者责任自负!如侵删前言作为一个刚接触爬虫的小白, 之前都是练习爬一些简单的网站。遇到js加密的就只能束手无策了, 有一些可以使用selenium, 但是速度太慢,而且人生不可以总是选择轻松地道路,学习爬虫不可以避免学习js逆向。所以决定开始自己学习js逆向,本文章选择某麦网作为练习原创 2021-07-19 16:54:30 · 2217 阅读 · 0 评论 -
[Python] ERROR:argument of type ‘datetime.date‘ is not iterable
项目场景:create_date = date.today()tbitem['date'] = create_date问题描述:当将 date.today() 直接赋值给 字典时报错ERROR:argument of type ‘datetime.date’ is not iterable原因分析:date.today() 返回值为 datetime.date, 不可以直接做value解决方案:使用 str() 将其转换为Stringcreate_date = str(date.tod原创 2021-06-19 17:12:24 · 2837 阅读 · 0 评论 -
[Python] Convert bytes to a string
使用 Redis 的 brpop 时会返回 bytes. 使用decode将其转换成string>>> b"your string".decode("utf-8") 'your string'原创 2021-06-18 19:48:33 · 209 阅读 · 0 评论 -
redis brpop
项目场景:redis brpop问题描述:WRONGTYPE Operation against a key holding the wrong kind of value 原因分析:brpop() 只用于Reids(List)解决方案:添加时使用List方法: lpush 或 rpush原创 2021-06-18 19:44:45 · 204 阅读 · 0 评论 -
[Chromium定制开发2]实现webgl随机化
目录前言GPU 随机化实现查看GPU型号修改GPU信息结果总结前言上一篇已经成功编译chromium, 现在正式开启对chromium的自定义改造! 根据IT 猫的文章首先开始尝试GPU 和 webGL的随机化实现GPU 随机化实现查看GPU型号在chrome中运行以下代码(function () { var canvas = document.createElement('canvas'), gl = canvas.getContext('experimental-w原创 2021-03-31 11:01:36 · 3307 阅读 · 1 评论 -
[Chromium定制开发1]在 Windows中编译 Chromium
在 Windows中编译 Chromium这是一个自用chromium编译笔记, 供日后参考, 不作为编译指导, 详细请参考 官方文档,(中文参考)安装Visual Studio Community 2019Desktop development with C++“MFC/ATL support” sub-componentsWindows 10 SDK安装SDK Debugging Tools安装Visual Studio后, 打开Control Panel → Programs →原创 2021-03-29 09:30:20 · 2098 阅读 · 0 评论 -
[Python]selenium+Chrome 反反爬
from selenium import webdriverimport timedef main(): options = webdriver.ChromeOptions() options.add_experimental_option("excludeSwitches", ["enable-automation"]) options.add_experimental_option('useAutomationExtension', False) driver =原创 2021-03-18 20:56:21 · 698 阅读 · 0 评论