ungoing的博客

requests库爬取视频

Selenium常规的设置，简单防反爬、浏览器选项配置、浏览器界面保持不自动关闭。

使用Selenium未找到浏览器驱动引发异常：NoSuchDriverException(msg) from errselenium.common.exceptions.NoSuchDriverException: Message: Unable to obtain driver for MicrosoftEdge using Selenium Manager.

环境搭建urllib和BeautifulSoup存储数据到MySQL常见文档读取（TXT、PDF）使用爬虫要注意什么

selenium程序不会被浏览器识别为“自动测试程序”的选项配置

开始跟着B站上学习爬虫，使用的工具是PyCharm。视频链接：https://b23.tv/NLp4gz6?share_medium=android&share_source=qq&bbid=XYC5605C8F19F10D959B8A59F386FD514EF41&ts=1640697988835爬虫代码如下：# -*- coding: utf-8 -*-# 爬虫：本质是通过 编写程序 来获取到互联网上的资源# 百度# 需求：用程序模拟浏览器，输入一个网址，从该网址中

Android SDK的安装详细步骤

1. PC端User-Agent# 百度"Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html) safari 5.1 – MAC",# safari 5.1 – MAC (Safari是苹果计算机的操作系统Mac OS中的浏览器)"Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (K

1. Scrapy概述1. 为什么要学习scrapy框架爬虫必备的技术，面试会问相关的知识。让我们的爬虫更快更强大。（支持异步爬虫）2. 什么是Scrapy？异步爬虫框架：Scrapy是一个基于Python开发的爬虫框架，用于抓取网站并从其页面中提取结构化数据，也是当前Python爬虫生态中最流行的爬虫框架，Scrapy框架架构清晰，可扩展性强，可以灵活高效的完成各种爬虫需求。3. 如何学习Scrapy？官网：https://scrapy.org/官方文档1（中文）：https

1. MongoDB概述1. MongoDB是什么?是一种非关系型数据库（NoSQL）（即not only sql）。2. 为什么需要学习？企业需求爬取数据到一个量级，使用MongoDB比mysql要好一些。3. MongoDB的特点无数据结构（方便爬虫）（没有固定表结构的约束）高性能（具有非常高的读写能力）良好支持（有完善的文档，跨平台，稳定）2. MongoDB的安装1. 进入官网，选择版本安装（建议安装4.4版本的）MongoDB官网：https://www.mon

Python的三种获取用户代理方式，其中两种可获取随机用户代理。