iFan 的博客

CentOS 安装1. 下载我下载的是mini版本的wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh# 安装bash Miniconda3-latest-Linux-x86_64.sh# 阅读说明# 选择安装目录/usr/local/miniconda3# 是否安装vscode...

前期准备下载安装依赖包sudo apt-get install -y make build-essential libssl-dev zlib1g-dev libbz2-dev \libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncursesw5-dev \xz-utils tk-dev libffi-dev...

安装下载安装脚本wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh执行脚本安装bash Miniconda3-latest-Linux-x86_64.sh# 阅读说明# 选择安装目录/usr/local/miniconda3# 是否安装vscode# 是否添加环境变量no# 安...

安装python3 -m pip install jupyter配置生成配置文件jupyter notebook --generate-config生成登录密码python3 -c 'from notebook.auth import passwd; print(passwd("usepassword"));'修改配置文件vim ~/.jupyter/jupyter_note...

更换pip源# 不存在则创建vim ~/.pip/pip.conf配置文件信息[global]index-url = http://mirrors.aliyun.com/pypi/simple/[install]trusted-host=mirrors.aliyun.com升级pippython3 -m pip install --upgrade pip...

在这里只是记录下requests的常用使用方法，因为官方文档已经写得很全面了，所以不再重复。基础使用安装pip install requestsGETimport requestsparams = { "key":"value"}url = "www.demo.com"headers = { "Accept": "application/json, text/...

功能简介提供方便易用的 WebUI 系统，可视化地编写和调式爬虫提供爬取进度监控、爬取结果查看、爬虫项目管理等功能。支持多种后端数据库，如 MySQL、MongoDB、Reids、SQLite、Elasticsearch、PostgreSQL。支持多种消息队列、如 RabbitMQ、Beanstalk、Redis、Kombu。提供优先级控制、失败重试、定时抓取等功能。对接了 Phan...

该文章涉及方面比较多，后面会将该文章拆开，每个方面都会进行详细的说明和使用，但是该文件的内容不变。Scrapy 爬虫框架的使用 手册基础介绍安装pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whlpip install Scrapy错误ModuleNotFoundError: No module named ‘win32api’...

Driver下载地址chromedriverseleniumDriver的常用的API基本from selenium import webdriverexecutable_path = "chromedriver"driver = webdriver.Chrome(executable_path=executable_path)# 获取所有的framefor window in ...