Peng的博客

爬虫 - 中文传参

目录概述开始启动项目爬虫初始化处理响应回调函数的参数图片下载（未完待续）相关资源概述本文记录了个人使用 Scrapy 爬取某网站产品信息（包含图片下载）的整个过程，也可以作为一篇 Scrapy 实战教学博客。首先从 All Products 页面出发，首先抓取所有分类页面的链接：如 https://www.example.com/category/category-name再从每个产品分类页面抓取产品详情页面链接：如 https://www.example.com/product/product-n

场景使用pyinstaller打包某个文件后，生成的exe文件无法运行，提示 Module not found: myLib，myLib是我自己编写的一个库：封装了一些常用且重复的代码：from myLib.mysql import Mysql解决方案查找了一些资料后得到解决办法：在使用打包命令时使用额外参数 -p，参数值为myLib所在的路径。pyinstaller xxx.py -F -p your path个人的myLib路径：F:\projects\python\myLib，因此命令

前言在优快云问答中遇到这样一个需求：使用Selenium爬取京东商城某个页面中的商品价格信息，页面URL为：京东商城页面分析首先来到商城页面，打开F12，可以很清楚的找到目标在控制台用xpath选中，正好是20个商品，没有任何问题，那么直接上代码Selenium尝试import timefrom selenium import webdriverdriver = webdriver.Chrome()driver.get('https://mall.jd.com/view_searc

纪录一下自己搭建环境的整个过程。本机系统为Windows10，连接的安卓设备为夜神模拟器。参考博客：自动化测试 - Appium + Python史上最全最简环境搭建步骤Appium+python自动化安装环境环境搭建所需软件总览JDK，JAVA开发工具包Android SDK，安卓开发工具包Node.jsAppiumPython其他：Python库Appium-python-Client、Python IDE、模拟器/真机JDK安装下载地址：oracle官网下载根据自己的

协程爬取最近在学习Python爬虫，同时在公司同事的引导下接触到协程，开始学习使用协程编写异步爬虫Python协程系列学习参考：https://blog.youkuaiyun.com/qq_27825451/article/details/86218230目标：爬取一本网络小说主站urlurl = 'http://www.quanshuwang.com/book/9/9055'爬取流程分析：...

参考文献：https://blog.youkuaiyun.com/qq_29721419/article/details/70310183试图在列表中存放字典时出了问题dict1 = {}list1 = []for i in range(10): dict1['test'] = i list1.append(dict1)print(list1)# Result : [{'te...