- 博客(38)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 【Scrapy】Scrapy教程12——中间件
中间件这部分算是一个高阶的Scrapy内容，即便不了解这部分也可以使用Scrapy，但是一些特殊情况使用中间件就比较方便处理了，比如修改请求和响应等。通过之前的工作原理图中，我们了解到Scrapy中有两个中间件，分别是下载器中间件和爬虫中间件，本节将一一讲解如何激活、编写自己的中间件和如何使用内置中间件。
2025-04-10 14:39:53
1143
原创 【Scrapy】Scrapy教程10——CSS选择器详解
那首先要说明下，这里说的选择器呢，是web前端开发中CSS的选择器。还有一种常说的选择器是电子电路中的数据选择器，数据选择器是一种组合逻辑电路，其作用是根据给定的输入地址代码，从一组输入信号中选出指定的一个送至输出端的组合逻辑电路。这个选择器，不在本文讨论的范围内。我们这里说的是前端开发中CSS的选择器，对于技术人员，尤其是前端开发人员，对CSS再熟悉不过了，CSS指的是层叠样式表(CascadingStyleSheets)，用来定义HTML元素如何显示的，那么CSS是如何找到HTML元素的呢？
2025-04-05 17:59:45
1022
原创 【Scrapy】Scrapy教程9——Spider参数
括起来后，就是可以在字符串中自动使用变量，比如我的’category=electronics’，那我最终的url就是。代码中有个strat_urls，这个都是这是获取第一个爬取网址的地方，但是注意，这个网址和之前的不一样，后面有个。，熟悉Python一看就知道了，这个是用来在字符串中自动匹配变量的，也就是说category是一个变量，用。Spider支持接受一些参数去改变他的执行行为，这里借用官方的例子说明下，看下面的代码。不要丢，spider的crawl命令通过-a选项来传输参数。
2025-03-26 10:02:07
192
原创 【Scrapy】Scrapy教程8——处理子链接
通过前面几篇文章，已经了解了如何去爬取网页内容并存储到数据库，但是目前只是存储了一个页面的内容，现在想要获取每篇文章链接内的文章内容，我们来看看怎么获取。
2025-03-22 20:37:59
713
原创 【Scrapy】Scrapy教程7——存储数据
Scrapy创建项目时，默认生成了items.py文件，我们在这里定义items。看下面这个例子。这是官网的一个例子，熟悉Django的朋友会注意到，Scrapy的Items定义和Django的Models很像，此外Scrapy Items因为不区分不同的字段类型，而变得更简单。注意看，例子中每个字段使用的都是Field对象，就是这么简单。而Field对象的作用，是用来指定每个字段元数据的。比如上面示例中last_updated字段的序列化函数。
2025-02-20 22:26:50
894
原创 【Scrapy】Scrapy教程6——提取数据
前一小节我们拿到了页面的数据，那页面中那么多内容，我们想要其中的部分内容，该如何获取呢？这就需要对我们下载到的数据进行解析，提取出来想要的数据，这节就讲讲如何提取数据。
2025-02-18 22:09:34
836
原创 【Scrapy】Scrapy教程5——第一个Scrapy项目
通过前几节的学习，我们已经了解了Scrapy的基本操作，下面我们开始第一个项目，我以本人的为例进行爬虫讲解，之所以用我自己的网站，是因为我这个网站本来就是做知识分享用的，共大家学习，不会去限制爬取，现在很多网站为了防止爬虫，都会做很多限制策略，不适合新手练习，本人就提供这样一个练习平台给大家。
2025-02-18 16:57:07
907
原创 【Scrapy】Scrapy教程4——命令行工具
Scrapy支持使用模块设置自己的项目命令。如何实现可参考的实践方法。然后在项目的settings文件中配置来添加自定义命令。以上就是对Scrapy命令行工具的说明，有不明确的地方，可参考官方文档欢迎大家在各大平台关注我，我会不定期发布技术相关文章和各种小工具，并且欢迎共同技术探讨！
2025-02-17 15:45:19
874
原创 【Scrapy】Scrapy教程2——工作原理
在学习Scrapy前，我们需要先了解其架构和工作原理，这样才能很好的去使用Scrapy。Scrapy的整体架构如下图所示，同时也标注出了其各个组件和数据流。
2025-02-16 22:31:27
924
原创 【Scrapy】Scrapy教程1——简介
学python，玩爬虫的人，肯定绕不开一个流行的爬虫框架——Scrapy。Scrapy其发音为(/ˈskreɪpaɪ/)，是一个开源、协作的框架，用于网络抓取和结构化数据提取，广泛应用与数据发掘、信息处理、历史存档、监测和自动化等领域。虽然Scrapy最初设计用于网络抓取，但也可以用于获取API的数据或通用的网络爬虫。Scrapy是基于twisted框架开发的，twisted是一个流行的事件驱动的python网络框架，因此Scrapy使用了异步的代码来实现并发。
2025-02-16 16:35:46
474
原创 【AI】用DeepSeek打造本地个人专属AI知识库
春节前夕，整个 AI 圈宛如平静湖面被投入一颗巨石，激起千层浪。杭州的一家极具创新力的公司，以一种震撼的方式登上舞台，发布并开源了 DeepSeek-R1 模型。消息一经传出，迅速在全球 AI 领域引发热议，各大专业论坛、技术交流群瞬间被这个话题霸屏，科研人员、AI 从业者以及科技爱好者们纷纷就此展开热烈讨论。从技术层面来看，DeepSeek-R1 模型堪称惊艳。它突破了以往模型的局限，实现了更高等级的推理能力。
2025-02-06 13:26:24
1464
原创 【AI】Ollama安装及使用全解析
Ollama 是一个开源的、支持在本地运行大型语言模型的工具。它提供了一个简单易用的命令行界面，用户可以通过该界面方便地下载、管理和运行各种开源的大模型。它能够有效地利用本地硬件资源，实现模型的高效运行，即使在普通的个人电脑上也能运行起模型。Ollama 的官方网站是获取安装包的最可靠来源，网址为Ollama。在官网首页点击“Download”进入下载页面，用户可以清晰地在下载页面找到针对不同操作系统的下载链接，点击对应链接即可下载安装包。
2025-02-06 13:15:13
1089
原创 SQLite数据库操作封装
最近使用python开发几个小项目，都用的是SQLite数据库，为了不同项目中能通用数据库操作，我就用Python封装了一个类，方便不同项目中直接调用，这样就可以只关注sql的内容了。
2024-12-16 17:54:11
273
原创 【Flask项目】文件分享系统（二）
前一篇文章简单分析了基于Flask的文件分享系统，功能设计的很简单，就是浏览目录，支持文件的上传和下载，那么用flask该如何来实现呢，其实也很简单。一个Flask程序必须包含实例、路由、视图函数、响应，才能正常运行起来，本文也按这个顺序讲解，如果对Flask是什么不清楚的朋友请去看我写的前几篇关于flask的文章。
2024-07-20 22:19:19
1099
原创 【Flask项目】文件分享系统（一）
笔者之前自学了下Python的轻量级Web框架Flask，学编程大家都知道，不动手实操都是假把式，这样造成的结果就是，你觉得看懂了，也听会了，但是让你自己开做个工具或项目，就是无从下手。因此，笔者在学了Flask后，想实操一下，便想到了基于flask开发个文件分享系统出来，一是为了局域网内跨设备传输方便，二是为了练习Flask。目标确立了，下面开始实操。步骤就按常规的软件开发步骤走，显示需求分析确定功能，然后对功能进行设计，再到编码实现。
2024-07-12 13:27:42
586
1
原创 [Flask笔记]一个完整的Flask程序
前面讲过Flask是一个轻量级Web开发框架，为什么说是轻量级的呢，因为它用短短几行代码就能运行起来，我们一起来看看最简单的flask框架。
2024-07-11 17:59:05
687
1
原创 [自动化测试]PO模式实现Selenium自动化测试
根据之前的笔记可以了解到PO设计模式有两种方案，方案如下PO模式指将页面元素的定位即元素的操作分离 PO方案一第一层：将所有元素对象定位器放到一个文件，不进行定位第二层：将所有元素操作放到一个文件，先定位再操作第三层：将公共的业务场景封装到一个文件中PO方案二元素对象层：封装定位元素的方法元素操作层：借助元素对象层封装元素的操作方法页面业务场景层：借助元素操作层封装页面的业务场景。
2023-06-01 13:42:22
734
原创 树莓派搭建gitblit代码管理服务器
文章目录一、环境配置二、创建GitBlit目录并下载GitBlit三、配置GitBlit四、运行&停止五、简单使用六、遇到的问题--以下是个人使用的问题记录(可略过)一、环境配置GitBlit需要使用Java环境运行，因此需要现在树莓派上安装java环境sudo apt updatesudo apt install default-jdk我直接安装的默认java jdk，默认的装的是OpenJDK 11 JDK，安装好后，运行java --version若能显示以下信息，表示安装成
2022-04-05 01:28:08
1468
原创 Python实现串口工具
最近做的一些项目要经常使用串口，找了很多串口工具，都感觉用起来不符合自己的需求，大都不支持将数据从文本中一行一行读出，使用串口进行发送，并要支持循环发送一个文件中的数据，因此自己动手丰衣足食，所以使用目前本人最熟悉的语言python写了一个串口工具，这里记录下，以备后续要使用时没地方找，有需要的朋友可自行下载。先上下载地址：https://jayhgq.lanzous.com/iHILeopi67a下面介绍下功能：V1.0.0版功能--------------------1.此串口工具基于Pytho
2021-05-02 00:15:55
1104
原创 [记录]树莓派使用nginx搭建流媒体服务器
尝试使用树莓派搭建流媒体服务器，试过rtsp-server、easydarwin、h5s都没有成功运行起来后来在网上看到可以使用nginx搭建流媒体服务器，就想着试试，经过调试，还真成功了，具体步骤见下面连接https://www.cnblogs.com/qiantuo1234/p/6611845.html感谢博主这里记录下文中没有提到或讲的不详细的问题1、nginx可以下载最新版，地址：http://nginx.org/download/2、要先安装以下这些库，不然会配置或编译会报
2020-06-25 17:21:25
905
原创 [RPi]树莓派GPIO入门之控制LED灯
本文部分资料及图片来自网络一、所需材料树莓派4B、LED灯、面包板、杜邦线、电阻、Python程序二、认识硬件材料这里介绍下LED灯、面包板、杜邦线、电阻LED灯：LED灯引脚长的一端为正极,短的一端为负极。也可以仔细观察灯珠内部的电极,较小的是正极,大的一端的是负极。面包板：方便插线，不用手动接线，其特点是中间的插孔竖向是相通的，边缘的插孔横向是相通的。杜邦线：杜邦线可实现插针式的连接，不用焊接，方便实验连通电路。杜邦线是分公母头的，本实验使用两根公-母杜邦..
2020-06-09 23:32:54
6980
原创 [Python]爬虫框架scrapy学习，读了这篇文章就可以上手scrapy
文章目录1. 安装scrapy2. 创建scrapy项目3. scrapy框架工作原理3.1 scrapy框架工作流程图3.2 Scrapy数据流讲解3.3 各个组件的讲解4. 提取数据5. 爬虫编写步骤6. 执行爬虫7. 测试项目案例(附源码)最近在研究scrapy框架，在这里简单整理下scrapy使用步骤进行记录，也方便大家阅读。1. 安装scrapypip install scrapy...
2020-02-12 21:15:17
347
2
原创 [Termux]修改下方快捷键
在命令行输入以下代码，产后重启即修改完成mkdir $HOME/.termux;echo "extra-keys = [['ESC','/','-','HOME','UP','END','PGUP'],['TAB','CTRL','ALT','LEFT','DOWN','RIGHT','PGDN']]" >> $HOME/.termux/termux.properties修改后的...
2020-01-10 17:53:42
6765
2
原创 [pyserial]使用Python控制串口
最近在折腾树莓派，用到了串口，为了在自己的程序(基于Python)中可以控制串口的收发，便研究了下如何使用Python控制串口在Python中控制串口，我使用的是pyserial模块，为了方便自己在其他地方的使用，封装了一个串口访问的类方便调用，在这记录下，整体类代码如下，仅供学习交流。# coding:UTF-8import serialimport timeimport serial...
2019-10-26 11:58:36
1545
原创 [Raspberry]树莓派上安装opencv
记录下在树莓派上安装opencv的过程，由于opencv并没有编译好的支持ARM的版本，因此需要手动编译，步骤如下。安装步骤参考：https://blog.youkuaiyun.com/kyokozan/article/details/79192646 感谢kyokozan博主写的这篇文章开启树莓派的摄像头sudo raspi-config更新软件列表sudo apt-get update...
2019-08-16 18:39:56
961
原创 为树梅派更换国内软件源
为树梅派更换软件源的方法很简单，直接编辑文件即可注意：一共需要更改两个地方我使用了buster版系统，因此更换源为buster版，从下面提供的两个链接中选择一个使用即可，我最终使用的是清华的第一处：/etc/apt/sources.list.d/raspi.list清华 deb https://mirrors.tuna.tsinghua.edu.cn/raspberrypi/ buster...
2019-08-10 00:21:46
197
原创 [Termux]使用Termux安装opencv
最近开始回归使用安卓手机，之前用过一阵安卓，但笔者深深被苹果的生态环境吸引，便投向了苹果阵营。由于最近一阵的中美贸易战，让笔者突然觉悟应该支持国产，便入手了华为手机(借口而已，其实是没有银子买苹果了
2019-08-05 23:27:01
10416
36
原创 [Flask笔记]（2）环境搭建二：创建虚拟环境
虚拟环境是Python解释器的一个私有副本，在虚拟环境中安装私有包不会影响系统中安装的全局Python解释器，可以保证全局解释器的环境干净整洁。Python3中创建虚拟环境Python3的标准库中原生支持venv。但在Ubuntu Linux系统中虽自带Python3，却没有venv环境，需要自行安装，根据情况命令行中执行以下命令：# Ubuntu中安装venvsudo apt-get i...
2019-07-07 18:14:27
248
原创 [Flask笔记](1)环境搭建一：Windows下使用Linux系统
最近在学习Flask，一个基于Python的轻量级Web开发框架，在阅读《Flask Web开发：基于Python的Web应用开发实战(第二版)》书籍时，发现有提到在Windows下可以使用Linux系统，于是研究了下。如果你使用的操作系统为Windows10的话，那么恭喜你，你很幸运可以开启一个Linux系统作为Windows的子系统。没错！Win10支持此功能，WSL(Windows sub...
2019-07-07 16:46:38
447
转载 [Raspberry]树莓派VNC服务开机自启设置
最近在折腾树莓派，每次重启想远程上去，都要手动开启VNC服务，很是麻烦，于是百度了下，如何将VNC服务添加到开机自启，这里记录一下方法。前提使用的树莓派系统为最新的，因为最新的自带VNC服务开启VNC服务在使用VNC服务前一定开启树莓派自带的VNC服务，开启方法如下：方法一：打开菜单（任务栏树莓派图标），选择“首选项”-“Raspiberry Pi Configuration”...
2019-06-30 16:53:44
8600
14
原创 [wxpy]用Python玩转微信之wxpy初探 ── 做属于自己的微信机器人
用Python玩转微信之wxpy初探wxpy介绍安装wxpy代码实现1.登录微信2.自动处理消息3.实现程序运行4.自动回复消息完整代码最近事情不多，有时间可以去研究点儿东西，之前看到有在微信里可以自动回复内容、自动发文件的机器人，想去一探究竟。正好最近正在研究Python，便网上搜了下，还真有通过Python控制微信的API，可实现自动消息处理、自动加好友等功能。说起用Python控制微信，可...
2019-06-15 21:15:52
2765
5
转载 UML历史及软件开发中常用的UML图
面向对象软件开发需要经过OOA（面向对象分析）、OOD（面向对象设计）、OOP（面向对象编程）三个阶段，其中OOA和OOD的分析和设计需要统一的符号来描述并记录，从而诞生了UML-统一建模语言。UML历史简介面向对象软件工程的概念由Booch提出，Booch也是面向对象方法最早的倡导者之一。Booch 1993表示法比较适用于系统的设计和构造。 Rumbaugh等人提出了面向对象的建模技术（OMT
2017-07-23 16:57:43
3188
原创 Android Studio环境搭建
熟悉Android的人都知道，Android的开发需要Java的支持，因此Android的环境搭建主要是Java JDK环境，具体步骤如下： 所需工具 1. Windows系统或MAC系统 2. JDK最新版，最新版JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html#java
2017-06-25 17:42:57
600
原创 软件测试知识学习路线
本人做软件测试3年多，时间说长不算长，但也不短了，这3年来对软件测试这个行业已经有了一定了解，测试这行有人说很简单，就是点点程序，看会不会出错，其实不然，测试也是有很多学问的，要真正想把测试做好，也是有一定难度的。废话不多说，下面进入正题，在这里做个测试知识的总结，给那些想学测试，但又不知道从何学起的朋友们一些启迪吧！由于本人知识有限，有写的不对或不好的地方请各位指出。 先来看下我做的一个软件测试
2017-06-24 16:36:42
17869
5
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人