爬虫整理与复习

本文回顾了作者之前学习过的爬虫技术,并分享了如何将原本在Windows环境下运行的爬虫代码迁移到Ubuntu系统的过程。文章中提到了为爬虫项目创建本地仓库以及设置文件保存路径的具体实现。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


  之前学过了一阵子的爬虫,看的内容多且杂,彼时并未将内容融会贯通, 且各处收集代码较杂乱。
  自己也写了一些,或是将网上的代码加以修改,当时是在Windows7的条件下均运行过至少一次可以达到预期效果。后转入ubuntu系统,现再次将之前所学代码系统得过一遍,达到复习效果的同时,使其亦可在linux上正常运行。
    做了一些基本的准备:创建了一个本地仓库”several_crawlers”;爬虫需要爬取文件到本地,创建了一个文件夹’all’来保存这些文件,代码如下。

allfiledir.py

import os

basedir = os.path.abspath(os.path.dirname(__file__))
allfilrdir = basedir + '/all'
if not os.path.exists(allfilrdir):
    os.mkdir(allfilrdir)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值