爬虫整理与复习

最新推荐文章于 2024-08-03 14:18:54 发布

原创最新推荐文章于 2024-08-03 14:18:54 发布 · 493 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

爬虫专栏收录该内容

6 篇文章

订阅专栏

本文回顾了作者之前学习过的爬虫技术，并分享了如何将原本在Windows环境下运行的爬虫代码迁移到Ubuntu系统的过程。文章中提到了为爬虫项目创建本地仓库以及设置文件保存路径的具体实现。

　　之前学过了一阵子的爬虫，看的内容多且杂，彼时并未将内容融会贯通，且各处收集代码较杂乱。
　　自己也写了一些，或是将网上的代码加以修改，当时是在Windows7的条件下均运行过至少一次可以达到预期效果。后转入ubuntu系统，现再次将之前所学代码系统得过一遍，达到复习效果的同时，使其亦可在linux上正常运行。
　　　　做了一些基本的准备:创建了一个本地仓库”several_crawlers”;爬虫需要爬取文件到本地,创建了一个文件夹’all’来保存这些文件,代码如下。

allfiledir.py

import os

basedir = os.path.abspath(os.path.dirname(__file__))
allfilrdir = basedir + '/all'
if not os.path.exists(allfilrdir):
    os.mkdir(allfilrdir)