【GoLang笔记】A Tour of Go - Exercise: Web Crawler

最新推荐文章于 2024-11-11 19:56:36 发布

slvher

最新推荐文章于 2024-11-11 19:56:36 发布

阅读量2.5k

点赞数 1

分类专栏： GoLang 文章标签： GoLang

本文链接：https://blog.youkuaiyun.com/slvher/article/details/43372207

版权

本文介绍了如何使用Go语言的并发特性来并行化构建一个避免重复抓取网页的爬虫。在练习中，你需要修改Crawl函数，使其能够并发地抓取URL，同时确保同一个URL不被重复抓取。需要注意处理类似404错误的情况，以防止通道死锁问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是GoLang学习教程中的一道习题，具体题目要求及代码实现如下。

备注：由于天朝GFW屏蔽了GAE，所以GoLang官网及学习教程需要翻墙才能访问。

Exercise: Web Crawler

In this exercise you'll use Go's concurrency features to parallelize a web crawler.
Modify the Crawl function to fetch URLs in parallel without fetching the same URL twice.

题目需要实现一个不会重复抓取已抓页面的并发爬虫。

下面是需要修改的原题代码：

package main

import (
    "fmt"
)

type Fetcher interface {
    // Fetch returns the body of URL and
    // a slice of URLs found on that page.
    Fetch(url string) (body string, urls []string, err error)
}

// Crawl uses fetcher to recursively crawl
// pages starting with url, to a maximum of depth.
func Crawl(url string, depth int, fetcher Fetcher) {
    // TODO: Fetch URLs in parallel.
    // TODO: Don't fetch the same URL twice.
    // This implementation doesn't do either:
    if depth <= 0 {
    	return
    }
    body, urls, err := fetcher.Fetch(url)
    if err != nil {
    	fmt.Println(err)
    	return
    }
    fmt.Printf("found: %s %q\n", url, bod

最低0.47元/天解锁文章