golang协程实战之抓取豆瓣电影top数据

韩寅嵩

于 2019-06-20 19:57:18 发布

阅读量645

点赞数 1

分类专栏： golang 协程文章标签： golang 爬虫协程 spider

本文链接：https://blog.youkuaiyun.com/a1085075119/article/details/93113099

版权

本文详细介绍了如何使用Golang的协程实现高效的爬虫，抓取豆瓣电影Top250的数据。通过并发处理，显著提高了爬取效率，同时讲解了相关错误处理和数据存储策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >


package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "os"
    "regexp"
    "runtime"
    "strconv"
    "time"
)
//定义新的数据类型 (结构体)
type Spider struct {
    url    string
    header map[string]string
}


//定义 Spider get的方法 (没有return 所以无需定义返回类型)
func (keyword Spider) get_html_header() {

    client := &http.Client{}
    req, err := http.NewRequest("GET", keyword.url, nil)
    if err != nil {
    }
    for key, value := range keyword . header {
        req.Header.Add(key, value)
    }
    resp, err := client.Do(req)
    if err != nil {
    }
    
    //defer 的意思是，不管运行是否异常，最后都会执行关闭
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
    }


    //return string(body)
    Channel <- string(body)

}

func parse()  {
    header := map[string]string{
        "Host": "movie.douban.c

最低0.47元/天解锁文章