go语言---爬虫入门

go语言—爬虫

1. 用到的包: net/http(用于发送请求), io/ioutil(用于读取响应内容);
2. 基本步骤:
   1. 构建请求url, string类型;
   2. 使用net/http包提供的Get()方法发送请求, 获取响应对象response;
   3. 处理异常,解析响应内容;
3. 进阶步骤(适用于有反爬机制的网站):
   1. 构建请求url,string类型;
   2. 使用net/http包提供的Client{}结构体构建client;
   3. 使用net/http包提供的NewRequest()方法构建请求对象request;
   4. 为request对象的Header添加必要的头部属性;
   5. 调用client对象的Do()方法,并传递参数request,即可得到响应response;
   6. 处理异常,解析响应内容;

---

package main

import (
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {

	// 测试链接
	testUrl := "http://www.ylzsxx.com/2_2787/"

	// 构建client对象
	client := &http.Client{}

	// 构建请求request对象
	request, err := http.NewRequest("GET", testUrl, nil)

	// 构建错误处理
	if err != nil {
		fmt.Println("构建请求对象出错")
		return
	}

	// 添加请求对象的属性,头部信息
	request.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36")
	request.Header.Add("Cookie", "clickbids=2787")

	// 发送请求
	resp, e := client.Do(request)

	// 请求错误处理
	if e != nil {
		fmt.Println("请求出错")
		return
	}

	// 读取响应体内容
	content, _ := ioutil.ReadAll(resp.Body)

	// 关闭字节流(必要时需要错误处理)
	defer resp.Body.Close()

	// 将响应体字节切片转换为字符串并输出
	fmt.Println(string(content))


}