go语言实现百度贴吧网页简单爬取

Grayan

于 2018-12-03 23:46:02 发布

阅读量213

点赞数

CC 4.0 BY-SA版权

分类专栏： golang 文章标签： go

本文链接：https://blog.youkuaiyun.com/weixin_43851310/article/details/84781703

golang 专栏收录该内容

62 篇文章

订阅专栏

本文介绍了一种使用Go语言进行百度贴吧网页爬取的方法，通过简单的代码实现了对魔兽世界贴吧1-10页的爬取，并将数据保存为文本文件。代码中详细展示了如何设置URL、发送HTTP请求、读取响应内容及保存数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#go语言实现百度贴吧网页简单爬取

package main

import (
	"fmt"
	"io/ioutil"
	"net/http"
	"strconv"
)

//定义两个变量：url和文件地址
const(
	urlfile="https://tieba.baidu.com/f?kw=%E9%AD%94%E5%85%BD%E4%B8%96%E7%95%8C&ie=utf-8&pn="
	fileName = `H:\`
)
//爬取1-10页魔兽世界百度贴吧的网站信息 
func main() {
	startWork(1,10)
}

func startWork(start,end int){
	for i:=start;i<=end;i++{
		//1、明确url
		url:=urlfile+strconv.Itoa((i-1)*50)
		fmt.Println("开始爬取第",i,"页:",url)

		//2、获取服务器响应包数据
		resp,err:=http.Get(url)
		if err!=nil{
			fmt.Println("resp err:",err)
			continue
		}
		defer resp.Body.Close()

		//3、读取数据
		content,err:=ioutil.ReadAll(resp.Body)
		if err!=nil{
			fmt.Println("readAll err:",err)
			continue
		}

		//4、保存数据
		fileName2:=fileName+"魔兽世界"+strconv.Itoa(i)+".txt"
		ioutil.WriteFile(fileName2,content,0666)
		fmt.Println("成功打印了第",i,"页")
	}
}