golang爬虫抓取商品报价

最新推荐文章于 2025-04-03 16:00:00 发布

原创

最新推荐文章于 2025-04-03 16:00:00 发布 · 474 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#golang #python #数据库

该博客介绍了如何利用Golang库GatherTool进行网页爬取、数据提取，并将结果存储到MySQL数据库中。示例代码展示了对特定网页的爬取，提取商品信息，并将信息按固定字段顺序存储到数据库。

使用爬虫库 gathertool

地址： https://github.com/mangenotwork/gathertool
下载: go get github.com/mangenotwork/gathertool
介绍: 轻量级爬虫，接口测试，压力测试库, 提高开发对应场景的golang程序。
库文档: https://pkg.go.dev/github.com/mangenotwork/gathertool

成果截图

执行截图
在这里插入图片描述

数据库截图
在这里插入图片描述

具体代码

package main

import (
	"fmt"
	gt "github.com/mangenotwork/gathertool"
	"log"
)

// 数据库对象
var (
	host192  = "192.168.0.192"
	port     = 3306
	user     = "root"
	password = "root123"
	dbName      = "test"
	DB, _ = gt.NewMysql(host192, port, user, password, dbName)
	OutTable = "sp_jiage_20220707"
	Host = "http://www.100ppi.com/mprice/"
)

func main(){
	caseUrl := "http://www.100ppi.com/mprice/mli