Golang---goquery爬虫获取golang语言中文网页面信息并保存MySQL

go实现网页爬虫,并将结果保存到mysql 1. 从github上下载mysql连接所需要的库。也可直接在GitHub上下载,然后保存到GOPATH目录中,MySQL驱动地址https://github.com/Go-SQL-Driver/MySQL。在import的时候,go会直接在gopath中找相关的包。推荐使用命令行方式,只要一句代码就实现,然后就直接在代码中用。$ go get -u github.com/go-sql-drive... 阅读详情

    由于最近一直在golang语言中文网上看帖子,所以打算使用golang写一个爬虫把帖子信息抓取下来,并保存到mysql中。

    以下是完整代码;

// goquery_spider_test project main.go
package main

import (
	"database/sql"
	"fmt"
	"goquery-master"
	"log"
	//	"net/http"
	"strconv"
	"strings"

	_ "github.com/go-sql-driver/mysql"
)

var (
	commonurl = "https://studygolang.com"
	userid    = ""
	//获取数据
	topicinfo = []string{"", "", "", "", ""}
)

type DbWorker struct {
	//mysql data source name
	Dsn string
}

func main() {
	//连接MySQL
	dbw := DbWorker{
		Dsn: "root:haige@tcp(localhost:3306)/studygolang_topic?charset=utf8",
	}
	db, err := sql.Open("mysql",
		dbw.Dsn)
	defer db.Close()
	if err != nil {
		panic(err)
	} else {
		fmt.Println("数据库链接成功!")
	}

	var pagelasturl string = ""
	var index int = 0

	//获取页面数据信息
	pageurl := "https://studygolang.com/topics?p="

	for {
		index++
		temp := strconv.Itoa(index)
		pagelasturl = pageurl + temp
		doc, _ := goquery.NewDocument(pagelasturl)
		if doc.Find("div.topic").Text() == "" {
			break
		}
		getpageinfo(db, pagelasturl)
		fmt.Println(pagelasturl)
		temp = ""
		pagelasturl = ""
	}
	defer db.Close()
}

func getpageinfo(db *sql.DB, pagefullurl string) {
	doc, err := goquery.NewDocument(pagefullurl)
	if err != nil {
		log.Fatal(err)
	}
	doc.Find("div.topic").Each(func(i int, contentSelection *goquery.Selection) {
		//帖子标题
		title := contentSelection.Find("div.title a").Text()
		//帖子url
		topicurl, _ := contentSelection.Find("div.title a").Eq(0).Attr("href")
		//帖子作者
		userid = contentSelection.Find("div.meta a").Find("strong").Text()
		//帖子作者url
		userurl, _ := contentSelection.Find("dt.avatar a").Eq(0).Attr("href")
		//帖子回复
		click := contentSelection.Find("div.pull-right a").Text()
		if click == "" {
			click = "0"
		}
		topicinfo[0] = title
		topicinfo[1] = commonurl + topicurl
		topicinfo[2] = userid
		topicinfo[3] = commonurl + userurl
		topicinfo[4] = click

		//消除各种不兼容字符
		topicinfo = splitstring(topicinfo)
		//数据库操作
		dbmanager(db, topicinfo)
	})
}

func splitstring(pageinfo []string) []string {
	spilitinfo := pageinfo
	for i := 0; i < 5; i++ {
		spilitinfo[i] = strings.Replace(pageinfo[i], "'''", " ", -1)
		spilitinfo[i] = strings.Replace(pageinfo[i], "'", " ", -1)
		spilitinfo[i] = strings.Replace(pageinfo[i], "''", " ", -1)
		spilitinfo[i] = strings.Replace(pageinfo[i], "’", " ", -1)
		spilitinfo[i] = strings.Replace(pageinfo[i], "‘", " ", -1)
		spilitinfo[i] = strings.Replace(pageinfo[i], "“", " ", -1)
		spilitinfo[i] = strings.Replace(pageinfo[i], "”", " ", -1)
		spilitinfo[i] = strings.Replace(pageinfo[i], ",", " ", -1)
		spilitinfo[i] = strings.Replace(pageinfo[i], "?", " ", -1)
	}
	return spilitinfo
}

func dbmanager(db *sql.DB, info []string) {
	//	fmt.Print(info[0])
	var sqlinfo string = "INSERT INTO golang_topic VALUES('" + info[0] + "','" + info[1] + "','" + info[2] + "','" + info[3] + "','" + info[4] + "')"
	stmt, err := db.Prepare(sqlinfo)
	if err != nil {
		fmt.Println("insert data error: %v\n", err)
		return
	}
	stmt.Exec()
}


步骤:

1、链接mysql

2、设置抓取规则,使用goquery解析html网页,获取想要的字段信息

3、保存mysql (字段为:topic_name(帖子名称), topic_url(帖子url), topic_userid (帖子发布作者), topic_userurl (作者url), topic_click (帖子回复数量))

      由于刚开始golang的学习,对其中字符串的函数使用不熟练,在向mysql插入数据的时候,由于一些转义字符或者是特殊字符无法完成插入,后通过strings.Replace()函数来进行笨拙的替换,后期会继续学习并优化函数处理以及爬虫规模

     代码中需要加载一些包,在此就不详细描述,如有需要,可留言回复,共同学习。

下面是抓取的mysql截图


    Go语言中文网页面总共有81页,3416条数据,抓取到mysql以每页1000条显示(Navicat for MySQL)

   由于刚接触golang,如有不足,请互相交流学习微笑

股票价格预测的秘密武器:用C#实现蒙特卡洛路径模拟,轻松掌握市场波动规律! 摘要: 蒙特卡洛模拟是股票预测的有效工具,通过随机抽样模拟价格路径,克服传统技术分析的局限性。其核心模型是几何布朗运动(GBM),描述股价随机变化过程。C#实现的关键步骤包括:1)获取输入参数;2)生成随机数路径;3)分析结果。该方法不预测具体价格,而是提供可能的价格范围,帮助投资者评估风险。代码结构清晰,分为输入、模拟、分析和可视化四个模块,通过参数封装提高可读性,适用于不确定市场的概率预测。 阅读详情

相关推荐

python语言下使用opencv接口cv2.VideoCapture()接口调用海康机器人工业相机

文章目录 目录 文章目录 前言 一、opencv接口介绍 二、调用海康机器人工业相机 1.使用海康机器人工业相机的前提 2.调用海康机器人工业相机进行显示 3.调用海康机器人工业相机进行存图 4.调用海康机器人工业相机存视频 5.调用海康机器人工业相机进行简单图像处理 总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 提示:以下是本篇文章正文内容,下.

qq_39570716的博客 1万+

16、go语言:数据存储和展示

1、ItemSaver的架构: 抽象出Task的概念 FetchTask,PersistTask共用一个Engine,Scheduler 需要创建FetchWorker,PersistWorker 本项目中显得过重 为每个Item创建goroutine,提交给ItemServer package engine type ConcurrentEngine struct { Scheduler Sc...

u012573437的博客 502

VMware Workstation Pro必备技巧:5分钟搞定Ubuntu虚拟机磁盘瘦身(附常见错误解决)

本文详细介绍了如何为VMware Workstation Pro中的Ubuntu虚拟机进行磁盘瘦身,解决.vmdk文件只增不减的问题。通过清理系统垃圾、使用零填充空闲空间,并利用vmware-toolbox-cmd或vmware-vdiskmanager工具进行压缩,可有效回收被无效占用的磁盘空间。文章还提供了常见错误解决方案和预防性维护建议,帮助用户高效管理虚拟机存储。

sea99的博客 300

Golang(8)-goquery库的使用

文章目录一、goquery库的安装二、goquery的使用三、爬取优快云首页文章3.1、需求分析3.2、分析当前页面的html文档四、爬虫完整程序 goquery是golang的一个爬虫常用第三方库,它主要的作用是处理html文档,将其我们需要的内容进行筛选处理。goquery是golang领域的jquery,它的使用和jquery的选择器有十分相似,如果你学过jquery,那么将十分容易...

BoringError的博客 3727

千兆以太网的接收和crc校验

解析该以太网帧,包括统计该以太网帧长度+过滤功能(端口号对不对,是否为udp协议)+CRC校验,将解析结果存入状态fifo,一旦状态fifo开始有数,就开始开启读过程,读过程开始时,首先读状态fifo,根据从状态fifo里面读出的以太网帧长度,来读数据fifo(这样能够防止跨帧读),然后在根据状态fifo里面读出的crc校验正确标志和过滤标志,来确定是否将数据fifo读出来的数据送给下一个模块。改掉之后在抓一下,可以看到抓出来的数据完全正确,从最后开始看,除去4个crc校验的尾巴,数据是到255结束的。

weixin_45284871的博客 2742

法律AI工具横评:Kimi Work与WorkBuddy,谁更适合法律人?

在人工智能技术日益普及的今天,自然语言处理(NLP)和大语言模型(LLM)正深刻改变着专业领域的工作范式。其核心原理在于通过海量数据训练,使模型能够理解、生成和推理人类语言。这一技术价值在于将从业者从繁琐、重复的信息处理工作中解放出来,极大提升工作效率与知识获取的便捷性。在法律、金融、咨询等对文本处理要求极高的行业,AI助手已展现出在文档分析、信息检索和内容生成方面的巨大潜力。具体到法律应用场景,AI工具能够辅助完成合同审查、法律检索和文书起草等核心任务,成为专业人士的得力助手。本文聚焦于近期备受关注的两款

weixin_30279671的博客 571

Golang 基于chrome浏览器语音识别web演示系统WebHTK开发之 引擎篇

要说引擎篇,也谈不上。底层语音识别的实现,是基于HTK开源语音识别工具:http://htk.eng.cam.ac.uk/# 前面用过这个工具,也用JNI转成java可调用的接口,所以还算比较熟悉。这次引擎,也只是用cgo来转。HMM模型都是用HTK的工具训练好的,只要有数据,baidu,google上教程还是很多的,自带的HTKBOOK就是最权威的教程。 在实...

weixin_33995481的博客 260

微信小程序 - 最新详细实现调起手机摄像头拍摄身份证人像面和国徽面取景框功能,在拍照相机上增加身份证证件照的轮廓或自定义文字,支持替换扫描拍摄辅助线图片及文本,小程序实现拍照身份证时带取景轮廓框拍摄!

微信小程序,身份证,证件照,人像,证件照提示框模板,vue身份证拍照框,摄像机相机里有引导内容,取景框拍摄,微信小程序实现拍照界面自定义实现,自拍人相框拍摄,取景框,户口簿取景框,画布指定区域生成图片,微信小程序身份证正反面拍照如何加入辅助图片引导照片,身份证取景框拍摄,服务器,上传,正反面,调起手机摄像头: 拍摄身份证的正反面,自定义身份证取景框,在相机上绘制 “身份证轮廓“ 与提示文字,拍摄身份证时出现人像框怎么实现,在相机上增加图片和文字,微信小程序怎么给调起的相机加入自定义图片,小程序实现给相机上面

🏆 前端领域优质创作者 3407

go语言简单的爬取网站信息(上)

首先根据url,获取网站的html信息,然后提取出所需的内容因为网页的编码方式不同,有的中文会编程乱码,所以需要转码另外提取内容,需要使用正则表达式来匹配。

m0_46606984的博客 2441

16、树莓派Pico W:蓝牙与Wi-Fi应用指南

本文介绍了树莓派Pico W在蓝牙与Wi-Fi通信方面的应用,涵盖蓝牙配对原理、使用HC-06模块实现手机远程控制LED和传输内部温度,以及通过Wi-Fi进行网络连接、扫描和UDP协议下的设备控制。文章包含详细电路连接、代码实现与测试步骤,并提供拓展建议、常见问题解决方法及开发注意事项,帮助读者快速掌握基于Pico W的无线通信项目开发,适用于物联网入门与实践场景。

sun99的博客 291

WorkBuddy 连接百度网盘:能查能上传,但别指望 AI 帮你下载

本文介绍了如何通过WorkBuddy连接百度网盘实现文件管理功能。首先需要在百度开放平台创建应用并获取AppKey等凭证,然后通过拼接授权URL获取Access Token并填入WorkBuddy。实际测试表明,该连接器支持查看目录结构、搜索文件及上传文档,但无法实现文件下载和创建分享链接,原因是百度网盘MCP Server未提供相关接口。使用前需明确功能限制,该方案适合需要远程查阅网盘内容但不涉及下载的场景。

u011186532的专栏 2073

goquery的使用

title: goquery的使用 tags: go,goquery,爬虫 author: Clown95 本文参考 飞雪无痕 的 《golang goquery selector(选择器) 示例大全》 概述 相信很多小伙伴对爬虫有着很大的兴趣,今天我们就来说下go语言的爬虫利器goquery,有使用过jquery的小伙伴是不是看着这个很眼熟?goquery类似jquery,它是jquer...

Clown95 2万+

【WRF-Chem工具】pyVPRM 计算大气与陆地植被之间的 CO₂ 交换通量

pyVPRM 计算大气与陆地植被之间的 CO₂ 交换通量

WW、forever的博客 211

go第三方库文档 html处理 goquery

//go第三方库文档 html处理 goquery //地址 https://pkg.go.dev/github.com/PuerkitoBio/goquery#section-readme // goquery-有点像那个j型的东西,只在围棋中 // 生成状态Go参考Sourcegraph徽章 // goquery为Go语言带来了类似于jQuery的语法和一组特性。它基于Go的net/html包和CSS选择器库cascadia。由于net/html解析器返回节点,而不是功能齐全的DOM树,因此jQue.

liao__ran的博客 1595

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

使用golang结合goquery抓取数据的爬虫

简介 goquery是用 Go 语言编写的一个类似于 jQuery 的库。它基于 HTML 解析库net/html和 CSS 库cascadia,提供与 jQuery 相近的接口。Go 著名的爬虫框架colly就是基于 goquery 的。 快速使用 本文代码使用 Go Modules。 创建目录并初始化: $ mkdir goquery && cd goquery $ go mod init github.com/darjun/go-daily-lib/goquery 安装goque

雨夜的博客 902

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Golang爬虫(二):goquery库的使用

简介 goquery为Go语言带来了类似于jQuery的语法和一组特性。它基于Go的net / html包和CSS Selector库cascadia。由于net / html解析器返回节点,而不是功能齐全的DOM树,因此jQuery的有状态操作函数(如height(),css(),detach())已经停止。 此外,因为net / html解析器需要UTF-8编码,所以goquery也是如此:调...

qq_36314165的博客 1506

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

GoLang—爬虫—数据清洗(goquery)

当

Xy-Huang的博客 2383

golang解析网页的第三方包——goquery(爬虫必备)

goquery是一个使用go语言写成的HTML解析库,可以让你像jQuery那样的方式来操作DOM文档,使用起来非常的简便。   一、官网下载地址    https://github.com/PuerkitoBio/goquery 二、goquery提供的主要结构体和方法   2.1. Document    代表一个HTML文档,       type Document struc

skh2015java的博客 3万+

Golang 爬虫框架 Goquery的使用

介绍 goquery brings a syntax and a set of features similar to jQuery to the Go language. It is based on Go’s net/html package and the CSS Selector library cascadia. Since the net/html parser returns nod...

LU_ZHAO的博客 2233

goquery 查找html标签,golang解析网页利器goquery的使用方法

前言本文主要给大家介绍了关于golang解析网页利器goquery使用的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧。java里用Jsoup,nodejs里用cheerio,都可以相当方便的解析网页,在golang语言里也找到了一个网页解析的利器,相当的好用,选择器跟jQuery一样安装使用其实就是项目的readme.md里的demo乱码问题中文网页都会有乱码问题,因为...

weixin_28783937的博客 471

golang 使用 goquery 抓取 知乎周刊

刚刚玩了一下 goquery 看到最近抓知乎数据的比较多。那我也抓一个玩玩。 我也不跟人家 比数据量什么的了。也不证明golang是最好的语言 只是单单的做练手了 package main import ( "fmt" "github.com/PuerkitoBio/goquery" ) type Book struct { Title string //标题 Img

小码农的博客 4930

go 抓取html,golang 抓取网页信息(用goquery)

用golang抓取页面的信息,可以使用goquery去抓取,很方便packagemainimport("fmt""log""github.com/PuerkitoBio/goquery")funcExampleScrape(){doc,err:=goquery.NewDocument("http://metalsucks.net")iferr!=nil{log.Fatal(e...

weixin_42407739的博客 898

goquery的初步使用

goquery的初步使用

yuchenfw的博客 3204

GO-Golang实现的简单爬虫

序言今天在工作上面需要用到爬虫抓取部分信息,之前用Python实现了优快云博客的抓取,后想到了目前整天面对的Golang,便摸索了一下,实现了一个简单的抓取豆瓣排行的爬虫,主要分为下面几个步骤.- 发起Http请求- 解析Html元素- 存储抓取到的数据详细阅读链接源码链接发起http请求在请求方面,直接采用的Golang的"net/http"包来进行开发,步骤如下:初始化client := &...

Swxctx 7763

golang解析html网页

1.先看一下整个结构: 主要是web和html目录,分别存放go代码和html相关的资源文件。 2.html代码比较简单,代码如下: Go web 用户名: 密码: 就是显示一张图片,然后加登陆表单。 3.而go代码也比较简单,如下: package main import ( "fmt" "h

rambo_huang的博客 1万+
上一篇: Golang---高并发
下一篇: Golang---TCP
Kuberlin
博客等级 码龄12年 4粉丝 4原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值