golang解析网页的第三方包——goquery(爬虫必备)

用Go来爬虫 goquery使用 应工作内容需求,要爬取两个网站的数据(至于是什么网站,这里就不透露了,哈哈,害怕被发现了封ip),这些数据是定期更新的。由于后端的所有服务都是用go写的,于是不打算用python,还是想用go来完成这个需求,github里搜了下,发现goquery这个爬虫包用的人还挺多的,5000多个star,而且是BSD开源协议,于是毫不犹豫的拿来用了。 首先,go get https://github.co... 阅读详情

goquery是一个使用go语言写成的HTML解析库,可以让你像jQuery那样的方式来操作DOM文档,使用起来非常的简便。

 

一、官网下载地址

   https://github.com/PuerkitoBio/goquery

二、goquery提供的主要结构体和方法

 

2.1. Document    代表一个HTML文档,

      type Document struct {
        *Selection  
       Url      *url.URL
       rootNode *html.Node
      }


 1  Document 继承了Selection 类型,因此,Document 可以直接使用 Selection 类型的方法。

 2  Document初始化的五种方式

  1)根据根节点初始化

  func NewDocumentFromNode(root *html.Node) *Document {
     return newDocument(root, nil)
  }

 

 2)根据url初始化,比较常用

  func NewDocument(url string) (*Document, error) {
   // Load the URL
   res, e := http.Get(url)   //根据url获取该网页的内容  res
   if e != nil {
      return nil, e
   }
   return NewDocumentFromResponse(res)
}

 

 3)根据io的Reader初始化

   func NewDocumentFromReader(r io.Reader) (*Document, error) {
     root, e := html.Parse(r)
     if e != nil {
        return nil, e
     }
     return newDocument(root, nil), nil
  }

 

  

  4) 根据http的Response初始化,也比较常用

 func NewDocumentFromResponse(res *http.Response) (*Document, error) {
   if res == nil { //res为空,返回错误
      return nil, errors.New("Response is nil")
   }
   defer res.Body.Close()  //读取错误或者返回结果后关闭
   if res.Request == nil { //如果res中Request为空,返回
      return nil, errors.New("Response.Request is nil")
   }

   // Parse the HTML into nodes
   root, e := html.Parse(res.Body)   //将html结果解析并返回一个根节点rootNode
   if e != nil {
      return nil, e
   }

   // Create and fill the document
   return newDocument(root, res.Request.URL), nil
}

 

  5) 复制一个文档对象

func CloneDocument(doc *Document) *Document {
   return newDocument(cloneNode(doc.rootNode), doc.Url)
}

 

 

2.2.Selection   Selection匹配一些条件后的节点集合(Nodes)

  type Selection struct {
     Nodes    []*html.Node
     document *Document
     prevSel  *Selection
  }

 

2.3 Selection类型提供的方法,这些方法是页面解析最重要,最核心的方法

1)类似函数的位置操作

 

   -  Eq(index int) *Selection     //根据索引获取某个节点集

  -  First() *Selection          //获取第一个子节点集

  -  Last() *Selection         //获取最后一个子节点集

  -  Next() *Selection         //获取下一个兄弟节点集

  -  NextAll() *Selection      //获取后面所有兄弟节点集

  -  Prev() *Selection         //前一个兄弟节点集

  - Get(index int) *html.Node  //根据索引获取一个节点

  - Index() int                //返回选择对象中第一个元素的位置 

  - Slice(start, end int) *Selection  //根据起始位置获取子节点集

 

 

2)扩大 Selection 集合(增加选择的节点)

    -  Add(selector string) *Selection //将匹配到的节点添加当前节点集合中

    -   AndSelf() *Selection    //将堆栈上的前一组元素添加到当前的

     -    Union() *Selection    //which is an alias for AddSelection()

 

3)过滤方法,减少节点集合

   -  End() *Selection

    - Filter…()     //过滤

    - Has…()
    - Intersection()   //which is an alias of FilterSelection()
     - Not…()

 

4)循环遍历选择的节点

         -  Each(f func(int, *Selection)) *Selection //遍历

        - EachWithBreak(f func(int, *Selection) bool) *Selection  //可中断遍历

       - Map(f func(int, *Selection) string) (result []string)  //返回字符串数组

 

 5)修改文档

      - After…()            //在匹配元素之后追加元素
      - Append…()         //将选择器指定的元素添加到匹配元素集合的每个元素的末尾
     - Before…()          //在匹配元素之前追加元素
    - Clone()             //创建匹配节点的副本
    - Empty()            //清空子节点
    - Prepend…()
    - Remove…()
    - ReplaceWith…()
    - Unwrap()
    - Wrap…()
    - WrapAll…()
    - WrapInner…()

 

  6)检测或获取节点属性值

      - Attr(), RemoveAttr(), SetAttr()  //获取,移除,设置属性的值
     - AddClass(), HasClass(), RemoveClass(), ToggleClass() 
     - Html()  //获取该节点的html
     - Length() //返回该Selection的元素个数
     - Size(), which is an alias for Length()
     - Text()  //获取该节点的文本值

 

7)查询或显示一个节点的身份

     - Contains() //包含
      - Is…()

 

8)在文档树之间来回跳转(常用的查找节点方法)

      - Children…()
      - Contents()
      - Find…()
      - Next…()
      - Parent[s]…()
      - Prev…()
      - Siblings…()

 

三、例子

func main() {
   doc, err := goquery.NewDocument(url)
   if err!=nil{
      log4go.Error(err)
   }else{

      doc.Find(selector string).Each(func(i int,s *goquery.Selection) { //获取节点集合并遍历
         text:=s.Find(selector string).Text() //获取匹配节点的文本值
         fmt.Println(text)
    })

   }
}









参考文章:http://blog.studygolang.com/tag/goquery/

 

【Go语言爬虫系列02】HTML解析与Goquery技术详解 本文是Go爬虫系列的第二篇,深入讲解如何使用Goquery库解析HTML文档,掌握CSS选择器语法精准定位元素,系统介绍DOM遍历、元素选择、属性获取等核心技术,通过实例讲解如何提取结构化数据,为构建高效爬虫打下坚实基础。 阅读详情

相关推荐

go语言解析网页利器goquery使用教程(爬虫必备)

某些时候需要爬取网页中指定信息时,通常需要一些框架解析网页行成dom模型, 然后来操作节点来获取相应的信息。在java中很显然就是Jsoup,而在Golang里, 应该就是这个goquery了吧。 goquery github地址 https://github.com/PuerkitoBio/goquery 安装 由于它依赖 Go语言的 net/html 包以及css选择库 cascadia,...

Asche的博客 4134

Golang(8)-goquery库的使用

文章目录一、goquery库的安装二、goquery的使用三、爬取优快云首页文章3.1、需求分析3.2、分析当前页面的html文档四、爬虫完整程序 goquery是golang的一个爬虫常用第三方库,它主要的作用是处理html文档,将其我们需要的内容进行筛选处理。goquery是golang领域的jquery,它的使用和jquery的选择器有十分相似,如果你学过jquery,那么将十分容易...

BoringError的博客 3727

go语言 grequests+goquery 简单爬虫,使用多协程并发爬取

/*下载工具*/ package main import ( "fmt" //go语言版本的jquery "github.com/PuerkitoBio/goquery" "os" "sync" "strings" //go语言版本的request "github.com/levigross/grequests" "time" "strconv" ) var wg sync

davidsu33的专栏 4646

如何使用goquery进行HTML解析以及它的源码分析和实现原理

goquery是一款基于Go语言的HTML解析库,它使用了类似于jQuery的语法,使得在Go语言中进行HTML解析变得更加方便。使用goquery,开发者可以在HTML文档中轻松地查询、遍历和操作文档中的各种元素和属性。在HTML文档中查找、筛选和遍历元素获取元素的属性、文本内容、HTML内容等信息对元素进行添加、修改、删除等操作在HTML文档中执行CSS选择器操作支持链式调用,可以方便地进行多个操作组合。

qq_38334677的博客 2159

Go语言爬虫:goquery 的详细使用

goquery 是 Go 语言中处理 HTML 的瑞士军刀,它将 jQuery 的语法和便利性带到了 Go 的世界里。

数据知道的博客 3955

掌握Golang网络爬虫库:构建高效数据采集工具

在数字信息迅速增长的今天,网络爬虫作为一种自动化获取网络信息的程序变得尤为重要。Go语言,作为一种高效、简洁的编程语言,凭借其出色的并发处理能力和强大的标准库支持,已经成为开发网络爬虫的热门选择。Colly是一个专为Go语言设计的高效网络爬虫框架,以其轻量级、模块化设计和强大的选择器系统而闻名。它支持异步的爬取操作,并且集成了请求、调度器、中间件和数据存储等组件。Colly的插件系统允许用户扩展功能,例如用于遵循链接、处理数据或管理请求队列。其基本组件包括:Collector。

weixin_42627459的博客 2476

go 语言爬虫库goquery介绍

爬虫,又称网页抓取、网络蜘蛛或网络爬虫,是一种自动浏览互联网并从网站上获取信息的程序或脚本。本文介绍goquery框架,并用之实现一个爬取自己主页,为自己添加流量的小爬虫。

个人博客,记录了本人学习的各种有趣的技术。 4558

Keil v5.11给STM32烧录程序记录

1)安装KeilMDK511 2)安装ST Link下载器驱动 3)打开Keil v5,加载工程文件 4)load pack(Keil.STM32F1xx_DFP.1.1.0和Keil.STM32F0xx_DFP.1.2.0) 5)编译程序- 0 Error(s), 0 Warning(s). 6)烧录程序 ...

守望的距离 6283

Golang学习日志 ━━ goQuery 的使用

简介 goquery为Go语言带来了类似于jQuery的语法和一组特性。它基于Go的net/html包和CSS Selector库cascadia。由于net/html解析器返回节点,而不是功能齐全的DOM树,因此jQuery的有状态操作函数(如height(),css(),detach())已经停止。 此外,因为net/html解析器需要UTF-8编码,所以goquery也是如此:调用者有责任确保源文档提供UTF-8编码的HTML。 安装 go get github.com/PuerkitoBio/goq

暂时先用这个名字 3124

计量经济学——事件研究法/事件分析法

计量经济学——事件研究法/事件分析法

weixin_46189461的博客 6754

SIwave仿真手册——电源完整性仿真之PDN阻抗的提取(四)

(想不到我这个弱鸡的博主有一天也有被催更的时候,看到后台被催的消息,我慌了,赶紧写一篇把。) 文章目录3.1 PDN阻抗的提取3.1.1手动完成PDN阻抗的提取1、创建pin group2、创建端口3、数据文件的清理和检查(参考1.3.4&1.3.5)4、添加电容模型(参考2.2.1)(==这一步很重要==)5、开始仿真6、查看仿真结果3.1.2利用向导工具完成PDN阻抗的提取1、点击图标![在这里插入图片描述](https://img-blog.csdnimg.cn/36d974339ea5449

luohuo9844的博客 1万+

golang解析网页的第三方包——goquery(爬虫必备) 标签: goquerygo页面解析爬虫

golang解析网页的第三方包——goquery(爬虫必备)标签: goquerygo页面解析爬虫goquery是一个使用go语言写成的HTML解析库,可以让你像jQuery那样的方式来操作DOM文档,使用起来非常的简便。 一、官网下载地址   https://github.com/PuerkitoBio/goquery二、goquery提供的主要结构体和方法 2.1. Document    代...

u010412301的博客 2319

Altium Designer应用技巧1: 功能模块的复用方法

Altium Designer应用技巧1: 功能模块的复用方法      我们在使用Altium Designer进行电路图设计时,常会遇到功能模块的复用问题,例如我们经常需要将12V以DC-DC的方式转换成5V,这在很多线路板上都会应用到。现在我们普通的做法是,每个板子都重新绘制一遍,像这样DC-DC的电路,很浪费时间。那么如何采用提高工作效率呢?我们可以采取Altium Desi

snmplink的博客 1万+

网络爬虫——GO

这里写目录标题go-colly网络爬虫框架goquery HTML解析goquery主要的结构怎么使用goquery常用选择器 go-colly网络爬虫框架 go-colly是用Go实现的网络爬虫框架。go-colly快速优雅,在单核上每秒可以发起1K以上请求;以回调函数的形式提供了一组接口,可以实现任意类型的爬虫。 Colly 特性: 清晰的API 快速(单个内核上的请求数大于1k) 管理每个域的请求延迟和最大并发数 自动cookie 和会话处理 同步/异步/并行抓取 高速缓存 自动处理非Unicode

weixin_52001449的博客 7030

【HAL库】STM32CubeMX开发----STM32F407----ETH+LAN8720A+LWIP----ping通

本次实验以芯片为MCU,使用25MHz外部时钟源。以太网PHY层芯片为LAN8720A,由MCU引脚PA8提供时钟。

MQ0522的博客 4846

【数据集3】高分辨率统计降尺度日值数据集NEX-GDDP的介绍与下载方法

对NEX-GDDP数据集进行介绍和下载说明

WW、forever的博客 2397

使用goquery和chromedp写爬虫

在本文中,我们将探索如何利用两个强大的Go语言包——goquery和chromedp——来爬取网页文章。goquery是一个轻量级且易于使用的库,它提供了基本的HTTP请求功能,允许我们直接向目标URL发起请求并获取页面内容。相比之下,chromedp则提供了更为高级的功能,它能够模拟一个完整的Chrome浏览器实例,支持后台运行,并能够执行复杂的用户交互操作,如鼠标点击和页面滚动。通过结合使用这两个包,我们不仅能够高效地获取网页数据,还能够模拟用户行为,深入挖掘那些仅通过静态请求无法触及的网页内容。

m0_70208894的博客 2823

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

GoLang—爬虫—数据清洗(goquery)

当

Xy-Huang的博客 2383

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Go 爬虫三种框架的基本使用介绍

Colly 是一个简单而又强大的 Go 爬虫框架,其使用起来非常方便。在 Colly 中,我们可以通过注册回调函数来处理页面中的数据,同时还可以使用 CSS 选择器进行页面元素的定位。Colly 还支持异步请求、代理、Cookie 管理等功能,是一个非常实用的爬虫框架。我们已经成功地使用Go语言的http包和goquery包创建了一个简单的网页爬虫。我们首先使用http包发起了GET请求,接下来使用ioutil包读取响应体的内容,并使用goquery包解析了HTML代码。

m0_64288219的博客 4894

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Go语言实战爬虫项目

ceshi

3393

go爬虫--使用goquery包和正则以及gojquery的总结使用

这是第一版 将爬取来的数据存到本地 没有过滤筛选数据 其中用到了正则和goquery两种方法 package main import ( "fmt" "io" "log" "net/http" "os" "strconv" "strings" // "github.com/antchfx/htmlquery" // xpath方法 没有练习 "github...

enjoy_sun_moon的博客 1482

goquery 查找html标签,Go语言爬虫框架之Colly和Goquery

写在前面Go语言爬虫框架之Colly和GoqueryPython框架框架比较有BeautifulSoup或Scrapy,基于Go的爬虫框架是比较强健的,尤其Colly和Goquery是比较强大的工具,其灵活性和 表达性都比较优秀。网络爬虫网络爬虫是什么?从本质上讲,网络爬虫的工作原理通过检查web页面的HTML内容和执行某种类型的行动基于内容。通常,抓取暴露的链接,爬虫按照队列的去爬取。我们也可以...

weixin_36448083的博客 1120

goquery爬虫Boss直聘信息

title: goquery爬虫Boss直聘信息 tags: go,goquery author: Clown95 背景 Hello小伙伴们,在之前的文章中,我们对go的爬虫库goquery进行了简单的介绍,今天我们就来进行一个爬虫BOSS直聘Golang招聘信息的实战项目。 需求 在写代码之前,我们先了解下我们需要爬取什么内容。 招聘要求我们鼠标悬停在列表上,会出现一个悬浮窗里面有职位描...

Clown95 3118

使用goquery实现对网页信息的爬取

概述 本文参考 飞雪无痕 的 《golang goquery selector(选择器) 示例大全》 飞雪无情的博客

qq_42215697的博客 1415
上一篇: linux系统下mongodb添加账号密码
下一篇: Bootstrap Table学习
思维的深度
博客等级 码龄11年 2万+粉丝 391原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值