golang爬虫 高并发抓取阳光高考招生简章

最新推荐文章于 2024-10-19 11:48:55 发布
原创 最新推荐文章于 2024-10-19 11:48:55 发布 · 1.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#golang #爬虫 #gathertool

本文介绍了使用Golang和gathertool框架实现的高并发爬虫，从一级页面抓取学校列表，进一步抓取招生简章和详细内容，实现了全量数据的抓取和存储。

golang爬虫高并发抓取阳光高考招生简章

链接地址

一级页面 学校列表
https://gaokao.chsi.com.cn/zsgs/zhangcheng/listVerifedZszc–method-index,lb-1,start-0.dhtml

二级页 招生简章列表
https://gaokao.chsi.com.cn/zsgs/zhangcheng/listZszc–schId-5.dhtml

三级页 招生章程内容
https://gaokao.chsi.com.cn/zsgs/zhangcheng/listVerifedZszc–infoId-2708104715,method-view,schId-5.dhtml

抓取流程

在这里插入图片描述

抓取框架 gathertool

框架地址： https://github.com/mangenotwork/gathertool
框架下载: go get github.com/mangenotwork/gathertool
介绍: 轻量级爬虫，接口测试，压力测试框架, 提高开发对应场景的golang程序。
框架文档: https://380949.baklib-free.com/

实现


                

                
                
        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
【Golang】Go语言中如何通过Goroutine快速实现高并发

				
			

			

				

					景天科技苑
				

				

					10-10
					
					5万+
					
				

			

		

		

			
				
并发编程是指在一个程序中同时运行多个任务，这些任务可以独立地执行，也可以相互协作。并发编程可以提高程序的执行效率，特别是在处理大量I/O操作或计算密集型任务时。

在Go语言中，并发编程主要通过goroutine和channel来实现。
Goroutine是Go语言独有的并发执行单元，它允许函数或方法并发执行，而无需手动管理线程。
Channel是Go语言中进行goroutine间通信和同步的主要机制。

			
		

	



                

            
              



	

		

			

				
					
golang 并发( 配合爬虫写的 并发小框架)

				
			

			

				

					golangnumber1的博客
				

				

					08-21
					
					401
					
				

			

		

		

			
				
之前前面提到 爬虫 ，只是单纯的单条执行，既然用go来写爬虫，那么必须要用到 并发来做这件事情
废话不多说，先上 设计图








			
		

	



              


  
              

                


	

		

			

				
					
阳光高考网学校信息爬虫

				
			

			

				

					12-03
				

			

		

		

			
				
python爬虫  获取阳光高考网学校信息与对应专业。这是其源码和数据库文件。以供大家学习参考，如有不足请大家指出更改。

			
		

	





	

		

			

				
					
Go-Pholcus幽灵蛛是一款纯Go语言编写的高并发分布式重量级爬虫软件

				
			

			

				

					08-14
				

			

		

		

			
				
纯Go语言编写的高并发、分布式、重量级爬虫软件，支持单机、服务端、客户端三种运行模式，拥有Web、GUI、命令行三种操作界面；规则简单灵活、批量任务并发、输出方式丰富（mysql/mongodb/csv/excel等）、有大量Demo共享；

			
		

	



		

			
		



	

		

			

				
					
pholcus：Pholcus是用纯golang编写的分布式高并发爬虫软件

				
			

			

				

					02-20
				

			

		

		

			
				
菲尔库斯
 Pholcus（幽灵蛛）是一种纯Go语言编写的支持分布式的高并发爬虫软件，仅用于编程学习与研究。
它支持单机，服务端，客户端三种运行模式，拥有Web，GUI，命令行界面操作界面；规则简单灵活，批量任务并发，输出方式丰富（mysql / mongodb / kafka / csv / excel等）；另外它还支持横向初步两种抓取模式，支持模拟登录和任务暂停，取消等连续高级功能。
免责声明
如在中国大陆频频爆出爬虫开发者涉诉与违规的。郑重声明：因违法违规使用造成的一切后果，使用者自行承担！！
爬虫原理
框架特点
为拥有一定Go或JS编程基础的用户提供轻松关注的规则定制，功能完备的重量级爬虫工具；
支持单机，服务端，客户端三种运行模式；
 GUI（Windows），Web，Cmd多个操作界面，可通过参数控制打开方式；
支持状态控制，如暂停，恢复，停止等；
可控制采集量；
可控制并发协

			
		

	





	

		

			

				
					
Python爬虫——爬取阳光高考专业数据并对所有专业进行数据分析

				
			

			

				

					郎逸的博客
				

				

					06-08
					
					5148
					
				

			

		

		

			
				
阳光高考是中国高考信息网，覆盖了中国所有院校以及所有专业信息。本文目的是爬取阳光高考的专业信息，包括专业名称，专业代码，专业简介，男女比例，在校生规模，就业方向，平均薪资等。并将结果输出为CSV文件。并对所有专业进行数据分析，分析专业毕业生薪资水平、学生规模、女生占比等。

			
		

	





	

		

			

				
					
巧妙利用channel进行golang并发式爬虫

				
			

			

				

					weixin_48445640的博客
				

				

					05-02
					
					383
					
				

			

		

		

			
				
上面一篇博客的代码是串行化，没有最大利用go语言的天生协程特性，如下代码使用channel管道加上goroutine实现高并发编程:
package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"strconv"
)

// 爬取单个页面的函数
func SpiderPage(i int, page chan int) {
	url := "https://tieba.baidu.com/f?kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7

			
		

	





	

		

			

				
					
golang爬虫框架，golang高并发实战

				
			

			

				

					12-13
				

			

		

		

			
				
golang爬虫框架，适用于刚学习golang语言，想要学习golang开发高并发程序、网络爬虫相关知识。该爬虫框架有三个处理模块：下载器、分析器和条目处理器，再加上调度和协调这些处理模块运行的控制模块，我们可以明晰该...

			
		

	





	

		

			

				
					
golang语言爬虫 并发版爬虫源码

				
			

			

				

					12-25
				

			

		

		

			
				
这种并发模型使得我们可以轻松地启动大量并发任务，如并发抓取网页，极大地提高了爬虫的效率。例如：  ```go func fetch(url string) {  // 爬取网页的逻辑 }  func main() {  urls := []string{...

			
		

	





	

		

			

				
					
golang图片爬虫源码

				
			

			

				

					11-23
				

			

		

		

			
				
golang爬虫源码，支持图片列表以及单页面图片爬取，对于初学者有参考意义。该版本支持采集列表规则，页码{{n}}为变量 如：《https://www.58pic.com/collect/fav-{{n}}.html》 其中n为页码，起始页码一般默认为1 ####...

			
		

	





	

		

			

				
					
golang爬虫串行版本

				
			

			

				

					weixin_42067668的博客
				

				

					12-13
					
					202
					
				

			

		

		

			
				
package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"strconv"
)


func main() {
	//爬取一个网页并保存在文件中
	var start,end int
	fmt.Println("请输入要爬取的起始页(>=1)")
	fmt.Scan(&start)
	fmt.Println("请输入要爬取的起始页...

			
		

	





	

		

			

				
					
Golang实现简单爬虫框架（4）——队列实现并发任务调度

				
			

			

				

					weixin_34068198的博客
				

				

					05-27
					
					369
					
				

			

		

		

			
				
前言
在上一篇文章《Golang实现简单爬虫框架（3）——简单并发版》中我们实现了一个最简单并发爬虫，调度器为每一个Request创建一个goroutine，每个goroutine往Worker队列中分发任务，发完就结束。所有的Worker都在抢一个channel中的任务。但是这样做还是有些许不足之处，比如控制力弱：所有的Worker在抢同一个channel中的任务，我们没有办法控制给哪一个wor...

			
		

	





	

		

			

				
					
爬虫2021广东省普通专升本各院校专业招生计划汇总表

				
			

			

				

					qq_38693803的博客
				

				

					04-21
					
					724
					
				

			

		

		

			
				
爬虫:2021广东省普通专升本各院校专业招生计划汇总表

微信打赏

代码如下：
#!/usr/bin/env python
# coding: utf-8

import requests
import json
import pandas as pd


def Get_yxdm_yxmc_list():
    '''
        1.获取院校信息
        2.数据选择 例如:[｛'yxdm':'12345','yxmc':'华南师范大学'｝] 的字典列表yxdm_yxmc_list
  

			
		

	





	

		

			

				
					
go并发爬虫

				
			

			

				

					tianlongtc的博客
				

				

					04-29
					
					692
					
				

			

		

		

			
				
说明：最大20线程，搜索深度不大于3的网页，并打印出来。当搜索的不是网页的时候，存在bug，还在学习，希望有大佬告知怎么解决。
package main

import (
   "fmt"
   "log"
   "net/http"
   "golang.org/x/net/html"
)

type Link struct{
   link string
   dep int
}

func...

			
		

	





	

		

			

				
					
Go高并发爬虫网页并保存mongo数据库

				
			

			

				

					悟空大师的博客
				

				

					08-16
					
					955
					
				

			

		

		

			
				
思路：每生成一个url就用go func()去执行，然后通过goquery 处理请求返回的html页面，把想要的数据清洗出来，插入mongo数据库保存。


package main

import (
	"context"
	"fmt"
	"github.com/PuerkitoBio/goquery"
	"go.mongodb.org/mongo-driver/bson/primitive"
	"go.mongodb.org/mongo-driver/mongo"
	"go.mongodb.org/m.

			
		

	





	

		

			

				
					
【免费下载】 阳光高考网学校信息爬虫：高效获取教育数据的利器

					
最新发布

				
			

			

				

					gitblog_09716的博客
				

				

					10-19
					
					1696
					
				

			

		

		

			
				
阳光高考网学校信息爬虫：高效获取教育数据的利器

    
        
            【下载地址】阳光高考网学校信息爬虫
            本项目是一个Python爬虫，旨在从阳光高考网获取学校信息及其对应的专业数据。该项目提供了完整的源码和数据库文件，供大家学习和参考
            
                
                项目地址: h...

			
		

	





	

		

			

				
					
快高考了，有什么学校可以报？通过爬虫获取学校信息

				
			

			

				

					这是仙草哥哥的博客
				

				

					06-03
					
					1983
					
				

			

		

		

			
				
通过爬虫程序爬取大学学校，数据内容来源于阳光高考，感谢其提供信息

			
		

	





	

		

			

				
					
基于golang爬虫框架gathertool快速编写并发抓取国内ip信息

				
			

			

				

					Man_ge的博客
				

				

					04-26
					
					2107
					
				

			

		

		

			
				
基于golang爬虫框架gathertool快速编写并发抓取国内ip信息

gathertool


框架地址： https://github.com/mangenotwork/gathertool
框架下载:  go get github.com/mangenotwork/gathertool
介绍:  轻量级爬虫，接口测试，压力测试框架, 提高开发对应场景的golang程序。
框架文档:  https://github.com/mangenotwork/gathertool/blob/main/READ

			
		

	





	

		

			

				
					
Python爬虫实战之阳光高考专业库爬取

				
			

			

				

					INGg__的博客
				

				

					06-07
					
					2162
					
				

			

		

		

			
				
直接贴代码了，这不是库的教程，我直接贴代码了
吐槽一下，这网页的源码写的让我调的真难受
import requests
import re
import time


def get_html(url):
    headers = {
        'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值