使用golang抓取京东全部商品分类信息

最新推荐文章于 2024-06-04 10:07:08 发布

原创

最新推荐文章于 2024-06-04 10:07:08 发布 · 1.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#golang #京东

该博客展示了一个使用Golang实现的程序，旨在抓取京东网站上的所有商品分类信息。通过正则表达式解析HTML内容，提取顶级、子级和详细分类的名称及链接，最终将数据结构化存储在自定义的Mall、Category、SubCategory和DetailCategory类型中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package main

import (
	//	"errors"
	"fmt"
	"io/ioutil"
	"net/http"
	"os"
	"regexp"
	"strings"
)

type Mall struct {
	name string
	cat  []*Catagory
}

type Catagory struct {
	id     int64
	name   string
	link   string
	subCat []*SubCatagory
}

type SubCatagory struct {
	id        int64
	name      string
	link      string
	detailCat []*DetailCatagory
}

type DetailCatagory struct {
	id    int64
	name  string
	link  string
	goods map[string]interface{}
}

var Jd = Mall{name: "Jd"}

var topCatagoryStart = regexp.MustCompile(`[[:space:]]*\<div[[:space:]]+class="category-item m"\>`)
var topCatagoryFetch = regexp.MustCompile(`[[:space:]]*.*\<span\>(?P<topC>.*)\</span\>`)
var topCatagoryEnd = regexp.MustCompile(`[[:space:]]*\</div\>`)
var subCatagoryFetch = regexp.MustCompile(``)

var detailCatagoryStart = regexp.MustCompile(`[[:space:]]*\<dt\>\<a[[:space:]]+href=\"//(?P<cat2link>.*)\"[[:space:]]+target="_blank"\&g