go 爬虫避坑实战

header缺少cookie

类似51job爬不下来，爬取的时候会指向一个拖拽认证的页面

爬取的中文字符乱码了

func ConvertToString(src string, srcCode string, tagCode string) string {

	srcCoder := mahonia.NewDecoder(srcCode)

	srcResult := srcCoder.ConvertString(src)

	tagCoder := mahonia.NewDecoder(tagCode)

	_, cdata, _ := tagCoder.Translate([]byte(srcResult), true)

	result := string(cdata)

	return result

}

只需要调用下面的方法，就可以将gbk的乱码转成utf8了

result := ConvertToString(text, "gbk", "utf-8")
log.Println(result)