在获取某个网页的body时候中文乱码
乱码数据:
a <div class="title"><a href="/dayProxy/ip/4234.html">2017��9��7�� ���չ�������HTTP����IP</a></div>
a <div class="title"><a href="/dayProxy/ip/4233.html">2017��9��6�� ���չ�������HTTP����IP</a></div>
处理办法
查看网页页面信息文字编码为gbk,而golang使用的utf8。
加入下边代码将字符串编码有GBK转换为utf8
utf8 := mahonia.NewDecoder("gbk").ConvertString(string(bodyByte))
处理后的数据:
a <div class="title"><a href="/dayProxy/ip/4234.html">2017年9月7日 今日天气</a></div>
a <div class="title"><a href="/dayProxy/ip/4233.html">2017年9月6日 今日天气</a></div>