数据抓取--学习笔记2

spider 抓取数据总结 2：
 6、POST 方式传参 Base64编码 的url分析
  有的网站的传参数使用post的方式进行传参，这样就导致构建URL较为复杂。
  甚至有些网站在传递URL的时候对参数进行了Base64编码
  这个时候可以借助 火狐的firebug功能，获得编码后的参数值，将该参数进行解码后可以知道其参数构建的特点。
  由此可以根据需要构建参数进行编码，然后进行请求。
  eg:
     

 

//encode
String sourcePara1 = "name=cxr1217&year=2010&email=cxr1217@163.com&other=来点中文";
String encodePara2 = URLEncoder.encode(sourcePara1,"gbk");
String base64EncodePara3 =new BASE64Encoder().encode(encodePara2.getBytes());
System.out.println(base64EncodePara3);

//decode
String base64DecodePara1 =new String( new BASE64Decoder().decodeBuffer(base64EncodePara3) );
String decodePara2 = URLDecoder.decode(base64DecodePara1,"GBK");
System.out.println(decodePara2);

 
  firebug-->控制台-->点开POST加号-->参数 获得。
 
 7、数据抓取对带宽影响较大，为了不影响正常的上网速度，也为了不给对方的服务器造成过重的负担，
   可尽量选择夜间进行抓取或访问量较低的其他时间段进行抓取。
  
 以上这些是在这次数据抓取中涉及到的问题和知识点，并不完整，欢迎补充，欢迎拍砖~