百度文库资源文件分析

百度文库分析第一节

 

1.         分析百度文库的javascript

var DOC_INFO={       //文件信息

         doc_id:"6b70ecc65fbfc77da269b19a"      //文件编号

         ,cid:"64"                                                   //分类编号

         ,price:"0"                                                  //价格

         ,value_average:"6"                                    //不清楚

         ,doc_size:"66.0KB"                                  //文件大小

         ,doc_name:"销售谈判培训"                    //文件名

         ,doc_type:"doc"                                        //文件类型

         ,url:http://wenku.baidu.com                      //站点名称

         ,wealth:parseInt("")                                  //不清楚

         ,level:parseInt("")                                     //不清楚

         ,isOrgDoc:"0"                                          //不清楚

};

 

B=DOC_INFO.doc_type;                                 //文件类型

 

var A=B=="txt"?"txtreader.swf":"reader.swf";  //通过文件类型确定阅读器

var I=B=="txt"?50:5;   //通过文件类型确定每次加载页数

//通过文件类型确定数据文件所在域名地址

var C=B=="txt"?"http://wenku.baidu.com/play":"http://ai.wenku.baidu.com/play";

 

通过上面的信息，基本可以把握文库的数据文件信息，那么我们怎么获取这段JSON呢

第一步：抓取页面源文件。

第二步：正则替换源文件，用分组一替换整个文件，下面是正则表达式

BAIDU_DOC_INFO = @"^[/s/S]*DOC_INFO=(/{.*?})[/s/S]*$";

 

2.         获取资源文件

要获取资源文件，就必须先找到资源文件链接地址，百度的资源文件链接地址格式是怎么样子的呢，请继续下看

 

域名地址 + / +文件编号 + ?pn=x&rn= + 每次加载页数

例如：

http://ai.wenku.baidu.com/play/6b70ecc65fbfc77da269b19a?pn=1&rn=5

 

链接地址格式的所有参数可以在上面的文件信息JSON获取到

 

其中Pn=x  表示加载的第几页   x从1开始，每次递增数为RN（每次加载页数）

 

现在知道文库资源文件的链接格式，可以下载所有的资源文件

 

 

3.         分析资源文件

下载下来的资源文件，是一个个SWF格式的数据文件，数据文件是有自己特定格式的。下面看数据文件格式

 

{"totalPage":"3","fromPage":"1","toPage":"3"}    CWS  xxxxx  CWS xxx   CWS xxx

 

从上面数据文件格式，我们可以发现规律 每个数据文件都是一个JSON开头 CWS表示swf文件的开始，下一个CWS表示上一个swf结束，下一个swf开始。每个数据文件有多少个CWS就表示有多少页

totalPage   总页数

fromPage   开始页数

toPage        本资源文件到达的页数

 

这三个参数有什么用呢，用处很大，在上面获取资源文件的时候是不知道总页数的，那么就定位不了pn的最大值，所以必须当PN=1(默认最小值)的时候得到最大值

这样通过总页数，和RN（每次加载页数）可以定位PN，接着循环下载数据

上面的方法可行，不过我不赞成用这种方法写，因为这个总要计算

我们可以用递归

定义一个方法

GetSWF(int fromPage){

         ……………………………….

         If(toPage< totalPage)

                   GetSWF(toPage+1)

}

 

这样下载数据更简洁

 

那么我们怎么获取资源文件里面的JSON呢

试用下面的正则，获取第一分组（开始的一对大括号），我不支持用字符串长度去截取，虽然可行，看网上别人介绍的是最小多长，最大多长，这样不够灵活

BAIDU_DATA_HEADER = @"^(/{[/s/S]+?/})([/s/S]+)$"

 

得到了资源JSON 那么再怎么分离SWF文件呢

BAIDU_DATA_SWF = @"(CWS|FWS)/t[/s/S]*?(?=(CWS|FWS)/t|$)"

用上面的正则 百度文库的FLASH文件有两种分隔 CWS 和FWS,切记不能只用这两种分隔符去切割文件，因为文件里面可能还会存在CWS这样子的字符串，网上最流行的易读，就是字符串切割，所以下载文件的时候会出现白页，就是切割错误页面用16进制查看资源文件每一个CWS活FWS后面会跟一个09，也就ASCII表对应的制表符，在正则里面用 /t  表示制表符，所以用正则表达式匹配更完善

         分离出每一个SWF 存储成 .swf临时文件

 

 

 

 

4.         Swf文件生成JPG文件

用SWFToImage 这个ACTIVE组件非常简单，具体操作自己查相关资料

还可以用FFMPEG.exe 文件截图，这个是很早以前做视频转换时候用到的

自己抉择

SWFToImage 需要自己注册DLL，有时候中文路径还注册不上，对一下电脑盲如果要试用你给的程序，简直就是。。。。

FFMPEG虽然不需要注册，但是比较大，一下子就拉大了你程序的体积

 

5.         JPG生成PDF

用iTextSharp，不过这个家伙也是个肥仔，有3M，我找了好久PDF文件格式，如果能自己拼字符串就好了，那样就可以控制自己程序在几百k大小了。如果有朋友知道介绍给看看