php采集书

最新推荐文章于 2024-10-07 21:11:33 发布

weixin_30698527

最新推荐文章于 2024-10-07 21:11:33 发布

阅读量34

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/xingyong/archive/2011/07/17/2108631.html

本文介绍了一个使用PHP编写的脚本，该脚本能够爬取指定网站上的书籍章节，并将其保存为本地TXT文件。此外，脚本还对获取的内容进行处理，提取章节标题与正文，最终整合成一本书。

编辑器加载中...

记得上次有过一个叫采集后的处理
这个就是它的升级版本
连采再处理，合成一本书txt的。

<?php
/**
* @name 采集书.php
* @date Sun Mar 01 22:48:02 CST 2009
* @copyright 马永占(MyZ)
* @author 马永占(MyZ)
* @link http://blog.youkuaiyun.com/mayongzhan/
*/

//header('Content-Type:text/html;charset=utf8');
header('Content-Type:text/html;charset=gb2312');
error_reporting(E_ALL);
date_default_timezone_set('Asia/Shanghai');
set_time_limit(0);

function writer($content,$url)
{
$fp = fopen($url, 'ab');
fwrite($fp, $content);
fclose($fp);
}

$folder = '2'; //文件夹

$book_base_url = 'xxxxxxxxxxxxxxxxxxxxx';

$book_url = 'yyyyyyyyyyyyy.html';

$main = file_get_contents($book_base_url.$book_url);

preg_match_all('/chapter_.*?/.html/', $main, $pages);

$pages = array_unique($pages[0]);

foreach ($pages as $value) {
writer(file_get_contents($book_base_url.$value), './'.$folder.'/'.$value.'.txt');

$str = file_get_contents('./'.$folder.'/'.$value.'.txt');

//print_r($str);
preg_match("/(<h1>)(.*?)(<//h1>)(.*?)(<div id=/"contTxt/" class=/"contTxt1/">)(.*?)(<//div>)/s",$str,$arr);
//print_r($arr);die();
$arr[6] = preg_replace("/(<span[^>]+>.*?<a[^>]+>)(.*?)(<//a><//span>)/s","$2",preg_replace("/<p>|<//p>/","/r/n",$arr[6]));
$result = "/r/n------------------------------------------------/r/n------------------------------------------------/r/n------------------------------------------------/r/n----------------".$arr[2]."/r/n------------------------------------------------/r/n------------------------------------------------/r/n------------------------------------------------/r/n".$arr[6];
writer($result, './'.$folder.'/new.txt');
}
?>

转载于:https://www.cnblogs.com/xingyong/archive/2011/07/17/2108631.html