PHP采集的实现，直接写成个类

最新推荐文章于 2021-03-22 10:17:14 发布
最新推荐文章于 2021-03-22 10:17:14 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： PHP

   很多朋友都想自己的cms有采集的功能，这样省时省力，今天就分享一个朋友写的采集类，我也没怎么看过，大家可以自己研究一下，如果不会，可以加QQ2387813033，一起讨论学习，或者加群252799167

   

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
<?php
/**
coder:qiuyunbest@163.com
*/
class GetProduct{
  public $url;
                                                     
  function __construct($url=''){
                                                     
    $this->url = $url;
                                                     
  }
  function curl_file_get_contents(){
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $this->url);
    curl_setopt($ch, CURLOPT_TIMEOUT, 60);
    curl_setopt($ch, CURLOPT_USERAGENT, _USERAGENT_);
    curl_setopt($ch, CURLOPT_REFERER,_REFERER_);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    $r = curl_exec($ch);
    curl_close($ch);
    return $r;
                                                       
  }
                                                     
  function GetAll($preg,$a='',$html=''){
                                                     
    if(empty($html)){
                                                       
      $html = $this->curl_file_get_contents();
                                                       
    }
                                                     
    preg_match_all("^".$preg."^isU",$this->curl_file_get_contents(),$title);
                                                       
    if($a===0 || !empty($a)){
                                                       
      return $title[$a];
                                                       
    }else{
                                                       
      return $title;
                                                       
    }
                                                     
  }
                                                     
                                                     
  function GetOne($preg,$a='',$html=''){
                                                     
    if(empty($html)){
                                                       
      $html = $this->curl_file_get_contents();
                                                       
    }
                                                     
    preg_match("^".$preg."^isU",$html,$title);
                                                       
    if($a===0 || !empty($a)){
                                                       
      return $title[$a];
                                                       
    }else{
                                                       
      return $title;
                                                       
    }
                                                     
  }
                                                     
  function str_r($str){
                                                     
    $str = str_replace("$","",$str);
                                                       
    $str = str_replace("<br />","<br/>",$str);
                                                       
    $str = strip_tags($str,"<br/>");
                                                       
    $str = str_replace("\"","\\\"",$str);
                                                       
    $str = str_replace("&euro;","",$str);
                                                       
    $str = str_replace("amp;","",$str);
                                                       
    $str = str_replace("\r\n","",$str);
                                                       
    return $str;
                                                     
  }
                                                    
                                                     
                                                     
  function Load($id,$allnum){
                                                     
    $load=round($id/$allnum*100,2)."%";
                                                       
    $loading = "正在采集请稍后.......".$id."/".$allnum.".......<div style=\"width:600px;border:1px solid #ccc\"><div style=\"width:".$load.";text-align:center;height:14px;font-size:14px;background-color:#999\">".$load."</div></div>";
                                                       
    return $loading;
                                                     
  }
                                                     
  function getimg($purl,$filename){
                                                     
        if($purl=="")
        {
            return false;
        }
        $ext=strrchr($purl,".");
        if($ext!=".gif" & $ext!=".bmp" & $ext!=".jpg" & $ext!=".png" & $ext!=".GIF" & $ext!=".BMP" & $ext!=".JPG")
        {
            return false;
        }
        //$img=file_get_contents($purl) or die("í¼Æ¬′ò2»¿a");
                                                           
        if(file_exists($filename))
            return true;
        /*
        $ctx = stream_context_create(array(
                'http' => array(
                'timeout' => 160
                )
                )
            );        
        $img=file_get_contents($purl,0,$ctx);
        */
                                                           
        try{
        $ch = curl_init();
            $timeout = 11160;
            curl_setopt ($ch, CURLOPT_URL, $purl);
            curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
            curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
            $img = curl_exec($ch);
            curl_close($ch);
        }
        catch(Exception $e)
        {return false;}
                                                               
        if($img=="")
            return false;
                                                               
        $fp=@fopen($filename,"a");
        fwrite($fp,$img);
        fclose($fp);
        return true;
    }
                                                       
    function Jump($id,$num){
                                                       
    if($id<$num){
                                                       
      $id++;
                                                         
      $jump = "<script>location.href='?id=".$id."'</script>";
                                                         
      return $jump;
                                                       
    }else{
                                                       
      return "采集完成!";
                                                       
    }
    }
                                                     
}


数据库类：


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
class Mysql{
  private $host;
                                          
  private $user;
                                          
  private $pwd;
                                          
  function __construct($host,$user,$pwd,$db,$un="utf8"){
                                          
    $this->host = $host;
                                            
    $this->user = $user;
                                            
    $this->pwd = $pwd;
                                            
    $this->db = $db;
                                            
    $this->un = $un;
                                            
    $this->conn();
                                          
  }
                                          
  function conn(){
                                          
    $conn = mysql_connect($this->host,$this->user,$this->pwd) or die(("ᬽó꧰ü").mysql_error());
                                            
    mysql_select_db($this->db,$conn) or die("êy¾Y¿a2»′æÔú".mysql_error());
                                            
    mysql_query("set character set $this->un");
                                            
    mysql_query("set names $this->un");
                                          
  }
                                          
  function select($table,$where="",$num=false){
                                          
    $query = mysql_query("select * from `$table` $where");
                                            
    while($row = mysql_fetch_array($query)){
                                            
      $arr[] = $row;
                                            
    }
                                            
    if($num){
                                            
      return $arr[0];
                                            
    }else{
                                            
      return $arr;
                                            
    }
                                          
  }
                                          
  function num_rows($table,$where=""){
                                          
    $query = mysql_query("select * from `$table` $where");
                                            
    $num = mysql_num_rows($query);
                                            
    return $num;
                                          
  }
                                          
  function insert($table,$name="",$value){
                                          
    mysql_query("INSERT INTO `$table` ($name) VALUES ($value)");
                                          
  }
                                          
  function update($table,$fn,$where=""){
                                          
    mysql_query("UPDATE $table SET $fn $where");
                                          
  }
                                          
  function close(){
                                                
        return mysql_close();
                                            
    }
                                          
                                          
}
php 采集邮箱,采集邮箱的php代码(抓取网页中的邮箱地址)
weixin_32459553的博客
03-10 1607
采集邮箱的php代码(抓取网页中的邮箱地址)复制代码 代码如下:$url='http://www.jb51.net'; //这个网页里绝对含有邮件地址。$content=file_get_contents($url);//echo $content;function getEmail($str) {//$pattern = "/([a-z0-9]*[-_\.]?[a-z0-9]+)*@([a-z0...
PHP使用3种方法实现数据采集
热门推荐
倾城一笑stu
10-22 2万+
什么叫采集？ 就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。   PHP制作采集的技术： 从底层的socket到高层的文件操作函数，一共有3种方法可以实现采集。 1. 使用socket技术采集： socket采集是最底层的，它只是建立了一个长连接，然后我们要自己构造http协议字符串去发送请求。 例如要想获取这个页面的内容，http://tv.youku.c
php爬虫采集类-phpQuery：支持抓取网站,非常强大的php类库.zip
07-11
phpQuery支持抓取网站,进行爬虫,非常强大,是一个基于PHP的服务端开源项目，它可以让PHP开发人员轻松处理DOM文档内容，比如获取某新闻网站的头条信息。更有意思的是，它采用了jQuery的思想，你可以像使用jQuery一样处理页面内容，获取你想要的页面信息。
采集利器——snoopy应用（介绍篇）
Linvo's blog
02-15 804
Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单。下载地址：http://sourceforge.net/projects/snoopy/Snoopy的一些特点:1、抓取网页的内容 fetch2、抓取网页的文本内容 (去除HTML标签) fetchtext3、抓取网页的链接，表单 fetchlinks fetchform4、支持代理主机5、支
snoopy（强大的PHP采集类） 详细介绍
笔记
05-03 1314
snoopy（强大的PHP采集类） 详细介绍 lanfengye | 2012-08-02 | PHP | 阅读(792) 4 Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单，可以用来开发一些采集程序和小偷程序，本文章详细介绍snoopy的使用教程。 Snoopy的一些特点: 抓取网页的内容 fetch 抓取网页的文本内容
php采集数据代码,php 一个数据采集类实例代码
weixin_34481252的博客
03-10 380
数据采集，又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。数据采集技术广泛应用在各个领域。比如摄像头，麦克风，都是数据采集工具。被采集数据是已被转换为电讯号的各种物理量，如温度、水位、风速、压力等，可以是模拟量，也可以是数字量。采集一般是采样方式，即隔一定时间(称采样周期)对同一点数据重复采集。采集的数据大多是瞬时值，也可是某段时间内的一个特征值。准确的数据测量是数据采...
关于PHP 采集类
weixin_30345577的博客
04-28 94
伟大的筒子们，我们需要经常采集。 不知道大家每次采集的时候会不会烦躁，不用八爪鱼，不用PYTHON 是不是感到手无力，看到正则匹配每次匹配不对，一换采集内容就是头疼，重新拼写正则？ 不要说是高手 ，就是老手也会烦躁。 今天 就在这里我给大家分享一个传说中 你要你会能看懂CSS 就会采集的小插件（科技改版生活，懒人改变世界）。 那就是PHPQuery ；扯淡...
CURL写的一个类，可用于数据采集并实现编码转换～！
01-11
而这里的"一个CURL写的类"则是将CURL的功能封装成一个面向对象的PHP类，方便开发者进行数据采集和编码转换操作。下面我们将详细讨论这个类的可能实现和相关知识点。 首先，`Once`方法代表单个网站信息采集。在数据...
PHP 文章中的远程图片采集到本地的代码
10-29
根据提供的文件内容，我们可以了解到如何使用PHP来实现远程图片采集到...通过上述步骤，可以实现一个在PHP文章中自动采集远程图片并保存到本地服务器的脚本。这个功能对于提高网站访问速度和用户体验是有很大帮助的。
用php写一个采集抖音视频功能的代码
最新发布
09-07
5. 整合代码：将上述步骤封装成一个函数或者类，方便用户调用。用户可以在自己的PHP文件中引入这个功能代码，然后传入抖音分享链接，调用相应的函数即可完成采集功能。 需要注意的一点是，抖音平台可能会有反爬虫...
PHP采集类snoopy详细介绍(snoopy使用教程)
12-19
Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单，可以用来开发一些采集程序和小偷程序，本文章详细介绍snoopy的使用教程。 Snoopy的一些特点: 抓取网页的内容 fetch 抓取网页的文本内容 (去除HTML标签) fetchtext 抓取网页的链接，表单 fetchlinks fetchform 支持代理主机 支持基本的用户名/密码验证 支持设置 user_agent, referer(来路), cookies 和 header content(头文件) 支持浏览器重定向，并能控制重定向深度 能把网页中的链接扩展成高质量的url(默认) 提交数据并且获取返回
php采集类。含自动下载图片到本地
12-17
php采集类。含自动下载图片到本地。。相当完美，有实例。自动下载图片，自动替换图片地址
php采集类库 v1.0
05-14
php采集类库是一个基于PHP的服务端开源项目，它可以让PHP开发人员轻松处理DOM文档内容，比如获取某新闻网站的头条信息。更有意思的是，它采用了jQuery的思想，你可以像使用jQuery一样处理页面内容，获取你想要的页面信息。  
在线采集类开发源代码（PHP源代码）
07-22
教程名称：在线采集类开发源代码(PHP源代码)课程目录：【】PhpColor百度知道采集2.0【】vivi百度知道小偷 6.1【】天涯易读程序 2.31【】淘宝画报采集程序 2.3 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
可以让PHP编程事半功倍的类库
01-11 260
在用php开发网站的时候，使用面向对象的方法确实可以提高代码复用率，减少代码冗余。而对初学者更友好的是，PHP开发网站所需要的大部分类库，网上都有十分优秀的类库存在了。作为一个程序猿当然不能重复制造轮子，所以我把平时经常会使用到的类库整理下来，希望对学习PHP的站长朋友们有用。 一：采集类库，snoopy.class.php。 下载：（http://www.php100.com/htm
采集类 php,PHP采集类
weixin_39622419的博客
03-20 133
PHP代码 URL ); return $pageContent; } /** * 根据标记得到列表段 * @param $content 页面源数据 * @return String 列表段内容 */ function getContentPiece ( $conte...
php数据采集类,一个数据采集类
weixin_28221501的博客
03-22 142
//兼容php4php5//程序作者张建52linux.com(我爱Linux)//联系方法733905@qq.comQQ733905//简单调用方法/*include("ugs.php");//你可以下载本ugs.phps然后重命名为ugs.php$ugs=newugs();$url="http://domainname.com/path_to_yo...
php数据采集类,一个数据采集类_PHP教程
weixin_39606361的博客
03-22 118
复制代码 代码如下:// 兼容 php4 php5// 程序作者 张建 52linux.com(我爱Linux)// 联系方法 733905@qq.com QQ 733905// 简单调用方法/*include ("ugs.php"); // 你可以下载本ugs.phps 然后重命名为ugs.php$ugs = new ugs();$url = "http://domainname.com/...
PHP__采集类__Snoopy
weixin_34082789的博客
12-20 251
Snoopy 目录 了解Snoopy.1 功能：...1 下载Snoopy：...2 Snoopy常用功能...2 1获取指定url内容...2 2表单提交...2 3伪装...2 4伪造更多信息...3 经典博客...5 了解Snoopy ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值