curl最全的方法

最新推荐文章于 2025-06-27 10:44:40 发布
最新推荐文章于 2025-06-27 10:44:40 发布
阅读量721 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： php
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/enjoy_sun_moon/article/details/86494626 
 *微信公众号抓取数据,PHP中进行post提交
 * curl 支持post
 * @param string $base_url 基础链接
 * @param array $query_data 需要请求的数据
 * @param string $method 方法 get/post
 * @param boolean $ssl 关闭ssl验证
 * @param integer $exe_timeout 执行超时时间
 * @param integer $conn_timeout 连接超时时间
 * @param integer $dns_timeout dns超时时间
 */
private function tx_curl($base_url, $query_data, $method = 'get', $ssl = true, $exe_timeout = 10, $conn_timeout = 10, $dns_timeout = 3600)
{
    $ch = curl_init();

    if ( $method == 'get' ) {
        //method get
        if ( ( !empty($query_data) )
            && ( is_array($query_data) )
        ){
            $connect_symbol = (strpos($base_url, '?')) ? '&' : '?';
            foreach($query_data as $key => $val) {
                if ( is_array($val) ) {
                    $val = serialize($val);
                }
                $base_url .= $connect_symbol . $key . '=' . rawurlencode($val);
                $connect_symbol = '&';
            }
        }
    } else {
        if ( ( !empty($query_data) )
            && ( is_array($query_data) )
        ){
            foreach($query_data as $key => $val) {
                if ( is_array($val) ) {
                    $query_data[$key] = serialize($val);
                }
            }
        }
        //method post
        curl_setopt($ch, CURLOPT_POST, 1);
        curl_setopt($ch, CURLOPT_POSTFIELDS, $query_data);
    }
    curl_setopt($ch, CURLOPT_URL, $base_url);
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $conn_timeout);
    curl_setopt($ch, CURLOPT_DNS_CACHE_TIMEOUT, $dns_timeout);
    curl_setopt($ch, CURLOPT_TIMEOUT, $exe_timeout);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_HEADER, 0);
    // 关闭ssl验证
    if($ssl){
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
    }

    $output = curl_exec($ch);

    if ( $output === FALSE )
        $output = '';

    curl_close($ch);
    return $output;
}

微信公众号 文章爬虫类

<?php
/**
* 微信公众号文章爬取类
* 使用方法：
* $crawler = new WxCrawler();
* $content = $crawler->crawByUrl($url);
*/
class WxCrawler
{
  /** @var 代理  */
  protected $agent = [
      "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
      "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
      "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
      "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
      "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
      "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
      "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
      "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
      "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
      "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
      "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
      "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
      "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
      "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
      "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
      "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
  ];
  public $host = '';
  public $header = '';
  public $referer = '';
  public $antiLeech = '';
  public function __construct($host='', $referer='', $proxy=false)
  {
    /** @var 初始化curl信息  */
    $this->header  = $this->agent[rand(0,count($this->agent) - 1)];
    $this->referer = empty($referer)?'http://weixin.sogou.com/' : $referer;
    $this->host    = empty($host)?'weixin.sogou.com' : $host;
    /** @var 处理微信图片的防盗链 */
    $this->antiLeech = 'http://'.$_SERVER['SERVER_NAME'].'/admin.php/tool/wechat-img?url=';
  }
  /**
   * 爬取内容
   * @author bignerd
   * @since  2016-08-16T10:13:58+0800
   * @param  $url
   */
  public function _get($url)
  {
    // $ch=curl_init($url);
    // $options = [
    //   CURLOPT_USERAGENT => $this->agent,
    //   CURLOPT_REFERER => $this->referer,
    // ];
    // curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
    //     curl_setopt($ch,CURLOPT_BINARYTRANSFER,true);
    //     curl_setopt($ch,CURLOPT_TIMEOUT,60);
    //     $output=curl_exec($ch);
    //     return $output;
    $html = file_get_contents($url);
    return $html;
  }
  public function crawByUrl($url)
  {
    $content = $this->_get($url);
    var_dump($content);
    $basicInfo = $this->articleBasicInfo($content);
    list($content_html, $content_text) = $this->contentHandle($content);
    return array_merge($basicInfo,['content_html' => $content_html,'content_text' => $content_text]);
  }
  /**
   * 处理微信文章源码，提取文章主体，处理图片链接
   * @author bignerd
   * @since  2016-08-16T15:59:27+0800
   * @param  $content 抓取的微信文章源码
   * @return [带图html文本，无图html文本]
   */
  public function contentHandle($content)
  {
        $content_html_pattern = '/<div class="rich_media_content " id="js_content">(.*?)<\/div>/s';
        preg_match_all($content_html_pattern, $content, $html_matchs);
        
        $content_html = $html_matchs[0][0];
        /** @var  带图片html文本 */
        $content_html = preg_replace_callback('/data-src="(.*?)"/', function($matches){
          return 'src='.$this->antiLeech.urlencode($matches[1]);
        }, $content_html);
        /** @var  无图html文本 */
        $content_text = preg_replace('/<img.*?>/s','',$content_html);
        return [$content_html,$content_text];
  }
  /**
   * 获取文章的基本信息
   * @author bignerd
   * @since  2016-08-16T17:16:32+0800
   * @param  $content 文章详情源码
   * @return $basicInfo
   */
  public function articleBasicInfo($content)
  { 
    //待获取item                
    $item = [
          'ct' => 'date',//发布时间
          'msg_title' => 'title',//标题
          'msg_desc' => 'digest',//描述
          'msg_link' => 'content_url',//文章链接
          'msg_cdn_url' => 'cover',//封面图片链接
          'nickname' => 'wechatname',//公众号名称
        ];
    $basicInfo = [
      'author' => '',
      'copyright_stat' => '',
    ];
    foreach ($item as $k => $v) {
      $pattern = '/ var '.$k.' = "(.*?)";/s';
      preg_match_all($pattern,$content,$matches);
      if(array_key_exists(1, $matches) && !empty($matches[1][0])){
        $basicInfo[$v] = $this->htmlTransform($matches[1][0]);
      }else{
        $basicInfo[$v] = '';
      }
    }
    /** 获取作者 */
    preg_match('/<em class="rich_media_meta rich_media_meta_text">(.*?)<\/em>/s', $content, $matchAuthor);
    if(!empty($matchAuthor[1])) $basicInfo['author'] = $matchAuthor[1];
    /** 文章类型 */
    preg_match('/<span id="copyright_logo" class="rich_media_meta meta_original_tag">(.*?)<\/span>/s', $content, $matchType);
    if(!empty($matchType[1])) $basicInfo['copyright_stat'] = $matchType[1];
    return $basicInfo;
  }
  /**
   * 特殊字符转换
   * @author bignerd
   * @since  2016-08-16T17:30:52+0800
   * @param  $string
   * @return $string
   */
  public function htmlTransform($string)
  {
        $string = str_replace('&quot;','"',$string);
        $string = str_replace('&amp;','&',$string);
        $string = str_replace('amp;','',$string);
        $string = str_replace('&lt;','<',$string);
        $string = str_replace('&gt;','>',$string);
        $string = str_replace('&nbsp;',' ',$string);
        $string = str_replace("\\", '',$string);
        return $string;
  }
}
?>

 

php采集微信公众号文章
05-30
最近有个需求是要采集微信公众号文章，于是研究了下,基本的微信公众号php采集类及采集内容文件
微信公众号文章PHP采集程序
08-14
用于采集公众号文章内容、发表时间、公众号ID、头像、文章封面、文章标题、公众号名称、BizID、文章摘要等内容。本程序采用PHP编写，欢迎感兴趣的同仁一起交流学习。@author:312036773@qq.com
curl 的 HTTP 请求方式保姆级入门教程（从零开始学网络请求）
最新发布
吾为热爱计科，致力于知识分享的践行者，此博客是我在这条道路上留下的足迹。
06-27 648
curl方法描述GET获取资源POST提交数据（创建资源）PUT更新资源（完整替换）PATCH更新资源（部分更新）DELETE删除资源HEAD获取响应头信息OPTIONS获取服务器支持的请求方法接下来我们将通过curl演示这些常见请求方式的使用方法。curl是一个非常强大且实用的命令行工具，掌握其基本的 HTTP 请求方式对于开发、测试和运维人员来说至关重要。希望这篇保姆级入门博客能帮助你快速上手curl，轻松应对日常的接口调试与网络请求任务！我们下期再见！
微信公众号文章PHP采集程序(平民版)
06-21
微信公众号文章PHP采集程序(平民版)，同步了那个六分版的，只为满足广大同胞需求，降为1分
PHP爬取微信公众号文章（可做为扩展类直接使用）
q6627666的博客
04-10 3874
开门见山的说，我是在GitHub上拿的代码，但由与那个项目年代比较久远了，公众号的一些规则变了，不能用了，所以我就改了部分代码，达到直接用的地步。 功能：根据微信公众号链接，爬取文章的文字和图片（下载到本地），以html形式保存。 直接贴代码，就一个文件，可以直接用 <?php namespace WxCrawler; /** * 微信公众号文章爬取类 */ class Wx...
利用PHP技术采集微信文章内容
wanghui19880909的博客
11-23 1083
1.背景介绍PHP作为一种流行的服务器端脚本语言，其强大的数据采集能力备受开发者青睐。而微信作为最大的社交平台之一，其文章内容丰富多彩，吸引了无数用户。本文将介绍如何利用PHP技术采集微信文章内容，让你轻松获取所需信息。2.技术原理通过PHP编写网络爬虫程序，模拟用户请求微信公众号文章链接
在android中增加curl的解决方法
01-05
curl是一个著名的开源文件传输协议实现软件，其中包括了HTTP、HTTPS、FTP等多种常用不常用协议的实现。在curl最新版本的官方源代码中其实已经...创建方法在curl/Android.mk文件头部的注释里有说明。根据这个说明运行co
学习使用curl采集curl使用方法
12-19
**使用curl进行网页数据采集** `curl` 是一个强大的命令行工具，用于传输数据，它支持多种协议，包括HTTP、HTTPS、FTP等。...了解并熟练掌握`curl`的使用方法，能够帮助开发者更高效地获取和处理网络上的信息。
php生成curl命令行的方法
12-18
首先，让我们理解curl命令的基本结构。一个基本的curl命令通常包括以下几个部分： 1. `curl`: 这是命令行工具的名字。 2. URL: 要请求的服务器地址，例如`http://localhost/other/serverInfo.php?dd=ddd`。 3. `-H`...
windows 2008 R2 64位服务器中开启php curl扩展的方法
01-10
这几个文件在C:\WINDOWS\system32目录下也有，加载phpinfo时怎么就没有Curl项呢 重新注册在开始－运行－输入regsvr32 php_curl.dll提示不兼容，突然想到小编早上也在配置一个PHP时出现由于系统是32位64位引起的问题...
php抓取微信公众号文章 封面图,教你如何一键提取微信公众号文章的封面图
weixin_39904587的博客
03-25 834
有很多小伙伴问小编，看到一个别人发的公众号文章封面图特别好看，可是在文章里面却没有显示，这要怎么才能把这张图下载下来呢？今天就教你们，如何去抓取公众号文章封面图自己使用，详细步骤请看本文。第一步打开新媒体助手，在左侧找到“微信封面图提取”然后就可以提取封面图啦！第二步在微信文章地址处填写上要获取封面图的微信公众号文章链接地址，点击“提取”，就会出现封面图片地址。第三步最后一步，点击“复制”，自动为...
PHP写微信公众号文章页采集方法
10-18
给大家分析一下如何用PHP写出采集微信公众号文章的方法以及代码详细讲解，需要的朋友学习一下。
php 抓取微信文章,微信文章该如何抓取【原创】
weixin_39733943的博客
03-10 930
现如今,微信的应用无处不在，也时刻都在影响着人们的生活,特别是对于爱玩微信的朋友来说,微信聊天，微信红包, 微信公众号的文章阅读,都渐渐的成为广大用户们饭后的娱乐之一,这里也就不得不提一下，微信文章,现在的许多的项目里有许多各种各样的需求,刚好这次开发遇到了一个关于抓取微信公众号文章的问题。上网百度也找到五花八门的源码， 后经过总结与代码的优化，实现了通过微信的文章来抓取微信文章的内容./*** ...
PHP微信公众号文章爬虫
weixin_42593599的博客
06-04 3236
整理了一下前段时间写的php微信公众号文章的爬虫，解决了微信的防=防盗链机制，这里对图片进行了统一管理。代码使用tp3框架写的，可以根据实情换成tp5或者laravel框架的代码。 爬虫的参数可自行修改，我这里是项目需要，传的验证参数 /** * 进入url手动采集文章逻辑 * */ public function manual($centent_...
php微信图文分析数据库,获取某微信公众号所有文章且进行分析
weixin_40005330的博客
03-11 772
微信公众平台上面的公众号很多，里面各种文章都有，很多很杂乱。不过在这些文章中，肯定是会存在自己所认为的精品的文章的。所以如果我自己能够编写出一个程序，用来获取自己喜欢的某个微信公众号上的文章，获取文章的浏览量和点赞量，然后加以简单的数据分析，那么最终得到的文章列表，肯定就会是比较好的文章了。这里需要注意的是，通过编写爬虫获取搜狗微信搜索中的微信文章，并不能得到浏览量和点赞量这两个关键性的数据(编程...
PHP+fiddler抓包采集微信文章阅读数点赞数
flysnownet的博客
10-29 7191
简介： 分析接口知道要获取文章阅读数和点赞数必须有key和uin这两个关键参数，不同公众号key不一样（据说有万能微信key，不懂怎么搞到），同一个公众号key大概半小时会过期 提交链接获取文章阅读量api 思路： 1.将客户端请求阅读量接口的请求拦截转发到自己服务器，这样就可以获取到key ，用__biz关联缓存半小时 2.提交文章链接进行查询时，服务器从文章链接里获取__biz，查询...
微信文章如何采集php,记录微信公众号历史文章采集(二、js代码完善和数据库建立)...
weixin_42346710的博客
03-10 353
参考自知乎专题微信公众号内容的批量采集与应用，作者：飯口組組長原作者(飯口組組長)有一句话：我的方法来源于许多同行的分享精神，所以我也会延续这个精神，将我的成果分享出来。这系列的文章也是为了延续这份分享精神！该系列文章是根据知乎专题的教程一步一步实现过程，以及实现过程中踩过的一些坑。关于原理介绍这里就不重复了，大家可以参考知乎专题。代码完善前准备原作者用的是php环境，这里有能力的可以尝试其他语言...
PHP大法好！教你如何用PHP轻松搞定微信公众号文章收集
Xgvafdj55的博客
04-01 559
身为热衷于技术研发领域的开发者，我对运用PHP工具进行微信公众号文章收集有着浓厚的兴趣和深入研究。以下，我将为大家详细解读有关PHP收集微信公众号文章的全套流程，包括基本概念解释、操作实践及事项提醒等块面，期望能为广大同好提供实质性帮助。1
php微信公众号采集器,WordPress微信公众号采集插件
weixin_42311530的博客
03-27 1194
插件介绍腾讯微信公众号文章采集器。根据微信链接，采集指定文章；根据公众号，采集全部发布的历史文章。采集后有两种形式进行展示，微信文章原形式和wordpress文章形式。只需微信号，支持批量自动采集，支持伪原创，支持图片本地化。插件功能文章采集：输入微信文章地址，自动抓取标题和内容，伪原创生成到自己的网站中。可生成两种格式，wordpress文章格式或者微信文章原版格式。公众号采集：输入微信公众号服...
curl 调用delete方法
04-30
我之前看过几个引用，特别是引用[1]和引用[3]，里面提到了PHP中使用CURL发送DELETE请求的方法，还有引用[2]里提到了Linux下curl命令的例子。虽然用户主要问的是curl命令，但可能需要同时覆盖命令行和PHP的实现。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值