php curl 作采集时的一些参数设置

最新推荐文章于 2025-09-23 19:16:07 发布

原创最新推荐文章于 2025-09-23 19:16:07 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

php 专栏收录该内容

36 篇文章

订阅专栏

本文介绍了一个PHP函数，用于发起带有伪造HTTP请求头的cURL请求，以绕过简单的防采集措施。通过随机生成IP地址，并将其设置为User-Agent和X-Forwarded-For字段，可以有效地隐藏实际请求来源。

    public function geturl($url){
        
        $ip = "{rand(1, 255)}.{rand(1, 255)}.{rand(1, 255)}.{rand(1, 255)}";
        
        // 初始化一个 cURL 对象
        $curl = curl_init();
        curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/$ip Safari/536.11");
        curl_setopt($curl, CURLOPT_HTTPHEADER, array("X-FORWARDED-FOR:$ip", 'CLIENT-IP:'.$ip.''));
        //curl_setopt($curl, CURLOPT_REFERER, "127.0.0.1");
        // 设置你需要抓取的URL
        curl_setopt($curl, CURLOPT_URL, $url);
        // 设置header
        curl_setopt($curl, CURLOPT_HEADER, 1);
        // 设置cURL 参数，要求结果保存到字符串中还是输出到屏幕上。
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
        // 运行cURL，请求网页
        $data = curl_exec($curl);
        // 关闭URL请求
        curl_close($curl);
        return $data;
    }

以上设置可以防止普通的防采集功能，效果挺明显的