file_get_content 和 curl 抓取数据问题

最新推荐文章于 2020-11-24 21:51:35 发布
最新推荐文章于 2020-11-24 21:51:35 发布
阅读量1.7k 收藏
点赞数 1
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bornjasoncen/article/details/52058066
本文探讨了在域名备案过程中遇到的问题：通过浏览器直接跳转到未通过备案的测试页面，但使用file_get_contents可以获取实际内容，而curl却无法抓取的情况。分析了可能的原因在于使用的协议不同。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


由于域名在备案中 通过浏览器访问域名直接跳转到域名备案未通过的testpage,  但是通过测试 发现file_get_content   能抓到真实数据，  而 curl抓不到 俗话说curl比

file_get_contents强大，其实并不一定 。可能走的协议不一样吧！

战斗生活
关注
php中file_get_content 和curl以及fopen 效率分析
12-18
curl多用于互联网网页之间的抓取，fopen多用于读取文件，而file_get_contents多用于获取静态页面的内容。 1. fopen /file_get_contents 每次请求都会重新做DNS查询，并不对DNS信息进行缓存。但是CURL会自动对DNS信息...
php中使用Curl、socket、file_get_contents三种方法POST提交数据
12-18
- 接口对接（API）和数据传输 - 模拟 Cookie - 下载文件的断点续传 使用 Curl 的基本步骤包括初始化一个 Curl 对象，设置选项，执行请求并关闭连接。例如： ```php $my_curl = curl_init(); // 初始化 curl...
使用file_get_content
小沐
03-25 2119
file_get_contents( path , include_path , context , start , max_length) 参数 描述 path 必需。规定要读取的文件。 include_path 可选。如果也想在 include_path 中搜寻文件的话，可以将该参数设为 “1”。 context 可选。规定文件句柄的环境。 con...
CG 的 file_get_content
小白渣的博客
11-26 502
首先看到题目，里面啥也没有 然后我们查看一下源码， 发现要 get一个file参数到file_get_contents()函数里，如果返回为指定字符串，就得到了flag 我们看到这个函数file_get_content就可以想到用php伪协议来绕过，我看了一下前面两位大佬写的绕过 第一种用url可以来绕过 第二种用bp抓包 记得要用post方法噢 ...
readfile().file().file_get_content()去别!
huanleyan的专栏
10-16 1888
<?php /* fread()函数 $path="in.txt"; $open=fopen($path,"r"); $size=filesize($path); echo fread($open,$size); fclose($open); ################################ 在通过file_get_contents(),readfile(),file()函数读取整
用curl 代替file_get_contents 解决获取网络资源的超时问题
yaoke-IT博客
03-19 2556
初学php的朋友们,很容易翻一个错误，在写采集程序或者调用api接口总会有线考虑到使用file_get_contents函数来或许内容,程序的访问量不大倒是没什么影响,但是访问量提升了那非常的悲剧了,你会发现服务器负载飙升,最后服务器宕机.初入公司便遇到这个问题,遂使用curl取代此命令,并且禁用远程file_get_contents,它支持很多协议：FTP, FTPS, HTTP, HTTP
python忽略模式处理乱码file_content = f.read().decode(‘utf-8‘,‘ignore‘)
viviliving的专栏
11-24 2980
# coding=utf-8 import codecs from dbsql import * import os, re, datetime def get_file_path(root_path,file_list,dir_list): #获取该目录下所有的文件名称和目录名称 dir_or_files = os.listdir(root_path) for dir_file in dir_or_files: #获取目录或者文件的路径 dir_f...
PHP中使用file_get_contents抓取网页中文乱码问题解决方法
12-18
解决这个问题的一种方法是使用 `cURL` 库代替 `file_get_contents`。`cURL` 提供了更丰富的配置选项，可以处理 GZIP 压缩。在 `cURL` 设置中，添加 `CURLOPT_ENCODING` 参数，并将其值设为 `"gzip"`，如下所示： ``...
php中file_get_contents与curl性能比较分析
12-19
在PHP中，`file_get_contents`和`curl`都是用于从远程服务器获取数据的函数，但它们在性能、特性和用途上存在显著差异。以下是对这两个函数的详细比较： 1. **DNS缓存**： - `file_get_contents` 和 `fopen` 每次...
深入file_get_contents函数抓取内容失败的原因分析
10-27
综上所述，当遇到 `file_get_contents` 抓取内容失败时，应首先检查 `allow_url_fopen` 配置，然后排查网络连接、权限、URL、服务器限制等问题。如果以上方法均无效，可以考虑使用 `cURL` 或其他HTTP客户端库作为...
PHP使用file_get_content设置头信息的方法
10-22
主要介绍了PHP使用file_get_content设置头信息的方法,结合实例形式对比分析了PHP使用fopen及file_get_contents设置及获取头信息的相关技巧,需要的朋友可以参考下
FileUpload.FileContent 属性(转)
xiuping05214的专栏
11-17 2113
"C#" %> "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> "server"> protected void UploadButton_Click(object sender, EventArgs e) {
关于在PHP5.6版本以上用get_file_content函数抓取远程内容的问题
程序之家的专栏
03-14 1488
最近，因为Web应用程序迁移到云服务器上，发生了一个致命问题。原有服务器的PHP环境为5.5，云服务的PHP环境为5.6。当时，抓取远程内容的函数用的是：get_file_content()，迁移之后，发现PDF文件打不开，经过调试，原来PHP5.5时，抓取URL远程内容时，不会自动gzip压缩内容，而PHP5.6时，抓取URL远程内容时，会自动gzip压缩，恰恰 get_file_content...
file_get_content函数用法正确，有时候为什么会报错
睡着的风
05-09 6334
最近在做一个微信公众号模板推送消息的功能，需要根据公众号的appid和appsecret获取access_token，然而，通过file_get_content去读取由appid和appsecret组成的链接地址，却访问不了，提示错误是无法读取数据流，找到php.ini配置文件里面找到 allow_url_fopen = on ,已经是开启状态，所以问题不是出在这，后来各种找解决办法，最后打开，p...
get_file_content 和curl的比较，谁更好？
Leon的博客
11-25 4565
最近在写公司的抓取百度快照的时候，用到了这两个函数 。一开始用的是网上搜的获取快照的代码，看了下思路就写了get_file_content。把逻辑写完，开始用php  artisan console  开始跑，跑到几十条数据，就开始停住，不过还好时不时的还会动一下，深感欣慰，虽然数据库里面几万条数据，算了下8个小时就能跑完了，就把命令放旁边跑了，继续干别的事情。结果跑到3820条时候，报了个错误。...
php中curl和file_get_content的区别
qq_26282869的博客
01-05 2226
主要区别： 学习才发现，curl支持很多协议，有FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE以及LDAP，也就是说，它能做到很多file_get_content做不到的事情。curl在php可以实现远程获取和采集内容；实现PHP网页版的FTP上传下载；实现模拟登陆；实现接口对接（API），数据传输；实现模拟Cookie；下载文件断点续传等等
PHP中curl、fsocket、file_get_content函数对比与应用场景
"这篇文章对比了PHP中的curl、fsocket和file_get_content三个函数在抓取远程内容时的使用情况，重点讲述了curl的功能优势和基本使用方法。" 在PHP开发中，有时我们需要从远程服务器获取数据，例如网页内容、API接口...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值