使用YQL解决让前端爬取网页并解析

最新推荐文章于 2019-06-07 12:52:05 发布

转载最新推荐文章于 2019-06-07 12:52:05 发布 · 208 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/baqiphp/p/6792464.html

本文介绍了一种使用前端技术进行网页爬取的方法。通过YQL将HTML内容解析为JSON格式，解决跨域问题，并展示了具体的代码实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天写代码的时候，为了节省后端性能，就想用前端浏览器去爬取一个网页并解析出其中的部分内容。

因为涉及到跨域，所以就需要使用到JSONP，但是JSONP需要返回JSON格式，而我们是需要爬取一个网页的内容，所以直接使用JSONP将会报错。所以我们需要使用YQL来帮我们将HTML内容解析成JSON格式。

 1 $.ajax({
 2    url: "http://query.yahooapis.com/v1/public/yql"
 3  , type:'jsonp'
 4  , data: {
 5    　　q: "select * from html where url=\"http://www.baidu.com/\"",
 6    　　format: "json"
 7    }
 8  , success:  (resp)=> {
 9    　　console.log(resp)
10    }
11 });