號先生的博客

爬虫的运行原理你自己如何获取网页上的数据？1、打开一个网页2、复制 标题 新闻内容 下载图片爬虫爬取一个页面的流程3、指定一个URL4、发起一个网络请求 HTTP5、得到一个HTML文档6、解析HTML文档爬虫爬取多个页面1、指定很多个URL数据结构 list2、从list中依次拿取url发起一个网络请求 HTTP得到一个HTML文档解析HTML文档顺便解析出其他URL将解析的URL存放到等待爬取的URL中爬虫的原理图步骤说明：1、将一个种子URL存放到队里中2、.

爬虫解决了什么问题？爬虫解决获取数据的问题。互联网上有哪些数据值得爬取？公司内部数据业务数据，公司使用BI（Business Intelligence）、CRM系统、ERP系统、邮件系统等产生的数据；财务数据，其中包括公司的支出、采购、收入等多项与公司日常运作有关的数据；用户数据，无论是网站、APP还是游戏，用户注册都会填写邮箱、电话、身份证号码等数据，这些数据其实非常有价值，此外还要加上用户使用公司产品留下的行为数据。历史数据，公司沉淀下来的其他各种数据。外部数据社交网站数据，包括微信.

day01 课堂笔记爬虫是什么爬虫的商业价值（爬虫对那些数据感兴趣）爬取的简单分类爬取的运行原理（*）模拟浏览器发送HTTP请求 http协议（Header，相应状态码）JDK原生的API进行网络请求（get和post） package cn.itcast.reptile;import java.io.BufferedReader; import java.io.InputStr