chagiko的博客

数据爬取-初步练习 第一滴血-爬取搜狗首页的页面数据 #!/user/bin/env python #-*-coding:utf-8-*- #需求：爬取搜狗首页的页面数据 import requests if __name__ == "__main__": #step 1：指定url url = 'https://www.sogou.com/' #step 2：发起请求 #get方法会返回一个响应对象 response = requests.get(url=url)

爬虫的合法性？ 在法律中是不被禁止的 但具有违法风险 善意爬虫、恶意爬虫 爬虫带来的风险： 爬虫干扰了被访问网站的正常运营 爬虫抓取了受到法律保护的特定类型的数据或信息 如何避免进局子？（重点！！） 时常优化自己的程序，避免干扰被访问网站的正常运行 在使用、传播爬取到的数据时，审查抓取的内容，如果发现了涉及到用户隐私、商业机密等敏感内容，应当及时停止爬取或传播 ...