Heartsuit的博客

设计人员分享了一个墨刀的原型图，但是给的是只读权限，无法下载其中的素材；开发时想下载里面的一张动图，通过浏览器的F12工具在页面结构找到了图片地址。但是浏览器直接访问后发现没权限： Nginx 的 403 页面。。然后就想用其他方式下载这个图片。记录了使用 NodeJS 的fetch方法爬取墨刀上的设计图片的过程。

综上，我们通过Python爬取上市公司利润表数据：数据抓取、数据入库与数据可视化一气呵成，体验了Python在爬虫和数据可视化方面具有简单易学、强大的库和框架支持、多线程和异步支持、数据处理能力强等优势。这次实践用到的 Python 库如下：requestsBeautifulSoup4jsonmatplotlibpandaspymysql

模拟登录机器学习、深度学习、人工智能大都离不开海量数据的支撑，网络爬虫便是数据的一种来源，而对于大部分站点，需要登录后才有权限进行相应的操作。这里简单谈谈自己在给朋友做一些自动化工具过程中关于模拟登录的体会（仅限于自己实际环境中遇到的站点）。公司并没有此类需求，自己也没专门学过爬虫，只是有时周末从网上看了几个例子，就直接在浏览器中抓取网络请求，分析请求、响应。也掉了不少坑，有的填上了，有的