- 博客(8)
- 收藏
- 关注
RSS订阅原创 xpath爬取害虫
首先先进入网站http://www.gengzhongbang.com/haichongtupu/banchimuhaichong/URL就是网址，headers看图一headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.7 Safari/537.36'}# URL就是网址，headers看图一
2021-04-19 18:49:05
298
1
原创 爬虫：实现自动爬取百度图片
先以搜索词“资产债券表”为例：我们在百度图片中搜索“资产债券表”，向下滑动网页时，图片会不断加载，因此该网页是动态加载的网页，按F12，选择网络，在消息中选择过滤XHR消息。可以看出，该请求为GET请求，返回的是一个JSON文件，查看响应消息，里面的data蕴含着我们想要获取的每个图片的url。由此，我们可以利用requests模块的get方法模拟浏览器发送请求，获得其对应的JSON数据。可能使用到的头文件有：import reimport osimport requests使用re
2021-04-17 20:59:18
783
6
原创 安装pytorch总是出错怎么办？
安装pytorch一直出现Collecting package metadata (current_repodata.json): failed / Solving environment: failed这个问题，百度了一下找到了解决方法。这是我看的博客链接: https://blog.youkuaiyun.com/miracleoa/article/details/106039388.里面有很多解决方法，我用下面的方法装好的：根据博客https://blog.youkuaiyun.com/weixin_41622348/a
2021-01-17 15:59:36
1937
1
原创 数据可视化实战：做词云展示
数据可视化实战：做词云展示这个词云是大数据可视化的重要方式，就是把文本中的关键词进行展示，就是很高大上添加：insert into 表名
2021-01-07 23:45:34
135
原创 数据科学导论复习
数据科学导论复习一.大数据、云计算、物联网之间的关系：大数据继承自云计算；云计算为大数据提供了技术基础，大数据为云计算提供用武之地；云计算为物联网提供海量数据存储能力，物联网为云计算技术提供了广阔的应用空间；物联网是大数据的重要来源，大数据技术为物联网数据分析提供支持。二.人工智能与大数据的联系：人工智能需要数据来建立其智能，特别是机器学习；大数据技术为人工智能提供了强大的存储能力和计算能力。三.KNN算法的思想是：寻找与待分类的样本在特征空间中距离最近的K个已标记样本（即K个近邻），以这
2021-01-07 23:08:28
691
原创 期末复习Java
期末复习Java1.类Circle的包名为my.shape，源程序文件保存在d:\myjava\ch1\Circle.java，假设运行cmd命令后当前目录为：d:\users，而编译后的Circle.class需要放在d:\install\my\shape文件夹下。下则此时输入的编译命令为：javac -d d:\install d: \myjava\ch1\Circle.java-d:自动建包后面加编译后的class所放的位置，注意不能带包名，以及源程序文件所在位置。2.此时class
2020-12-24 15:46:53
278
原创 python
这里写目录标题一级目录二级目录三级目录一.程序设计基本方法1.Python语言的特点2.程序设计语言概述3.编译和解释4.Python最小程序5.Python开发环境配置安装6.Python解释器7.Python程序的编辑方式8.Python程序的运行方式9.IPO程序编写方法（1）输入数据（2）处理数据（3）输出数据一级目录二级目录三级目录一.程序设计基本方法1.Python语言的特点2.程序设计语言概述程序设计语言是计算机能够理解和识别用户操作 意图的一种交互体系，它按照特定规则组织计算
2020-11-01 17:37:09
851
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人