- 博客(6)
- 收藏
- 关注
原创 Hadoop安装之前的预备知识
linux中英文的切换方式是使用键盘“shift”键来切换,也可以点击顶部菜单的输入法按钮进行切换。在Linux系统各个发行版中CentOS系统和Ubuntu系统在服务器和桌面端使用占比最高,网络上资料较为齐全,所以建议使用CentOS或Ubuntu。3、安装后Window和Ubuntu14.04都可以用,默认windows优先启动可以在电脑启动时,选择进入Ubuntu系统而不是Windows系统。3、如果选择的系统是64位Ubuntu系统,那么在安装虚拟机前,我们还要进行BIOS开启CPU的虚拟化。
2023-08-20 19:11:22
216
原创 大数据的应用
由全样而非抽样进而引申出来的,因为相较于之前的抽样分析我们为什么要追求它的精确性就是因为抽样出现的误差在全部的个体中会被放大所以必须讲究精确,而全样分析的误差范围是确定的,所以不需要,反之因为庞大的数据需要计算其效率为中心。1、存储设备性价比提升(容量在提升价格在下降)导致个人数据越来越多,同样相较于企业也允许了进行数据的大批量存储,存储的便捷性导致更大批量的数据增加保存(图1)因为具有足够的空间进行对文件信息的存储,所以相较于大数据之前的时代,只能对庞大的数据进行抽样调查,而非如今的对数据“全样分析”。
2023-07-31 21:34:04
222
1
原创 pyspider安装以及问题解决:
pyspider安装以及问题解决:利用Pythongd的基础网络包开发爬虫比较麻烦,市面上有很多API爬虫框架,大大简化了Python爬虫的开发这里主要介绍了PySpider的写法,因为它增加了WEB界面,写爬虫迅速,集成了phantomjs,可以用来抓取js渲染的页面。安装过程:安装pippip是python的包管理工具,类似RedHat里面的yumhttps://pypi.python.org/pypi/pip#downloads下载地址下载pip安装包解压pip-9.0.1.t
2021-11-30 12:49:33
1577
原创 会话技术
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、什么是会话技术?1.会话2.会话技术(这里有2种技术,这篇只介绍Cookie客户端技术,Session会在下一篇文章介绍)二、为什么会有会话技术HTTP协议规定:一次请求一次响应后断开连接,每一次请求都是一个崭新的请求.但是一次会话往往又需要跨越多个请求,如何保存在每次请求中产生的临时数据,是必须要解决的一个问题!!!三、实现一个会话技术(现在就让我们来应用一下这个小小的Cookie会话)总结前言#mermaid-sv
2021-04-15 19:26:56
424
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅