自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

原创 Hadoop安装之前的预备知识

linux中英文的切换方式是使用键盘“shift”键来切换,也可以点击顶部菜单的输入法按钮进行切换。在Linux系统各个发行版中CentOS系统和Ubuntu系统在服务器和桌面端使用占比最高,网络上资料较为齐全,所以建议使用CentOS或Ubuntu。3、安装后Window和Ubuntu14.04都可以用,默认windows优先启动可以在电脑启动时,选择进入Ubuntu系统而不是Windows系统。3、如果选择的系统是64位Ubuntu系统,那么在安装虚拟机前,我们还要进行BIOS开启CPU的虚拟化。

2023-08-20 19:11:22 216

原创 Hadoop大数据工具介绍与环境配置

Hadoop简介。

2023-08-13 08:10:16 408

原创 大数据之数据采集

当你真心渴望追求某种事物的话,整个宇宙都会联合起来帮你完成。——牧羊少年奇幻之旅

2023-08-02 21:49:43 1070

原创 大数据的应用

由全样而非抽样进而引申出来的,因为相较于之前的抽样分析我们为什么要追求它的精确性就是因为抽样出现的误差在全部的个体中会被放大所以必须讲究精确,而全样分析的误差范围是确定的,所以不需要,反之因为庞大的数据需要计算其效率为中心。1、存储设备性价比提升(容量在提升价格在下降)导致个人数据越来越多,同样相较于企业也允许了进行数据的大批量存储,存储的便捷性导致更大批量的数据增加保存(图1)因为具有足够的空间进行对文件信息的存储,所以相较于大数据之前的时代,只能对庞大的数据进行抽样调查,而非如今的对数据“全样分析”。

2023-07-31 21:34:04 222 1

原创 pyspider安装以及问题解决:

pyspider安装以及问题解决:利用Pythongd的基础网络包开发爬虫比较麻烦,市面上有很多API爬虫框架,大大简化了Python爬虫的开发这里主要介绍了PySpider的写法,因为它增加了WEB界面,写爬虫迅速,集成了phantomjs,可以用来抓取js渲染的页面。安装过程:安装pippip是python的包管理工具,类似RedHat里面的yumhttps://pypi.python.org/pypi/pip#downloads下载地址下载pip安装包解压pip-9.0.1.t

2021-11-30 12:49:33 1577

原创 会话技术

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、什么是会话技术?1.会话2.会话技术(这里有2种技术,这篇只介绍Cookie客户端技术,Session会在下一篇文章介绍)二、为什么会有会话技术HTTP协议规定:一次请求一次响应后断开连接,每一次请求都是一个崭新的请求.但是一次会话往往又需要跨越多个请求,如何保存在每次请求中产生的临时数据,是必须要解决的一个问题!!!三、实现一个会话技术(现在就让我们来应用一下这个小小的Cookie会话)总结前言#mermaid-sv

2021-04-15 19:26:56 424

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除