程序媛

今晚听了一波赵强老师的《大数据的起源和核心思想》直播公开课，讲得挺好理解的，以下是课堂上提到的部分内容：一、什么是大数据？例子：1、商品推荐（1）大量的订单如何存储（2）大量的订单如何计算二、大数据的核心问题1、数据的存储：分布式的文件系统2、数据的计算：分布式计算三、大数据的核心思想（Google的三篇论文）（1）GFS：Google File System（Googl...

刚打算新建hadoop用户，发现居然有了，可是我也不知道密码呀...改也改不了。想着那总能让我删了吧，嗯哼，不行。如图：行吧，总有法子治你，比如：首先，进入home，执行命令vipw找到之前创建的用户，用dd删除该行（：wq保存退出）执行命令vipw -s 找到那个用户所属组，dd删掉即可（：wq保存退出）这时候修改密码检测一下就可以知道有没有删除了好...

一、安装配置JDK，参考另一篇博客：https://blog.youkuaiyun.com/weixin_37590454/article/details/92815133二、新建hadoop用户1.su root #以root账号登录并创建接下来的hadoop新用户2.通过useradd增加用户:useradd -m hadoop -s /bin/bash # 创建新用户Hado...

一、搭建Spark开发环境流程1.安装eclipse，我这里用的是集成环境，解压就能用。（包含了scala环境）安装包传送门：2.导入相关的jar包Jar包传送门：具体操作：（1）装上以上的eclipse之后，如图所示，先切换到scala模式。（2）新建项目的时候，会看到已经可以新建Scala项目了。如图所示新建Scala项目。（2）如图所示，导入jar包...