自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

原创 Hadoop,Spark,Scala伪分布式搭建(详细步骤)

在浏览器地址里输入 http://192.168.130.100:50070 或 http://master:50070。⑥编辑/usr/local/src/hadoop-2.7.1/etc/hadoop/slaves 文件。先备份mapred-site.xml.tmplate文件 并改名为mapred-site.xml。4,编辑 spark-env.sh 文件 :vi spark-env.sh。②解压jdk到/usr/local/src/目录下。2,解压该安装包到 /usr/local/src。

2024-04-27 16:20:52 853 4

原创 Hive 组件安装配置

将/usr/local/src/hive/conf 文件夹下 hive-default.xml.template 文件,更名为 hive-site.xml。(1)使用 root 用户,将 Hive 安装包 /opt/software/apache-hive-2.0.0-bin.tar.gz 路解压到/usr/local/src 路径下。1)将 MySQL 数据库驱动(/opt/software/mysql-connector-java-5.1.46.jar)拷贝到 Hive 安装目录的 lib 下;

2024-04-11 17:33:05 2117

原创 永久IP和临时IP的配置

永久IP地址配置是指在CentOS服务器上设置一个固定的IP地址,该地址在重启后仍然有效。

2024-03-15 11:24:58 1730 1

原创 数据库之冷备,热备,温备,啥意思?

温备:在数据库运行时加全局读锁备份,保证了备份数据的一致性,但对性能有影响。数据库可用性弱于热备,备份期间,数据库只能进行读操作,不能进行写操作。冷备(离线备份):在数据库停止时进行备份。在备份期间,应用的读写操作不可进行。备份出的数据可靠性最高。热备(在线备份):在数据库正常运行时直接备份,对数据库操作没有任何影响(数据库读写均可正常运行)。

2024-03-08 14:46:06 1811 1

原创 linux常用命令操作

也就是把 Spark Streaming 的输入数据按照设定的时间片(如 1 秒)分成一段一段的数据,每一段数据都转换成 Spark 中的 RDD,然后将 Spark Streaming 已经为大家精心准备了大数据的系统学习资料,从Linux-Hadoop-spark-......,需要的小伙伴可以点击中对 DStream 的转换操作变为对 Spark 中的 RDD 的转换操作,将 RDD 经过操作变成的中间结果保存在内存中。当不指定文件或目录时,显示 当前工作目录中的文件或子目录信息。

2024-03-08 14:29:27 1724 1

原创 结构化数据和非结构化数据的区别

非结构化数据通常是自描述的,其结构和内容混在一起,没有明显的区分,因此处理起来相对复杂且需要特定的技术和工具进行解析和管理。结构化数据,也称为行数据。这些数据通常存储在数据库中,并且具有明确的字段和记录定义,使得它们易于查询、排序和分析。常见的类型包括数值型数据、字符型数据、日期/时间数据和混合型数据等。结构化数据由于其规整性,可以直接存储在数据库的二维表中,便于进行数据操作如增加、删除、修改和查找等操作。综上所述,结构化数据与非结构化数据的主要区别在于它们的定义、性质和存储处理方式上。

2024-03-08 14:28:03 928 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除