- 博客(6)
- 收藏
- 关注
原创 Hadoop,Spark,Scala伪分布式搭建(详细步骤)
在浏览器地址里输入 http://192.168.130.100:50070 或 http://master:50070。⑥编辑/usr/local/src/hadoop-2.7.1/etc/hadoop/slaves 文件。先备份mapred-site.xml.tmplate文件 并改名为mapred-site.xml。4,编辑 spark-env.sh 文件 :vi spark-env.sh。②解压jdk到/usr/local/src/目录下。2,解压该安装包到 /usr/local/src。
2024-04-27 16:20:52
853
4
原创 Hive 组件安装配置
将/usr/local/src/hive/conf 文件夹下 hive-default.xml.template 文件,更名为 hive-site.xml。(1)使用 root 用户,将 Hive 安装包 /opt/software/apache-hive-2.0.0-bin.tar.gz 路解压到/usr/local/src 路径下。1)将 MySQL 数据库驱动(/opt/software/mysql-connector-java-5.1.46.jar)拷贝到 Hive 安装目录的 lib 下;
2024-04-11 17:33:05
2117
原创 数据库之冷备,热备,温备,啥意思?
温备:在数据库运行时加全局读锁备份,保证了备份数据的一致性,但对性能有影响。数据库可用性弱于热备,备份期间,数据库只能进行读操作,不能进行写操作。冷备(离线备份):在数据库停止时进行备份。在备份期间,应用的读写操作不可进行。备份出的数据可靠性最高。热备(在线备份):在数据库正常运行时直接备份,对数据库操作没有任何影响(数据库读写均可正常运行)。
2024-03-08 14:46:06
1811
1
原创 linux常用命令操作
也就是把 Spark Streaming 的输入数据按照设定的时间片(如 1 秒)分成一段一段的数据,每一段数据都转换成 Spark 中的 RDD,然后将 Spark Streaming 已经为大家精心准备了大数据的系统学习资料,从Linux-Hadoop-spark-......,需要的小伙伴可以点击中对 DStream 的转换操作变为对 Spark 中的 RDD 的转换操作,将 RDD 经过操作变成的中间结果保存在内存中。当不指定文件或目录时,显示 当前工作目录中的文件或子目录信息。
2024-03-08 14:29:27
1724
1
原创 结构化数据和非结构化数据的区别
非结构化数据通常是自描述的,其结构和内容混在一起,没有明显的区分,因此处理起来相对复杂且需要特定的技术和工具进行解析和管理。结构化数据,也称为行数据。这些数据通常存储在数据库中,并且具有明确的字段和记录定义,使得它们易于查询、排序和分析。常见的类型包括数值型数据、字符型数据、日期/时间数据和混合型数据等。结构化数据由于其规整性,可以直接存储在数据库的二维表中,便于进行数据操作如增加、删除、修改和查找等操作。综上所述,结构化数据与非结构化数据的主要区别在于它们的定义、性质和存储处理方式上。
2024-03-08 14:28:03
928
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅