- 博客(6)
- 收藏
- 关注
RSS订阅原创 Hadoop平台搭建运行
rw-------. 1 hadoop hadoop 395 11月 14 16:18 authorized_keys。-rw-------. 1 hadoop hadoop 395 11月 14 16:18 authorized_keys。-rw-------. 1 hadoop hadoop 395 11月 14 16:19 authorized_keys。-rw-r--r--. 1 hadoop hadoop 33 11月 10 23:50 part-r-00000。
2024-04-26 13:06:44
392
原创 简单hive安装
1.在root用下，将Hive安装包解压到/usr/local/src路径下2.将解压文件夹更名为hive3.修改hive目录归属用户和用户组为hadoop。
2024-04-11 14:13:31
868
原创 配置永久IP+临时IP
yum仓库和客户端组成，也就是整个yum由两部分组成，所有yum可以存放在两台服务器上，也可以存放在一台服务器上，可以有官方来提供服务，也可以由第三方来提供，比如国内的阿里云，搜狐云，还有一些非营利组织比如学校等。官方源一般在国外，下载速度肯定有限，手动更改成国内的云可以大幅提升下载速度。临时IP地址配置是指在centos服务器上设置一个暂时的IP地址1，该地址只在本次启动期间有效，并在重启后失效。（2）进入local.repo并编辑：vim /etc/yum.repos.d/local.repo。
2024-03-21 23:25:57
1714
原创 关于云上大数据
Spark 提供了丰富的数据处理操作和算法，如 Map、Reduce、Filter、Join、GroupBy 等，可用于大规模数据的处理、转换和分析。HBase:HBase是一种分布式、可扩展的面向列的NoSQL数据库，它基于Hadoop的HDFS和ZooKeeper来提供可靠的、高性能的数据存储和实时读写访问。3、数据转换和处理：Hive 的查询语言 HiveQL 支持丰富的数据转换函数和操作，用户可以使用 HiveQL 进行数据提取、转换和加载（ETL）操作，对数据进行加工和清洗。
2024-03-13 21:53:46
1171
原创 关于大数据
HDFS是高容错性的，可以部署在低成本的硬件之上，HDFS提供高吞吐量地对应用程序数据访问，它适合大数据集的应用程序。3. 数据多样性：大数据包括结构化、半结构化和非结构化数据，其中非结构化数据越来越成为数据的主要部分。而非结构化数据则包括图片、音频、视频、、电子邮件、社交媒体帖子等不规则、无固定格式和规则的数据，很难用表格或关系型数据库来储存和处理。（3）处理方式不同：结构化数据使用传统的数据库管理系统可以快速处理，非结构化数据需要使用特殊的技术，例如机器学习、自然语言处理等，才能对其进行分析和处理。
2024-03-07 20:47:16
496
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人