- 博客(7)
- 收藏
- 关注
RSS订阅原创 黑马-hive学习笔记(4)
如果数据中的分隔符是多字节分隔符，可以使用程序提前将数据中的多字节分隔符替换为单字节分隔符，然后使用Hive加载，就可以实现正确加载对应的数据。时间数据中包含了分隔符，导致Hive认为这是两个字段，但实际业务需求中，为一个字段。来指定文件中的分割符，确保正确将表中的每一列与文件中的每一列实现一一对应的关系。下面有一份儿数据文件，文件的分隔符为空格，但是时间字段的数据里面也包含空格。来指定文件中的分割符就会失效，此时，就需要用特殊的办法来指定分隔符。例如上面的例子，原始数据中的分隔符为“||”，
2024-12-12 12:44:13
490
原创 黑马-hive学习笔记(3)
一般来说，如果你的环境变量PATH中已经包含了Hive的bin目录，你就可以在任何地方使用hive与-hiveconf参数。如果没有添加Hive bin目录到PATH中，那么你需要进入到Hive的bin目录下，或者使用完整路径来执行hive命令。如果参数在-hiveconf和hive-site.xml中都设置了，那么-hiveconf设置的值会覆盖hive-site.xml中的设置，--上述命令可以分别用于设置Hive变量var_name的值为value，以及查看Hive变量var_name的值。
2024-12-11 17:39:20
734
原创 Hive语句大全（超级详细的案例大全，持续完善中）
-在上述语法中，`INSERT OVERWRITE TABLE` 是插入或覆盖指定分区表的命令，`test_table` 是分区表的名称，`(date='2024-01'）` 是指定的分区，name,age, gender是要从 `source_table`源表 中抽取的字段。字段分隔符为","。--这里 "/path/to/localfile" 是你要上传文件在Windows中的根路径（完整 的），"/path/to/hdfs" 是你想要把文件存放在HDFS中的路径。
2024-10-22 16:36:53
834
原创 黑马-hive学习笔记(2)
例如一个MAP类型的列，如"name_age_map"，数据如下： `{"John":30, "Mike":40}` 这是一个字符串到整数的映射，其中"John"和"Mike"是键，30和40是相应的值，花括号{}包围整个映射，键和值之间用冒号分隔，不同的键值对之间用逗号分隔。在这个数组中，每个元素都是整数类型。例如，有一个ARRAY类型的列，名为"numbers"，数据如下： `{1,2,3,4,5}` 这是一个整型数组，花括号内的是数组中的元素，由逗号分隔。
2024-10-20 18:38:28
592
原创 黑马-hive学习笔记(1)
主要的服务：（1）NameNode(主)：是HDFS中的主服务器，负责管理HDFS的元数据，包括文件目录树的维护，以及文件和数据块之间的映射关系。在Yarn的web界面中，一般可以查看到集群中运行的、已完成的、失败的和挂起的应用程序（Application）信息，以及每个NodeManager节点的状态，以及集群的详细的资源使用情况。在这个界面中，包含了HDFS集群的总体状态，比如文件系统的目录树、存储速率、存储占用和空闲情况等，还能看到各个DataNode的状态和健康状况，以及它们所存储的数据块信息。
2024-10-14 17:13:11
816
原创 5.4 Windows下安装 jdk & hadoop & hive (汇总版)
Notepad++是一款文本编辑工具，支持27种编程语言，通吃C,C++ ,Java ,C#, XML, HTML, PHP,JS 等，该软件拥有完整的中文化接口及支持多国语言编写的功能，不仅可以用来制作一般的纯文字说明文件，还非常适合编写计算机程序代码，不仅可以语法高亮度显示，也具有语法折叠功能，并且支持宏以及扩充基本功能的外挂模组。（6）点击确定，全部确定退出后，依旧按 Win+R，输入 cmd 进入命令提示符界面，输入 javac，假如出现如下界面则配置成功。
2024-08-18 18:50:35
720
原创 8.一文读懂hive的客户端
需要在其他机器上通过bin/hive访问hive metastore服务，只需要在该机器的hive-site.xml配置中添加metastore服务地址即可。通过Metastore服务读写元数据。可以直接在启动Hive metastore服务的机器上使用bin/hive客户端操作，此时不需要进行任何配置。，是一个JDBC客户端，是官方强烈推荐使用的Hive命令行工具，和第一代客户端相比，性能加强安全性提高。如果是内嵌模式和本地模式，直接运行bin/hive，metastore服务会内嵌一起启动。
2024-08-15 11:08:18
978
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人