省赛大数据应用与服务
关注
分享
扫一扫
文章平均质量分 69
伏羲NX
帅哥一枚，热衷于信息安全，网络空间安全，红蓝实网攻防，边缘计算等领域，有着非常丰富的实战经验，希灵赛斯安服团队队长，参与过23年职业院校网络安全技能大赛，获三等奖，24年职业院校技能大赛大数据应用与服务银牌二等奖（待发实体证），24海南省护网，拿到**银行国密算法泄露，海南机场集团及旗下业务公司内设护网，拿到**物管有限公司官网存在XSS漏洞等。精通云安全运维，w/l安全加固，镜像站搭建，VPN安全网关部署，云服务器运维，VPC云网络搭配，跨境专线，多拨网络配置，业务咨询：https://work.weixin.qq.com/kfid/kfc5c60f929a2e703af
展开
-
Apache-Hive数据库使用学习
apache-hive -node1节点部署（需要与MySQL元数据联动存储）IF NOT EXISTS 可以避免在数据库已存在时报错。字段：时间，国家，省份，性别，联网设备，是否成年。Mysql-node1节点部署（确认安装正常）Hadoop-分布式部署（服务全部在线）表名：test_table。查看是否创建数据库成功。test6 是库名。原创 2024-11-06 01:50:30 · 1146 阅读 · 0 评论 -
数据分析-Apache_hive
1，在comm数据库下创建一个名为dws_behavior_log的外部表，如果表已存在，则先删除，分区字段为dt，即根据日期进行分区，另外，要求指定表的存储路径为HDFS的/behavior/dws/dws_behavior_log目录，存储类型为“orc”，文件的压缩类型为“snappy”创建外部表，分区字段为dt，即根据日期进行分区，另外，要求指定表的存储路径为HDFS的/behavior/dws/dws_behavior_log目录，存储类型为“orc”，文件的压缩类型为“snappy”原创 2024-10-24 20:00:27 · 466 阅读 · 0 评论 -
Centos7安装sqoop1.4.7超详细教程
另外，在配置文件中还要根据需要自定义配置Hbase、Hive和Zookeeper等环境变量（例如本章后续将会使用到Hive，所以必须配置Hive的环境变量，而其他无关环境变量如果未配置，使用过程中可能会出现警告提示，但不影响其他操作）。需要说明的是，本文讲解的Hadoop是Apache社区版本，Hadoop重要的组件都是安装在一个安装包中，所以上述配置文件中配置的HADOOP_COMMON_HOME与HADOOP_MAPRED_HOME指定的Hadoop安装目录一致。sqoop-env.sh（原）原创 2024-10-23 10:26:58 · 1077 阅读 · 1 评论 -
2024海南省大数据应用技术高校培训-Hadoop集群超详细部署教学
Hadoop是一个开源的分布式计算框架，由Apache软件基金会维护，专为处理和存储大规模数据集（大数据）而设计。它最初由Doug Cutting和Mike Cafarella开发，灵感来源于Google的两篇论文：《Google File System》和《MapReduce: Simplified Data Processing on Large Clusters》。Hadoop的核心优势在于其高度可扩展性、容错性和成本效益，使得它成为大数据处理领域的基石。原创 2024-06-09 03:53:02 · 1867 阅读 · 0 评论 -
Vim编辑器的使用方法
Vim（Vi IMproved）是一个高度可配置的文本编辑器，最初是为了改进vi编辑器而开发的。它适用于Unix-like系统以及Windows系统，并且可以在终端或图形界面中运行。Vim因其强大的功能、高度可定制性以及支持多种编程语言而广受欢迎。原创 2024-09-11 21:06:27 · 473 阅读 · 0 评论 -
CentOS7更换阿里云yum更新源
目前CentOS内置的更新安装源经常报错无法更新，或者速度不够理想，这个时候更换国内的镜像源就是一个不错的选择。下载阿里云repo源（需要系统中安装wget）清理旧的更新源缓存，并更新新的更新源缓存。原创 2024-09-16 03:31:31 · 1940 阅读 · 0 评论 -
Linux删除SSH生成的密钥对
注意：这将删除所有SSH密钥文件，包括已经添加到SSH代理中的密钥。如果没有任何输出，则表示已成功删除所有SSH密钥。打开终端或SSH客户端，登录到Linux系统。其中，密钥文件名是要删除的密钥文件的名称。原创 2024-09-16 04:00:14 · 1629 阅读 · 0 评论 -
PVE虚拟机被锁定locked解决方法
打开pve节点的shell，执行以下命令。原创 2024-09-19 13:07:32 · 1490 阅读 · 0 评论 -
Centos7-rpm包管理器方式安装MySQL 5.7.25及开启root用户远程连接-弱密码登录
本文用于学习通过Mysql压缩包在centos7中安装和配置的过程以及过程中碰到的Bug解决。原创 2024-09-19 14:03:51 · 538 阅读 · 0 评论 -
大数据Hive组件安装-元数据库联动Mysql
进入Hadoop/share/hadoop/common/lib目录下，将新版本的guava.jar复制到hive/lib目录下。解决：将hive目录下的低版本guava.jar更换成Hadoop下的高版本guava.jar即可。进入/export/server/apache-hive-3.1.2-bin目录下。进入/export/server/apache-hive-3.1.2-bin目录下。进入hive/lib目录下删除掉旧版本的guava.jar。复制到hive的lib目录下。原创 2024-09-25 10:43:25 · 1048 阅读 · 0 评论