- 博客(7)
- 收藏
- 关注
RSS订阅原创 docker,docker-compose的一键部署
tar -zxvf extendinstall.tar.gz cp containerd.service docker.service docker.socket /usr/lib/systemd/system/ lstar -zxvf docker.tgz cd docker/ls cp * /usr/bin/ls groupadd docker systemctl daemon-reload systemctl enable --now containerd.service sys
2024-10-26 17:22:55
204
1
原创 Hadoop平台安装(Hive前)
1.配置系统基础环境（1）查看服务器的IP地址（2）设置服务器的主机名称master（3）绑定主机名与地址查看服务状态（5）关闭防火墙（6）创建用户安装环境（1）下载安装包。
2024-05-10 09:28:18
1549
原创 Hive组件安装部署
（1）将 MySQL 数据库驱动（/opt/software/mysql-connector-java-5.1.46.jar）拷贝到。（6）将以下位置的 ${system:java.io.tmpdir}/${system:user.name} 替换为。（3）通过 vi 编辑器修改 hive-site.xml 文件实现 Hive 连接 MySQL 数据库，并设定。（2）将解压后的 apache-hive-2.0.0-bin 文件夹更名为 hive。（1）使用 root 用户，将 Hive 安装包解压。
2024-04-09 19:04:10
1578
原创 Hadoop你不知道的秘密
Spark提供了统一的解决方案，适用于批处理、交互式查询(SparkSQL)、实时流处理(SparkStreaming)、机器学习(SparkMLlib)和图计算(GraphX)，它们可以在同一个应用程序中无缝地结合使用，大大减少大数据开发和维护的人力成本和部署平台的物力成本。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。在这种情况下，MapReduce 并不是不能做，而是使用后，每个MapReduce 作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常的低下。
2024-03-13 19:15:47
1724
原创 Hadoop hdfs
比如社交电商平台每天的产生订单，各个短视频、论坛、社区发布的帖子、评论及小视频，每天发送的电子邮件，以及上传的图片、视频与音乐等等，这些无数个体产生的数据规模很庞大，数据体量早已达到了PB级别以上。相比于传统的小数据，大数据最大的价值在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现新规律和新知识，并运用于农业、金融、医疗等各个领域，从而最终达到改善社会治理、提高生产效率、推进科学研究的效果，实现其商业价值。
2024-03-07 13:22:56
357
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人