- 博客(19)
- 收藏
- 关注
原创 linux下安装idea2020
安装IDEA 2020可以让开发者在Linux系统上获得更好的开发体验,提高开发效率和代码质量。它能够更好地与其他工具集成,提供更好的性能和资源利用,同时也可以让开发者加入到庞大的开发社区中,与其他开发者分享经验和资源。
2024-11-21 16:06:23
706
原创 介绍 Docker 的基本概念和优势,以及在应用程序开发中的实际应用。
Docker提供了一种轻量级的容器化解决方案,具有灵活、高效、可移植等优势,在应用程序开发中有着广泛的应用。
2024-11-20 10:00:00
257
原创 利用python进行数据分析画图
根据具体的需求,你可以使用Pandas提供的各种功能进行数据处理和分析,然后使用Matplotlib绘制出各种类型的图表,如折线图、柱状图、饼图等。使用Python进行数据分析和绘图通常需要使用一些常用的库,如NumPy、Pandas和Matplotlib等。如果你想要自定义折线图的样式,可以添加一些额外的参数。例如,你可以设置折线的颜色、线型和标记等。运行代码后,将会显示一个红色虚线折线图,折线上的数据点使用圆形标记。
2024-11-19 18:30:39
293
原创 定时任务调度
1) 定时任务:是指在某个时间才执行的特定的命令或程序;2) 任务调度:是指由系统进行调用执行;3) 执行频率:包含周期/重复执行、或只执行一次;4) 任务分类:可以是系统工作、可以是个人用户工作;5) 编写任务:可以是一句指令,也可以编写一个shell脚本(.sh后缀结尾的文件,里面可以包含多条指令)6) 定时任务:有时也称作后台作业;
2024-10-24 23:58:18
673
原创 hadoop格式化失败-拒绝连接
以上就是今天要讲的内容,本文仅仅简单介绍了格式化失败-拒绝连接的原因及解决办法,本文搭建的是hadoop的高可用集群经常会遇到的问题。Hadoop的高可用性:Hadoop的NameNode包括active和standby两种状态,通过故障转移机制(即当active NameNode意外终止时,快速启动stantby NameNode)可保证HDFS的高可用性。
2024-05-05 19:12:30
2650
5
原创 C语言基础
计算机的本质是“程序的机器”,程序和指令的思想是计算机系统中最基本的概念。程序设计是软件开发人员的基本功。进行程序设计,必须用一种计算机语言作为工具,否则只是纸上谈兵。可供选择的语言很多,各有特点和应用领域。
2023-09-14 18:48:39
254
1
原创 spark的安装与部署
为了避免MapReduce框架中多次读写磁盘带来的消耗,以及更充分地利用内存,加州大学伯克利分校的AMP Lab提出了一种新的、开源的、类Hadoop MapReduce的内存编程模型Spark。一、spark是什么?Spark是一个基于内存的大数据并行处理框架,其最初由加州大学伯克利分校的AMP Lab研发,现已成为Apache软件基金会的顶级项目之一。Spark不仅提供了可扩展、高容错、高性能的分布式数据处理,还提供了内存级的数据处理。
2023-06-28 21:12:29
14082
3
原创 spark编写WordCount
1.在hdfs的/user/spark/in/目录下建一个in.txt文件。2.在spark-shell中编写WordCount代码和运行。3>文件创建成功之后,将本地的in.txt文件上传至hdfs中。(2).在根目录创建in.txt文件并将其传到hdfs中。(1).我们需要现在hdfs中创建文件所需目录。4> 在hdfs中查看是否已经存在。2>通过pwd查看本地文件所在路径。在hdfs创建in.txt文件。2>也可通过命令创建多级目录。3>通过命令查看是否创建成功。1>首先创建txt文件。
2023-05-12 10:13:48
682
原创 hbase实战
完全分布式HBase 的完全分布式模式需要部署在多个节点 (即集群)上,且必须运行在一个合适的、可工作的 Hadoop 环境中完全分布式模式建立在 Hadoop 集群的基础上,而且依赖于 ZooKeeper 进行协作因此在安装 HBase 完全分布式模式之前,需要将 Hadoop 集群和 ZooKeeper 集群搭建好。
2023-04-01 14:19:12
699
原创 cenos7安装MySQL配置hive(上)
今天要讲的内容,本文仅仅简单介绍了mysql的安装与配置,下篇分析hive与MySQL的相关配置。
2023-03-27 17:31:08
308
2
原创 hive启动不成功原因
简单介绍了hive启动不成功原因,而Hive是一个基于Hadoop的数据仓库框架,它使用SQL语句读、写和管理大型分布式数据集。Hive可以将SQL语句转化为MapReduce (或Spark、 Tez) 任务执行,大大降低了Hadoop的使用门槛,减少了开发MapReduce程序的时间成本。
2023-03-10 17:53:21
12068
1
Linux环境下JavaEE环境搭建详解:JDK, Tomcat, MySQL部署教程
2024-11-28
Linux操作系统运行级别与常用命令详解
2024-10-24
图书管理系统(图书录入和管理,借阅管理,图书管理)
2024-08-13
Java scripts
2023-01-07
用Python编程实现学生成绩管理,能按学期、按班级对学生成绩进行录入、修改、统计、查询和输出
2023-01-06
Hadoop大数据处理实战
2023-01-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人