- 博客(18)
- 收藏
- 关注
RSS订阅原创 HTML常用标签详解
概念：用特定的标签，去表达特定的含义。原则：标签的默认效果不重要（后期可以通过 CSS 随便控制效果），语义最重要！举例：对于 h1 标签，效果是文字很大（不重要），语义是网页主要内容（很重要）。优势：代码结构清晰可读性强。有利于 SEO（搜索引擎优化）。方便设备解析（如屏幕阅读器、盲人阅读器等）。alt 属性的作用：搜索引擎通过 alt 属性，得知图片的内容。—— 最主要的作用。当图片无法展示时候，有些浏览器会呈现 alt 属性的值。盲人阅读器会朗读 alt 属性的值。#尽量不调整图片的宽度和高度，会导致
2024-01-16 23:14:13
1928
1
原创 前端图片的常见格式
它支持图层、通道、蒙版和各种调整层，这些功能使得PSD格式成为图像设计和编辑中的首选格式。它支持透明背景和有损压缩，但不支持多种格式的转换。主要特点：所储存的图像信息更完整，有利于原稿的复制，并且可以方便地在不同的应用程序间调用图形文件。②想更高质量的呈现图片；使用场景：一些较小的图片，或者需要和网页一起加载的图片。，不进行压缩的一种格式，在最大程度上保留图片更多的细节。的场景，例如：一些大型游戏中的图片。，是一种无损的压缩格式，能够更高质量的保存图片。，谷歌推出的一种格式，专门用来在网页中呈现图片。
2024-01-12 18:02:16
711
1
原创 基于Linux环境下搭建Hadoop3.3.5伪分布式集群
1. 在master上，切换到目录/export/servers，把hadoop-3.3.5远程拷贝到hadoop02和hadoop03上。也可通过FinalShell或xftp拖动到目标目录（需提前切换到/export/software），速度是几十个MB/s.很快的。可通过rz上传到当前目录（需提前切换到/export/software），上传速度是几个MB/s。配置文件都在这个目录下：/export/servers/hadoop/etc/hadoop。# 在hadoop02上可看到如下进程。
2024-01-10 22:24:15
1872
原创 Spark on YARN部署模式保姆级教程
没有最好的部署模式，具体要根据实际需求进行部署，由于Spark可以和Hadoop部署在一起，相互协作，Hadoop的HDFS，HBase负责数据存储与管理，Spark负责数据的计算，所以本文将详细讲解Spark on YARN模式的部署。这两种模式的选择取决于实际需求和使用环境，例如，学习、调试阶段可能更适合使用YARN-Client模式，而在生产环境中则常使用YARN-Cluster模式。在Spark中，根据运行模式的不同，有两种提交任务的方式：YARN-Client和YARN-Cluster。
2024-01-10 16:57:27
2657
1
原创 IDEA项目打包成jar包
在大数据开发中，我们为什么要把idea的项目打包成jar包呢？这样做有什么好处？一、JAR文件可以将项目的所有依赖项捆绑在一起，这极大地方便了代码的分发和部署。二、JAR文件可以视为一个独立的应用程序，执行时不需要额外的开发环境或外部依赖，只需要使用java -jar命令即可运行。这种方式不仅简化了执行过程，也提高了代码的可移植性。三、通过打包成JAR文件，还可以更好地管理项目中的各种资源和配置文件。因此，对于大数据开发来说，将IntelliJ IDEA项目打包为JAR文件是一种常见且重要的做法。
2023-12-18 00:14:08
1160
1
原创 Sqoop数据迁移1.X版本安装部署
虽然Sqoop已经在2021年6月退休进入Attic（已经停止维护和升级，但是目前的使用程度还是比较高。支持同类型功能的软件有NiFiFlinkSparkTalendStreamSets等。Sqoop 主要用于在 Hadoop 和关系数据库或大型机器之间传输数据，可以使用 Sqoop工具将数据从关系数据库管理系统导入(import)到 Hadoop 分布式文件系统中，或者将Hadoop 中的数据转换导出(export)到关系数据库管理系统,其功能如图所示。
2023-11-20 13:10:58
145
1
原创 Sqoop数据导出
Sqoop 导出与导入是相反的操作,也就是将 HDFS、Hive和 HBase 等文件系统或数据仓库中的数据导出到关系数据库中,在导出操作之前,目标表必须存在于目标数据库中,否则在执行导出操作时会失败。而 Hive 和 HBase 的数据通常都是以文件的形式存储在HDFS中因此.本节就重点讲解如何将 HDFS数据导出到 MySQL中。为了方便操作，这里就将中导人到 HDFS上/sqoopresult 目录下的结果文件part-m-00000进行导出操作。
2023-11-20 13:09:33
190
1
原创 Sqoop数据导入
Sgoop 数据导人(import)是将关系数据库中的单个表数据导人到 HDFS 和 Hive 等具有 Hadoop 分布式存储结构的文件系统中,表中的每一行都被视为一条记录,所有记录默认以文本文件格式进行逐行存储,还可以以二进制形式存储,如 Avro 文件格式和序列文件格式(SequenceFile)。
2023-11-20 12:35:24
607
1
原创 Azkaban4.0.0分布式安装部署
随着大数据开发的普及以及人们对工作流管理器的需求,Azkaban也受到了越来越多的开发者的使用，因此Azkaban 的版本也在持续更新，本文将使用Akaban 4.0.0讲解Azkabar的部署和使用。在Azkaban 3.X版本之后，Azkaban 提供了两种部模式，分别是 solo-server mode(独立服务器模式)和distributed multiple-executor mode(分布式多服务器模式)。
2023-11-11 17:32:58
441
1
原创 Linux安装mysql（yum安装）
在安装时，最好选择与自己的系统版本一致的yum源，否则可能出现软件兼容的问题。有些yum源后面带有**mysql57**或**mysql80**指的就是**mysql5.7版本**或**mysql8.0版本**。el是Red Hat Enterprise Linux（EL）的缩写，分别代表不同的版本和发行版。由于我的CentOS为7.9，所以我选用e17.9版本。如果查出来没有直接进入第三步，如果有对其进行删除。6.免密登录（处于安全考虑，只用于测试）初始密码中有非法字符(，其前要加\。
2023-11-11 17:31:27
230
2
原创 Linux的MySQL免密登录
mysql -uroot -p //登录mysql,输入密码时，直接回车，即可登录。由于不安全所以免密用于测试，不可用于实际生产。
2023-11-11 17:13:32
361
1
原创 Flume的安装配置
java运行环境的版本与将要安装配置的Flume版本是对应的，如果使用Flume1.6版本，则要使用Java1.6及以上运行环境，由于本章后续将以Flume1.8.0为准，所以要求安装java1.8及以上运行环境。（本文/home/export/software为软件压缩包放置目录,/home/export/servers软件包目录，大家可自行调整自己的对应路径）一、java与Flume版本对应Flume版本依赖的JRE版本Java1.8 或更高版本Java1.8 或更高版本。
2023-10-27 21:26:46
1164
1
原创 zookeeper3.5.7+kafka2.12-3.4.1部署详细步骤
本文章主要是基于linux环境下（已完成IP，主机名设置，网络设置以及关闭了防火墙和jdk配置）搭建分布式集群（3台虚拟机ip），主要讲述zookeeper集群安装部署和kafka安装部署以及在安装期间的一些注意事项。三台虚拟机的主机ip及主机名masterhadoop02hadoop03。
2023-10-10 11:09:12
346
1
原创 配置Hive3.1.2远程服务详细步骤
4.输入beeline进入hive shell命令行，连接mysql。4.在conf目录下新建hive-site.xml并写入。1.mysql配置好后下载驱动，放在hive/lib下。2.在hive/conf目录下复制一份。3.配置hive-env.sh文件。1.配置完成后要启动mysql服务。3.开启hiveserver2。2启动metastore。
2023-10-02 02:53:55
353
2
原创 基于Linux系统的物理内存不足问题的虚拟内存扩容
在linux中，当mem物理内存被耗尽时，会使用swap的虚拟内存（较慢），当物理内存和虚拟内存都耗尽时就会出现程序跑不起来，启动这个进程会杀死另外一个进程的情况，已保证程序的良好运行，所以本文采用增加虚拟swap内存的方法，可以有效解决因物理内存mem不足而导致的程序崩溃问题。1.使用free -h命令查看内存使用情况。（当你启动程序时，你的物理内存会被使用，当你物理内存不足会使用swap虚拟内存，可以运行程序再运行一次此命令查看内存变化）7.将交换分区和交换文件删除。5.设置开机自动加载内存。
2023-10-02 01:45:24
812
1
原创 非LVM，Linux分区扩容
在使用linux虚拟机的时候，随着时间的推移和数据的增多，linux扩容就是我们比较好的解决磁盘内存不足的方案。本文主要讲述标准分区的非LVM扩容，但还是建议使用LVM分区的动态调整分区扩容。本文将对/dev/sda3根目录进行扩容。
2023-09-28 00:05:48
1383
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人