- 博客(68)
- 收藏
- 关注
原创 shell脚本实例练习(持续更新)
pass=${pass:-123456}表示pass为空时自动改为123456。$1,$2表示位置参数first和second。-z判断为不为空,exit 2表示错误退出。a表示限制0~100,b表示输入。-eq 等于 -lt小于。
2025-03-28 16:44:01
116
原创 dataX错误合集(持续更新)
这里面一样都不能少,不然登录web会有问题,127.0.0.1当前主机,3306mysql端口号,mysql的root用户,密码更不能错.解决:修改文件vi ./modules/datax-admin/conf/bootstrap.properties。
2025-03-26 09:54:01
140
原创 万字详解kafka高级(机制与原理)
Kafka集群中有一个broker会被选举为Controller,负责管理集群broker的上下线,所有topic的分区副本分配和leader选举等工作。(kafka集群一开始启动就会选举controller,先注册的成为controller,一旦这个controller掉了,就会选举新的controller,还是从注册的顺序进行选举)
2025-03-25 19:21:54
246
原创 kafka错误集合
在加载日志期间,其中一个线程出现错误: org.apache.kafka.common.errors.CorruptRecordException:在文件/export/server/kafka/data_1/topic02-1/00000000000000000000.log中发现记录大小0小于最小记录开销(14)。解决:删掉对应的log文件即可。
2025-03-24 11:16:07
204
原创 Linux远程连接vscode
这个位置Host是主机名,hostname是主机ip地址,user是用户名。(2).输入ip地址进行连接并配置ssh文件下的config。1.获取虚拟机ip地址准备ssh连接(记得一定要NAT)2.vscode下载所需插件。具体插件工作在此不阐述。
2025-03-03 17:26:01
200
原创 移动web(修改版1)
(left、top、right、bottom、center) 像素单位数值 百分比。扩展:rotate3d(x, y, z, 角度度数) :用来设置。圆心位置取值:像素单位数值 / 百分比 / 方位名词。transform: rotateZ(值);transform: rotateX(值);transform: rotateY(值);立体呈现 – transform-style。属性名:transform-style。x,y,z 取值为0-1之间的数字。(位移、旋转、缩放、倾斜)属性:transform。
2024-11-04 20:20:25
748
原创 前端之css(三)
实现步骤: 1. 绝对定位 2. 水平、垂直边偏移为。弹性盒子的侧轴对齐方式(给弹性容器设置)弹性盒子的侧轴对齐方式(给弹性盒子设置):灵活地修改样式,例如:尺寸、颜色等。:体积小、渲染快、降低服务器请求次数。Flex 布局也叫弹性布局,是。1. 定位模式:position。的布局模型,非常适合结构化布局,场景:元素的位置在网页滚动时。默认效果:按照标签书写顺序,2. 边偏移:设置盒子的位置。的所有属性,都产生过渡效果),默认情况下,所有弹性盒子都。nowrap:不换行(默认),改变定位元素的显示顺序。
2024-11-03 20:25:27
1043
原创 前端之移动web(三)
1. 下载:Bootstrap V5中文文档 → 进入中文文档 → 下载 →。注意:浏览器不识别 Less 代码,目前阶段,网页要引入对应的 CSS 文件。Bootstrap 是由 Twitter 公司开发维护的。思考:在px单位转换到rem单位过程中,哪项工作是最麻烦的?= px 单位数值 / ( 1/100 视口高度 )px 单位数值 / ( 1/100 视口宽度 )的vw尺寸 (1/100视口宽度)的vh尺寸 (1/100视口高度)写法:在 less 文件的。解决方案:可以通过Less实现。
2024-11-02 19:04:00
922
原创 前端之移动web(二)
width=device-width:视口宽度 = 设备宽度。initial-scale=1.0:缩放1倍(不缩放)缩放调节的分辨率 → 逻辑分辨率(软件/驱动设置)属性名:transform-style。手机屏幕尺寸不同,网页宽度均为100%显示HTML网页的区域,用来约束HTML尺寸。硬件分辨率 → 物理分辨率(出厂设置)1rem = 1HTML字号大小。网页的宽度和逻辑分辨率尺寸相同。纵横向上的像素点数,单位是px。概念:设计稿里面每个元素的尺寸的。等比适配:宽高等比缩放。空间内,转换元素都有自已。
2024-11-01 20:56:13
794
原创 前端之移动web(一)
先写旋转,则后面的转换效果的轴向以旋转后的轴向为准,会影响转换结果。思考: 改变元素的width或height属性能实现吗?rotate3d(x, y, z, 角度度数) :用来设置。transform: rotateZ(值);transform: rotateX(值);transform: rotateY(值);三:平面转换 – 改变转换原点。以第一种转换方式坐标轴为准转换形态。x,y,z 取值为0-1之间的数字。通常,只为 scale() 设置。一:平面转换 – 平移。二:平面转换 – 旋转。
2024-10-31 20:39:10
1157
原创 前端之css(二)
作用:设置 内容 与 盒子边缘 之间的距离。,用来 设置伪元素的内容,如果没有内容,则。场景:父子级的标签,子级的添加。作用:设置元素的外边框为圆角。(出现在内容与盒子边缘之间)作用:拉开两个盒子之间的距离。解决方法:给行内元素添加。单独设置一个方向内边距。,无法改变元素垂直位置。属性,无法改变垂直位置。方位名词首字母,例如,四个方向 内边距相同。排列的兄弟元素,上下。行高可以改变垂直位置。提示:属性值是圆角半径。属性值写法、含义相同。
2024-10-30 20:11:39
878
原创 Sampling采样与Virtual Columns虚拟列
1.大数据体系下,在真正的企业环境中,很容易出现很大的表,比如体积达到 TB 级别.对这种表一个简单的 SELECT * 都会非常的慢,哪怕 LIMIT 10 想要看 10 条数据,也会走 MapReduce 流程。num(K|M|G) 表示抽取 num 大小的数据,单位可以是 K 、 M 、 G 表示 KB 、 MB 、 GB。虚拟列是 Hive 内置的可以在查询语句中使用的特殊标记,可以查询数据本身的详细参数。虚拟列的作用:更精准的查看到具体每一条数据在存储上的详细参数细节。
2024-10-27 19:54:53
790
1
原创 正则表达式
总结:UNION 关键字的作用:将多个 SELECT 的结果集合并成一个, 多个 SELECT 的结果集需要架构一致,否则无法合并,自带去重效果,如果无需去重,需要使用 UNION ALL。SELECT * FROM orders WHERE useraddress RLIKE '.*广东.*';1.正则表达式是一种规则集合,通过特定的规则字符描述,来判断字符串是否符合规则。UNION 用于将多个 SELECT 语句的结果组合成单个结果集。查找手机号符合: 188****0*** 规则。
2024-10-27 19:33:27
574
原创 hive查询语句
方式1:select * from w_1026.orders where (SELECT max(totalmoney) FROM w_1026.orders where useraddress like '%广东省%');orderStatus tinyint COMMENT ' 订单状态 -3: 用户拒收 -2: 未付款的订单 -1 :用户取消 0: 待发货 1: 配送中 2: 用户确认收货 ',isPay tinyint COMMENT ' 是否支付 0: 未支付 1: 已支付 ',
2024-10-26 21:27:13
941
原创 复杂类型map与struct
导入数据:load data local inpath '/home/wtk/data_for_struct_type.txt' into table test_struct;数据导入:load data local inpath '/home/wtk/data_for_map_type.txt' into table test_map;# 查询全部 map 的 key ,使用 map_keys 函数,结果是 array 类型。查询:select * from test_map;
2024-10-26 20:36:00
400
原创 hive修改表操作与array类型
导入数据:load data local inpath '/home/wtk/data_for_array_type.txt' into table test_array;如: ALTER TABLE table_name SET TBLPROPERTIES ('comment' = new_comment);删除分区:ALTER TABLE tablename DROP PARTITION (month='201105');-- 查询 location 数组中元素的个数。
2024-10-26 19:23:22
884
原创 分区表与分桶表
在 hive 当中也是支持这种思想的,就是我们可以把大的数据,按照每天,或者每小时进行切分成一个个的小的文件,这样去操作小的文件就会容易。前言:在大数据中,最常用的一种思想就是分治,我们可以把大的文件切割划分成一个个的小的文件,这样每次操作一个小的文件就会很容易。桶表的数据加载,由于桶表的数据加载通过 load data 无法执行,只能通过 insert select.但和分区不同,分区是将表拆分到不同的子文件夹中进行存储,而分桶是将表拆分到固定数量的不同文件中进行存储。查看:hdfs,发现目前是空的。
2024-10-25 21:17:28
568
原创 数据导入导出
命令:load data local inpath '/home/wtk/search_log.txt' into table test_load;操作:insert into myhive.test_load1 (select * from test_load);注意,基于 HDFS 进行 load 加载数据,源数据文件会消失(本质是被移动到表所在的目录中)注意事项:使用 LOAD 语句:• 数据来源本地,本地数据文件会保留,本质是本地文件上传到表里。数据加载 - INSERT SELECT 语法。
2024-10-24 21:04:04
873
原创 hive数据库,表操作
内部表又称管理表 , 内部表数据存储的位置由hive.metastore.warehouse.dir 参数决定(默认: /user/hive/warehouse ),删除内部表会直接删除元数据( metadata )及存储数据,因此内部表不适合和其他工具共享数据。被 external 关键字修饰的即是外部表, 即关联表。数据存储的不同也代表了这个表在理念是并不是Hive 内部管理的,而是可以随意临时链接到外部数据上的。所以,在删除外部表的时候, 仅仅是删除元数据(表的信息),不会删除数据本身。
2024-10-23 21:30:04
1033
原创 hiveserver与beeline
Beeline 是 JDBC 的客户端,通过 JDBC 协议和 Hiveserver2 服务进行通信,协议的地址是: jdbc:hive2://node1:10000。在启动 Hive的时候,除了必备的 Metastore服务外,bin/hive --service hiveserver2可以启动hive。在 hive 安装的服务器上,首先启动 metastore 服务,然后启动 hiveserver2 服务。bin/hive --service metastore ,启动的是元数据管理服务。
2024-10-22 21:30:24
416
原创 hive初体验
二:插入数据:INSERT INTO test VALUES(1,'王力红','男'),(2,'周杰轮','男' ),(3,'林志灵','女');一:创建表:CREATE TABLE test(id INT, name STRING, gender STRING);注意:Hive 的数据存储在 HDFS 的: /user/hive/warehouse 中。打开 YARN 的 WEB UI 页面查看任务情况: http://node1:8088。1.首先,确保启动了Metastore服务。
2024-10-22 21:23:15
289
原创 大数据之hive(分布式SQL计算工具)加安装部署
解压:命令: tar -zxvf /export/server/apache-hive-4.0.1-bin.tar.gz -C /export/server/设置软连接:ln -s /export/server/apache-hive-4.0.1-bin /export/server/hive。:SQL解析器:功能: SQL分析,SQL到MapReduce程序的转换,提交MapReduce程序运行并收集执行结果.命令: mv hive-env.sh.template hive-env.sh。
2024-10-21 21:35:54
2845
原创 hadoop的MapReduce提交任务到yarn实操
一:命令: hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.0.jar pi 3 1000。三:向hdfs文件系统提交要计算的文件: hadoop fs -put ./word.txt /input/一:创建文件夹供放入要计算的文件 hadoop fs -mkdir -p /input。二:创建计算结果输出的文件夹 hadoop fs -mkdir -p /output。
2024-10-20 20:16:32
451
原创 hadoop的yarn
服务器运行程序,运行程序所需的资源预先通知给resourcemanager,由resourcemanager通知给nodemanager进行调度,而nodemanager这边先搭建一个container(容器),把程序所需资源先占用放入container,再供给程序使用.程序向YARN申请所需资源, YARN为程序分配所需资源供程序使用,明显的担起了资源调度的职责。: 单个服务器的资源调度者,负责调度单个服务器上的资源提供给应用程序使用。一:/etc/hadoop/yarn-env.sh。
2024-10-20 19:33:14
1025
原创 hadoop的MapReduce
二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据。一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总。也就是一系列, 基于数据得出的结论。这些就是我们所说的计算。3.MapReduce(hadoop的计算组件)(hive的底层工具)二:编程接口:map(分散)与reduce(汇总)1.什么是计算(广义): 内容分析, 得到需要的结果。一:利用的是分散-汇总模式。
2024-10-19 21:17:10
333
原创 hdfs的分布式存储原理
namenode运行客户所操作的命令后,生成edits文件,操作的文件或文件夹放入namenode与datanode,而namenode的fsimage文件由secondarynamenode把namenode的edits文件拿过来进行合并,再返回到namenode里.将文件划分后,一个block丢失则原来的大文件没有用了.为了确保文件的安全性,hdfs提供了副本,也就是备份,将文件划分之后hdfs默认将每一个block。方式一:文件是hdfs.site.xml,默认是三个副本,基本无需修改。
2024-10-19 20:54:42
2316
原创 hdfs的客户端(big data tools插件)
4.在jetbrains公司的软件里下载big data tools插件:(在此展示的idea的)2.下载hadoop.dll文件和winutil.exe文件(网上自行查找)1.下载hadoop的压缩包在Windows,后解压。$HADOOP_HOME指向hadoop的文件夹。这时就big data tools客户端搭建完成。下载完把这两个文件放入hadoop的bin目录。方式二:URL:主机名:8020/选择big data tools。测试connected,OK了。
2024-10-18 15:57:12
486
2
原创 hdfs集群的shell操作
上传文件:hdfs dfs -put [-f] [-p] 下载:hdfs dfs -get [-f] [-p] ... 所属用户,用户组:hdfs dfs -chown [-R] 所属用户:所属用户组 文件路径。复制:hdfs dfs -cp [-f] ... 追加: hdfs dfs -appendToFile 移动:hdfs dfs -mv
2024-10-17 20:46:06
1084
原创 大数据之hadoop(hdfs部分)
4.hdfs:(全称:hadoop distributed file system):也就是Hadoop分布式文件系统,是一个Hadoop的中间组件.主要解决海量数据的存储工作。主角色:namenode(管理hdfs整个文件系统,管理database),带着一个secondarynode(辅助)3.主从模式(master-slaves):(中心化模式):一台master管理多台slaves工作。一.去中心化模式: 没有明确的中心点,协调工作 eg:kafka。命令: start-dfs.sh。
2024-10-15 21:33:15
1044
原创 Linux的Spark 环境部署
4.创建软连接 命令: ln -s /export/server/spark-3.5.3-bin-hadoop3 /export/server/spark。命令 scp -r /export/server/spark-3.5.3-bin-hadoop3 wtk1:/export/server/命令: ln -s /export/server/spark-3.5.3-bin-hadoop3 /export/server/spark。这就是spark的安装部署了。此时显示应用程序完成。
2024-10-14 19:54:51
1164
1
原创 Linux的HBASE数据库集群部署
命令: tar -zxvf /export/server/hbase-2.5.10-bin.tar.gz -C /export/server/ln -s /export/server/hbase-2.5.10 /export/server/hbase。命令: ln -s /export/server/hbase-2.5.10 /export/server/hbase。命令: cd /export/server/hbase-2.5.10/conf。命令: cd /export/server。
2024-10-14 19:05:55
1239
原创 Linux的hadoop集群部署
命令: wget https://mirrors.aliyun.com/apache/hadoop/common/hadoop-3.4.0/hadoop-3.4.0.tar.gz。五:修改配置文件hadoop-env.sh 命令: vi /export/server/hadoop-3.4.0/etc/hadoop/hadoop-env.sh。命令: ln -s /export/server/hadoop-3.4.0 /export/server/hadoop。
2024-10-12 21:42:12
1352
原创 Linux的kafka安装部署
5.复制文件到其他节点 命令: scp -r /export/server/kafka_2.12-3.8.0 wtk1:`pwd`/创建软连接 命令: ln -s /export/server/kafka_2.12-3.8.0 /export/server/kafka。命令: ln -s /export/server/kafka_2.12-3.8.0 /export/server/kafka。命令: cd /export/server/kafka_2.12-3.8.0/config。
2024-10-11 21:31:04
543
原创 Linux的zookeeper安装部署
命令(与第一个节点的软连接一样): ln -s /export/server/apache-zookeeper-3.5.9 /export//server/zookeeper。命令(我采用绝对路径): /export/server/apache-zookeeper-3.5.9-bin/bin/zkServer.sh start。命令: ln -s /export/server/apache-zookeeper-3.5.9 /export//server/zookeeper。
2024-10-11 20:35:57
1448
原创 Linux集群化软件安装,前置
一:在每台机子都执行 ssh-keygen -t rsa -b 4096 然后一路回车,直到退出(root权限执行)vim /etc/sysconfig/network-scripts/ifcfg-ens33 进入这个文件,操作请看我的文章。二:每台机子都执行(作用:让每台机子共享密码,切换就不再需要密码)8.关闭安全模块SELinux,防止后续出错(每台机子都执行)编辑文件: vi /etc/sysconfig/selinux。命令: vim /etc/hosts。2.配置各个主机IP地址。
2024-10-10 20:55:05
443
原创 Linux的ElasticSearch(简称es)安装部署
命令:rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch。(编辑文件):命令: vi /etc/yum.repos.d/elasticsearch.repo。一:命令:vim /etc/elasticsearch/elasticsearch.yml 编辑这个文件。命令:yum install -y elasticsearch。#74行,配置集群master节点。# 23行,设置节点名称。#17行,设置集群名称。
2024-10-10 19:19:14
548
大数据技术中Hadoop分布式文件系统(HDFS)的应用与解析
2025-03-09
大数据领域Linux-Shell编程核心技术与应用实例解析
2025-03-08
大数据技术之Hadoop架构详解与应用实例解析
2025-03-05
大数据处理环境中的Linux基础配置与优化指南
2025-03-01
前端开发中Web APIs的基本使用与深入理解
2024-11-13
JavaScript基础详细.7z
2024-11-12
Web前端JavaScript编程基础入门详解
2024-11-12
前端开发中Vue.js模板与指令详解及应用场景
2024-11-07
web前端设计与开发(详细整理)(包含html讲解,css讲解,移动web讲解)
2024-11-04
移动Web开发中的CSS变换与动画技术详解
2024-11-04
前端开发:全面解析CSS基础知识及其应用
2024-11-03
HTML基础知识详解与应用
2024-11-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人