- 博客(51)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 hive执行insert into报错：Failed to submit application_17224765330_0006 to YARN : root is not a leaf queue
在Hive中，可以通过设置队列来控制任务的执行优先级。这在大规数据处理中非常重要，可以帮助更好地管理资源和提高作业的执行效率。在Hive中，队列是由YARN资源管理器来管理的。可以通过设置Hive作业的属性来指定任务应该走哪个队列。
2024-08-19 15:57:00
422
原创 启动hive端口被占用问题：org.apache.thrift.transport.TTransportException: Could not create ServerSocket on addr
之前执行hive --service metastore 时未启动完全。jps命令查看Runjar端口号。kill -9 端口号即可。
2024-08-19 11:05:51
411
原创 Hive初始化元数据库报错：Underlying cause: java.sql.SQLNonTransientConnectionException : Public Key Retrieval i
Hive初始化元数据库报错：Underlying cause: java.sql.SQLNonTransientConnectionException : Public Key Retrieval is not allowed@
2024-08-19 10:31:37
576
原创 2000-2022年全国省/市级绿色金融指数数据
数据名称：2000-2022年全国省/市级绿色金融指数数据数据年份：2000-2022年样本数量：省级550+条，市级9600+条数据格式：面板数据数据来源：国家统计局、科技部、中国人民银行等权威机构网站及各种权威统计年鉴，包括全国及各省市统计年鉴、环境状况公报及一些专业统计年鉴，如 《中国科技统计年鉴》《中国能源统计年鉴》《中国金融年鉴》《中国农业统计年鉴》《中国工业统计年鉴》等。
2024-02-04 17:19:21
1334
原创 MySQL：表所在库及注释信息查找
DESC命令是MySQL中最常用的命令之一，它可以用来查看表的结构。在DESC命令后面加上表名，可以查看该表的所有字段信息，包括注释。 SHOW FULL COLUMNS命令可以显示表的详细信息，包括字段名、数据类型、默认值、注释等。
2023-09-15 08:56:18
2159
1
原创 数据预处理之数据缩放
在实践中，同一个数据集合中经常包含不同类别的变量。一个很大的问题是这些变量的值域可能大不相同。如果使用原值域将会使得值域大的变量被赋予更多的权重。针对这个问题，我们需要在数据预处理时对自变量或特征使用缩放的方法。特征缩放的目的是使得所有特征都在相似的范围内，因此建模时每个特征都会变得同等重要，并且更便于机器学习的算法进行处理。xscaledscalex−center 上面式子中，xscaled表示缩放后的数据，
2023-09-11 15:28:34
2305
原创 MySQL入门学习：约束、DQL和多表操作
前面所进行的查询都是横向查询，都是根据条件一行一行的进行判断，而使用聚合函数查询是纵向查询，它是对一列的值进行计算，然后返回一个单一的值；另外聚合函数会忽略空值。聚合函数作用count()统计指定列不为NULL的记录行数；sum()计算指定列的数值和，如果指定列类型不是数值类型，那么计算结果为0max()计算指定列的最大值，如果指定列是字符串类型，那么使用字符串排序运算；min()计算指定列的最小值，如果指定列是字符串类型，那么使用字符串排序运算；avg()
2023-07-14 10:36:55
440
原创 MySQL入门学习：DDL和DML
在设计表的时候，为了保证表中数据的完整性、有效性，比如用户表有些列的值（手机号）不能为空，有些列的值（身份证号）不能重复。主键约束(primary key) PK自增长约束(auto_increment)非空约束(not null)唯一性约束(unique)默认约束(default)零填充约束(zerofill)外键约束(foreign key) FK。
2023-07-11 17:02:36
601
原创 MySQL登录报错1130：1130 Host ***.***.***.*** is not allowed to connect to this MySQL server
原因分析：报错信息表示需要连接的数据库不允许其他主机进行访问，这是因为MySQL的系统数据库mysql中的user表没有配置远程访问主机的登录信息，只有localhost本地登录的信息（如下图）； 从Navicat登录MySQL时报错：1130 Host。
2023-07-05 16:13:02
8438
2
原创 Hadoop：DataNode启动失败：Initialization failed for Block pool
在启动Hadoop集群后，发现原本应该是启动三台机子的数据节点，结果只有一台node2成功启动，另外两台（node1、node3）并没有启动，如下两图所示：问题描述：确认配置信息没问题后，查看Hadoop下hdfs目录中的DataNode日志（配置文件中指定，比如笔者安装Hadoop所在路径为/export/server/hadoop/logs/hdfs），DataNode的日志文件为：cat该文件发现：问题分析：由于前一次启动Hadoop集群时，对node2这台机器上的Hadoop的
2023-07-03 22:41:28
2974
2
原创 Linux：scp命令
将node1主机上的test文件夹复制到192.168.88.131（即node2主机）上。同SSH登陆一样，账户名可以省略（使用本机当前的同名账户登陆）只要知晓服务器的账户和密码（或密钥），即可通过。协议完成文件的复制。其主要的功能就是：在不同的。服务器的同名路径下，一样，此处不再演示。
2023-06-28 14:51:13
8033
原创 Linux：安装tomcat
使用Xftp工具将tar.gz压缩包上传到/home/fovace/tomcat/目录中，以下操作命令都需要在fovace账户下操作。进入/home/fovace/tomcat/tomcat/conf文件修改server.xml中的tomcat端口。运行/home/fovace/tomcat/tomcat/bin下的shutdown.sh 就会关闭tomcat。但局域网内无法访问，而且服务器可ping通。运行/usr/local/tomcat8/bin/startup.sh就会启动tomcat，
2023-06-26 23:42:25
3496
原创 Linux：安装jdk
我们再查看bin目录，里面java的各种命令都在，因此下一步我们只需要把这个bin目录添加到环境变量里去，就能够直接运行下面的命令了。3、配置环境变量，刚才我们把tar.gz压缩包移动到/opt目录下后，再解压，因此可执行文件的路径就是/opt/jdk1.8.0_151/bin，我们把这个路径添加到环境变量文件.bash_profile里面去。（2）可以看到，jdk的路径确实已经在环境变量PATH里了，然后我们再执行java命令，看能否正确执行，如果能正确输出版本信息，说明安装正常。
2023-06-26 17:20:20
2012
原创 Linux：通过wget下载安装mysql数据库（5.7版本）
alter user 'root'@'localhost' identified with mysql_native_password by '你的密码';
2023-06-26 16:05:39
1798
原创 Linux：which、whereis和locate的比较
which命令本身用于对Linux上的命令程序存放位置进行查找，语法：which 命令或者程序名。注意：which只会到PATH变量下定义的路径下查找，如果不是在PATH变量定义的路径里，which找不到没有可执行的权限的脚本或者命令，如果复制到PATH变量对应的目录下，是否可以使用which去查找到？不能，which只能找到可执行文件。
2023-06-26 10:16:16
379
原创 Linux：主机状态监控
第三行：%Cpu(s)：CPU使用率，us：用户CPU使用率，sy：系统PU使用率，ni：高优先级进程占用PU时间百分比，id：空闲CPU率，wa：IO等待CPU占用率，hi：CPU硬件中断率，si：CPU软件中断率，st：强制等待占用CPU率。第二行：Tasks：进程，210 total：一共有210个进程，3 running：3个进程子在运行，207 sleeping：207个进程睡眠，0 stopped：0个停止进程，0 zombie：0个僵尸进程。rsec/s： 每秒读取的扇区数；
2023-06-15 09:41:56
388
原创 Linux：端口
端口是设备与外界进行通讯的出入口，端口可以分为物理端口和虚拟端口。地址可以看作一个小区的地址，而端口则可以看作门牌号。nestat -anp | grep 端口号。（查看本机指定端口号的占用情况）命令：nmap ip地址。地址对外暴露的端口）
2023-06-15 09:39:58
1119
原创 Linux：进程管理
TTY：启动此进程的终端序号，如果是”？“则表示进程不是终端启动的。PPID：进程的父ID（启动此进程的其他进程）CMD：进程的启动命令或者启动路径。TIME：进程占用CPU的时间。Kill [-9] 进程id。UID：进程所属的用户id。STIME：进程的启动时间。C：进程的CPU占用率。PID：进程的进程号。
2023-06-15 09:39:27
268
原创 Linux：IP地址和主机名
Linux中，通过ifconfig命令可以查看计算机的IP地址，如没有安装ifconfig命令，可以通过：yum -y install net-tools进行安装。IP地址目前有两个版本，IPv4和IPv6，目前最常用的是IPv4版本；IPv4版本的地址格式为a:b:c:d，a、b、c、d代表了0-255的数字。由此来看，可以通过配置hosts文件，实现通过主机名访问其他计算机的需求。1、IP地址：每个联网的电脑都会有一个地址，用于和其他计算机进行通讯。每台计算机除了有自己的ip地址，还可以有自己的名字。
2023-06-15 09:39:21
1558
原创 Linux：systemctl控制软件的启动和关闭
systemctl start | stop | status | enable |disable 服务名。1、systemctl命令：控制Linux系统上软件的启动、关闭、开启开机自启动和关闭开机自启动。
2023-06-15 09:35:26
1083
原创 Linux：chown命令
普通用户无法修改所属为其他用户或组，所以此命令只适用于root用户执行。Chown [-R] [用户] [:] [用户组] 文件或文件夹。
2023-06-15 09:34:49
1035
原创 Linux：chmod命令
权限可以用3位数字来代表，第一位数字表示用户权限，第二位表示用户组权限，第三位表示其它用户权限。Chmod [-R] 权限 文件或文件夹。
2023-06-15 09:31:11
4867
原创 Linux：查看权限控制信息
通过ls -l以列表的形式查看内容，并展示权限细节。第一个框：文件、文件夹的权限控制信息。第三个框：文件、文件夹所属用户组。第二个框：文件、文件夹所属用户。
2023-06-15 09:29:49
94
原创 Linux：root用户
2、由于root用户对系统具有最大的操作权限，很容易在使用中不小心对系统造成损坏，因此为了因为误操作给系统带来损坏，但又在不得不使用root用户执行某些命令或操作时，可以使用sudo命令来为普通的命令授权，实现临时以root身份执行的效果。但需要注意的是，并不是系统中的所有用户都可以使用sudo命令，而是需要先经过认证的用户才可以使用sudo命令对其他命令进行临时root用户授权。普通用户的权限一般都在home目录下，超过home目录后，普通用户在很多地方只有只读和执行的权限，但没有修改权限。
2023-06-15 09:29:29
2320
原创 Linux：用户和用户组
getent得出的信息有：用户名、密码（x）、用户id、用户组id、描述信息（无用，一般是空的）、home目录、执行终端。usermod -aG 用户组 用户名，将指定用户加入指定用户组。useradd [-g -d] 用户名。userdel [-r] 用户名。groupadd 用户组名。groupdel 用户组名。3、查看用户和用户组。
2023-06-15 09:29:03
380
原创 Linux：echo、tail命令和重定向符
tail [-f -num] linux路径。1、echo命令：可以在命令行内输出指定内容。2、反引号：被反引号包围的内容会被当作命令执行。3、重定向符：>和>>
2023-06-14 11:05:43
228
原创 Linux：cp、mv、rm命令
参数1：Linux路径，表示被复制的文件或文件夹。参数1：Linux路径，表示被移动的文件或文件夹。rm [-r -f] 参数1 参数2…r参数可选，用于对文件夹进行复制，表示递归。参数2：Linux，表示要复制去的目标地址。参数2：Linux，表示要移动去的目标地址。cp [-r] 参数1 参数2。mv 参数1 参数2。
2023-06-14 11:00:58
907
原创 Linux：which、find命令
1、which命令：在Linux中，一个个命令实际上就是一个个二进制的可执行文件，就等同于windows中的exe。和rm命令一样，find命令也可以使用通配符*，通配符的使用方法和rm命令一样。2、find命令：对Linux中的指定文件进行搜索，find命令有两种搜索方法。通过which命令可以Linux各命令的程序文件存在哪。find 起始路径 -size + | - n[kMG]find 起始路径 -name "被查找的文件名"
2023-06-14 10:59:57
160
原创 Linux：touch、cat、more命令
3、通过more命令也可以查看文件内容。touch linux路径。1、通过touch命令创建文件。
2023-06-14 10:59:48
177
原创 Linux：cd和pwd命令
2）相对路径：以当前目录为起点，描述路径的一种写法，路径描述无需以/开头。1）绝对路径：以根目录为起点，描述路径的一种写法，路径都是以/开头。2、通过pwd可以显示目前所在目录的路径信息，如上图中所示。当输入cd后直接回车，会直接切换到登陆用户所在目录。3、绝对路径和相对路径。
2023-06-14 10:57:48
345
原创 Linux：ls命令
2、在启动Linux命令行（terminal终端）时，系统会默认加载登录用户的home目录作为工作目录，每个Linux的操作用户都会在home目录下形成个人账户目录，也就是：/home/用户名。图中以“.”开头的表示的是Linux系统的隐藏文件/文件夹（只要以“.”开头就会自动隐藏）ls [-a -h -l] [linux路径]
2023-06-14 10:54:42
54
原创 Linux：初识
windows系统可以拥有多个盘符，比如c盘、d盘等，但Linux系统并不存在盘符这一概念，Linux下只有一个根目录，即“/”，所有文件都在这个根目录下。1、命令行：也就是Linux终端（terminal），是一种命令提示符页面，以纯字符的形式操作系统。Windows中，用“\“表示层级关系，Linux中，用”/“表示层级关系。图2-2 Linux内核、程序、硬件间的调度关系（图自黑马程序员课程）2、命令：也就是Linux程序，一个命令就是一个程序。图3-2 Linux中层级关系（图自黑马程序员课程）
2023-06-14 10:46:44
629
原创 R语言基础知识2：列表和数据框
在上一篇文章中，我们对R语言中的向量、矩阵、数组的相关知识做了简明扼要的介绍，在这一篇中，我们将对R语言的列表和数据框等两种常用的数据结构进行学习；1.列表1）列表的创建列表可以存放多种类型的数据，比如数字型和字符型；R语言中通过list()函数来实现列表的创建，见下：2）列表的重命名在Ｒ语言中，同样通过name()命令来实现对列表中元素的重命名，如下：2.数据框1）数据框的创建数据框可以说是R语...
2018-06-15 10:19:49
1224
原创 R语言基础知识1：向量、矩阵和数组
R语言作为大数据中常用到的基础软件，学习好R语言具有非常重要的作用在本部分的学习之中，我将对R语言的向量、矩阵、数组、列表、数据框等R语言常用到的数据形式做出简明扼要的总结；1.向量1.1 向量的创建...
2018-06-14 11:11:49
29448
原创 R语言 Scale函数
在我们做数据的时候，一个数据会有很多特征；比如在描述影响房价的因素，有房子面积，房间数量等。而不同的特征存在不同的量纲，为了消除量纲、数值差异等，我们就需要对数据进行中心化和标准化；那什么是中心化，什么是标准化呢？所谓中心化就是将数据减去均值后得到的，比如有一组数据(1，2，3，4，5，6，7)，它的均值是4，中心化后的数据为(-3，-2，-1，0，1，2，3)而标准化则是在中心化后的
2018-01-05 13:59:37
41299
kaggle泰坦尼克数据titanic
2019-01-09
MySQL学习手册
2017-09-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人