- 博客(267)
- 收藏
- 关注
RSS订阅原创 Java中的label与assert语句
语句用于在代码中添加断言，以在程序执行期间验证条件的真实性。断言主要用于测试，在开发调试过程中可以有效检测代码中的错误。语句用于标记代码块，以便于在嵌套循环或条件语句中跳出指定的代码块。时主动抛出异常（AssertionError）。语句默认是被禁用的，运行时需要手动开启，因此无法用于生产环境中。在某些情况下，我们可能需要在嵌套循环中跳出外层循环，这时。语句由标识符和冒号组成，通常用于循环结构中。语句就可以派上用场。在VM Options中添加。值得注意的是，Java中的。上述测试用例中，我们使用。
2025-03-18 22:20:03
179
原创 如何在Linux中切换用户？
的缩写，用于切换到另一个用户。切换到其他普通用户时，需要输入该用户的密码。允许普通用户以超级用户或其他用户的身份执行命令。命令时，系统会提示输入当前用户的密码。在Linux系统中，切换用户可以通过使用。值得注意的是，默认情况下，切换到。文件定义了哪些用户可以使用。以及他们可以执行的命令。文件，添加当前用户的。
2025-03-16 22:04:21
461
原创 腾讯混元大模型简介
1、大模型概述2、大模型、人工智能与机器学习3、腾讯混元大模型简介4、混元大模型训练及调优5、混元大模型训练数据大模型（Large Models）通常是指参数规模庞大、计算能力强大的人工智能模型，尤其在自然语言处理（NLP）、计算机视觉（CV）等领域表现突出。1）核心特点参数规模大：参数量从数亿到数万亿不等（如GPT-3有1750亿参数）数据量巨大：训练数据通常涵盖千亿级的文本、图像等多模态信息算力需求高：依赖高性能GPU/TPU集群，训练耗时数周甚至数月通用性强。
2025-03-16 21:13:35
675
原创 Hadoop的运行模式
项目本地模式伪分布式模式完全分布式模式file:///机器数量11N守护进程等等数据存储与输出Linux本地HDFS集群HDFS集群分布式模式需要启动一些守护进程 ，即在使用分布式Hadoop时，要先启动一些准备程序（HDFS和YARN守护进程），然后才能使用；而在本地模式下，不需要启动这些守护进程，将使用本地文件系统和本地MapReduce运行器。
2025-03-09 22:06:49
370
原创 十大数据科学Python库
所以，无论是在做气候建模、遗传研究，还是在构建一个可以预测您的猫是想要食物还是想要肚子挠痒的人工智能？如果我们把Matplotlib想象成经典摇滚，把Plotly想象成最新的流行乐，为您的可视化带来了互动性。您可以悬停、单击和深入，将您的数据故事变成沉浸式体验。您是在使用一根魔杖。您需要以引人注目的方式呈现你对数据的发现，这就是Matplotlib的用武之地。几笔下去，再加点污渍，"快乐的小图表"就会出现，为您的数据故事赋予生命。在一个充斥着视觉的世界里，OpenCV就是您的导盲犬，帮助您的算法理清头绪。
2025-03-08 19:12:46
827
原创 分布式光伏发电的发展现状与前景
随着社会的发展，能源需求日益增长。在我国，化石能源已日趋紧缺，传统不可再生资源的过度开发导致的生态问题已日益突出，并危机到我国未来的能源供给和能源安全。能源供给和环境保护是我国国民经济可持续发展的基本条件。提高可再生能源利用率，发展太阳能发电是改善生态、保护环境的有效途径。光伏发电由于其特有的可再生性和清洁性，在生产能源的同时，具有较好的生态环境亲和力。因此大力发展太阳能光伏发电已成为我国21世纪可持续发展国民经济和建设社会主义现代化刻不容缓的主要任务和战略目标。光伏发电主要分为集中式光伏发电与分布式光伏发
2025-03-08 17:53:28
1065
原创 FusionInsight MRS云原生数据湖
1.1、数据湖概述数据湖是一个集中式存储库，允许以任意规模存储所有结构化和非结构化数据。可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析， 从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策数据湖的价值在于它能够在更短的时间内从更多来源利用更多数据，并使用户能够以不同方式协同处理和分析数据，从而做出更好、更快的决策1.2、FusionInsight概述。
2025-03-06 23:21:31
903
原创 信创：信息技术应用创新产业
信创，即信息技术应用创新产业，最早来源于“信创工委会”（信息技术应用创新工作委员会），是在2016年由24家专业从事软硬件关键技术研究及应用的国内单位共同发起成立的一个非营利性社会组织信创是国家数据安全、网络安全的基础，是国家基于国产芯片和操作系统的PC、服务器、网络设备、存储设备、数据库、中间件等基础设施的技术创新。
2025-03-05 23:31:33
813
原创 SSH远程登录并执行命令
SSH是Linux中的远程连接管理工具，可以在本地服务器上通过SSH协议连接到远程服务器，并在远程服务器上执行命令。强制伪终端分配，这可用于在远程机器上执行任意基于屏幕的程序，这非常有用，例如在实现菜单服务时，多个。连接的命令时，系统会为用户分配一个TTY，以开启/运行一个Shell会话。SSH不仅可以用来登录远程服务器，还能完成服务器远程操作，从而实现远程自动化。服务会接收并执行该命令，然后将执行的结果返回给本地主机，最后本地主机的。可以将指定的命令发送到远程主机，远程主机的。
2025-03-02 17:53:25
711
原创 Linux中的date命令
指令是一个用于显示和设置系统日期和时间的基本工具，它不仅可以显示当前的日期和时间，还允许用户以不同的格式输出日期和时间，并进行日期时间的计算。在Linux操作系统中，当前日期时间（今天）
2025-02-24 22:43:26
543
原创 Shell文档归档、压缩与解压
用于解压缩文件时，对覆盖同名文件不做提示（如果目标文件已经存在，不会进行提示，直接覆盖），在执行该命令后，它将删除旧的未压缩的文件并只保留已压缩的版本。是Linux中最流行的压缩工具，具有较好的移植性，可在不同架构的系统中使用。可用于压缩与解压缩。打包是指将若干文件或目录变成一个总文件，压缩则是将一个总文件通过一些压缩算法（指令只能用来压缩文件，不能压缩目录，即使指定了目录，也只能压缩目录里的所有文件，一般后缀名为。的文件中，最初的设计目的是将文件备份到磁带（Tape ARchive）上，因而得名。
2025-02-22 18:24:31
761
原创 Linux中的nohup命令
是不挂断运行命令的意思。当账户退出或终端关闭时，程序仍然运行。命令执行作业时，该作业的所有输出将被缺省地重定向到。表示将错误输出2重定向到标准输出1；文件中，除非另外指定了输出文件。表示将标准输出1全部保存到。文件中（即清空、抛弃）
2025-02-22 16:13:06
259
原创 Linux中的Ctrl+C与Ctrl+Z
在Linux中，当我们在执行一个命令运行代码时，由于运行时间过长或中途出现报错，此时，我们可能需要终止该操作，这时候，该使用。将暂停当前进程并将其放到后台。可以在后续恢复执行，暂停的进程仍然占用系统内存。将终止进程，终止进程后，程序代码占用的内存会释放掉。的执行结果，其中，1372791为进程。
2025-02-19 22:53:31
624
原创 Apache Hive3定位表并更改其位置
ApacheHive3表类型的定义和表类型与ACID属性的关系图使得Hive表变得清晰。表的位置取决于表的类型。您可以根据其支持的存储格式选择表的类型您可以创建ACID（原子性、一致性、隔离性和持久性）表用于不受限制的事务或仅插入的事务。这些表是Hive托管表。数据与Schema一起位于HiveMetastore中。或者您可以创建一个外部表用于非事务性使用。数据位于HiveMetastore外部。Schema元数据位于HiveMetastore内部。
2025-01-19 17:43:17
1380
原创 CDP中的Hive3之Apache Hive3特性
Cloudera数据平台(CDP)服务，提供Apache Tez执行的Apache Hive SQL数据库Hive on Tez服务提供基于Apache Hive3的基于SQL的数据仓库系统。Hive3中相对于以前版本的增强可以提高SQL查询性能、安全性和审计功能Hive Metastore(HMS)是一个单独的服务，不是Hive的一部分，甚至不一定在同一个集群上。HMS将元数据存储在后端，用于Hive、Impala、Spark和其他组件。
2025-01-12 17:51:41
1228
原创 CDP中的Hive3之Hive Metastore（HMS）
CDP中的Hive Metastore（HMS）是一种服务，用于在后端RDBMS（例如MySQL或PostgreSQL）中存储与Apache Hive和其他服务相关的元数据。当您在CREATE TABLE语句中使用EXTERNAL关键字时，HMS会将表存储为外部表。当您省略EXTERNAL关键字并创建托管表或摄取托管表时，HMS可能会将表转换为外部表，或者创建表可能会失败，这具体取决于表的属性。HMS检测与HMS交互的客户端类型，例如Hive或Spark，并将客户端的能力与表的需求进行比较。
2025-01-12 16:34:46
1162
原创 文件传输协议FTP、SFTP与FTPS
服务器收到Pasv命令后，打开一个临时端口（大于1024小于65535），并且通知客户端在这个端口上传送数据的请求，客户端连接FTP服务器此端口，然后FTP服务器将通过这个端口传送数据。同时，它也是一个应用程序。假设用户正在拷贝的文件包含的简单ASCII码文本，如果在远程机器上运行的不是UNIX，当文件传输时，FTP通常会自动地调整文件的内容以便于把文件解释成另外一台计算机存储文本文件的格式。但通常会有这样的情况，用户正在传输的文件包含的不是文本文件，它们可能是程序，数据库，字处理文件或压缩文件。
2024-12-31 22:49:03
1564
原创 Maven打包方式
Maven可以使用指令对项目进行打包，如果使用执行文件，会出现没有设置Main-Class、ClassNotFoundException（找不到依赖包）等错误要想包能直接通过运行，需要满足：使用Maven有以下几种方式可以生成能直接运行的包：和是默认的打包方式，用来将普通的Project打成包可以使用或选择只打包的部分内容用于生成META-INF/MANIFEST.MF文件的部分内容：例如，下面是一个通过插件生成的MANIFEST.MF文件片段：只是生成MANIFEST.MF文件还不够，插件用于将依赖包
2024-12-29 23:11:02
1243
原创 Spark写入HDFS数据SUCCESS文件生成控制
与Hive不同，MapReduce和Spark在执行写入HDFS数据任务时，数据输出目录一般都会有一个名为。机制，Spark任务在运行时会从配置中获取指定的实现类，如果没有指定，Spark默认会使用。此时，可以在 Spark代码中加以限制，不生成。的实现类，空实现其中的所有方法，即什么也不做，因此也就无法生成。但有些时候，在读取HDFS中的数据时，有。的空文件，该文件仅用来表示任务执行成功。在Hadoop的源码中，有一个抽象类。，所以我们平常跑的任务基本都会输出。的实现中，Hadoop会根据参数。
2024-12-29 22:02:50
728
原创 Java删除文件夹
删除目录（文件夹）是比较常见的操作。在Java中，删除目录常用的实现方式包括：使用递归方式删除目录及其中的文件、使用Commons IO库的FileUtils类删除目录及其中的文件等。也可以使用第三方库（依赖）提供的各种工具类和方法，例如，使用Commons IO库的FileUtils类删除目录及其中的文件。方法可以删除文件和空目录，可以使用该方法递归的方式删除目录及其中的文件。该方式需要在Maven项目的。
2024-12-29 18:42:10
870
原创 Linux计算时间差
在Linux中，计算时间差通常是为了统计、监控或调试。时间差可以用来衡量任务执行的时间，或者两个事件之间的间隔。例如，响应时间、执行时间、定时任务与延时处理等。需求描述：删除HDFS上指定目录下超过3天的文件。
2024-12-17 22:47:15
608
原创 URL的概念与格式
URL（Uniform Resource Locator）即统一资源定位符，是一种用于标识和定位互联网上资源的字符序列URL主要用于在Web中标识和定位Web页面、图像、文件、服务和其他各种类型的资源URL提供了一种统一的、标准化的方式来描述资源的位置，使得用户和应用程序能够方便地访问这些资源。
2024-12-17 21:52:33
1045
原创 Windows如何识别Linux主机名？
Linux开发时，通常会涉及到IP地址，可以通过设置主机名来代替IP，以方便记忆和使用。但是，其它服务器或Windows如何识别这个主机名呢？值得注意的是，由于Windows与Linux交互会遭到防护墙的阻断，因此，需要将Windows和Linux的防火墙都关闭。只需要在声明本机的同时，添加声明要识别的其他主机即可。通其它Linux服务器呢？同理，只需要设置Windows下的。添加声明要识别的Linux主机即可。
2024-12-08 16:49:42
323
原创 Hive分区表新增字段并指定位置
即就是，默认RESTRICT只变更新分区的表结构（新分区元数据），而CASCADE不仅变更新分区的表结构（新分区元数据），同时也级联变更旧分区的表结构（旧分区元数据）CHANGE COLUMN CASCADE命令修改表元数据的列，并将相同的更改级联到所有分区元数据。CASCADE不仅可以变更新分区的表结构（元数据），同时也会级联变更旧分区的表结构（元数据）针对分区表新增字段不加CASCADE关键字时对于历史分区新插入的数据，新增的列数据都会显示为NULL，其它已有列的数据则显示正常。
2024-12-01 18:22:59
1851
原创 Maven打包命令
问题的原因也很简单，因为未将Jar包正确安装到Maven本地仓库中。由于Jar包未开源，如果强行将Jar包放入Maven本地仓库，Maven将因Jar包缺失信息而无法识别。只需要将未开源的Jar使用Maven打包命令安装到Maven本地仓库即可。如果按照依赖冲突和加载依赖失败问题来处理，排除冲突的依赖、下载加载失败的对应版本依赖，这无疑将是徒劳的。文件中直接引入公司内部研发的SDK Jar包时，Jar包将爆红，报错显示依赖冲突、加载依赖失败等。安装在Maven本地仓库中的Jar依赖将在。
2024-11-24 23:43:47
668
原创 Windows10输入开机密码后白屏/黑屏问题解决
是Windows的文件资源管理器，负责管理Windows的图形界面，包括桌面、开始菜单、任务栏和文件管理。它是微软为Windows操作系统定义的核心进程，提供了图形用户界面（GUI），使得用户可以与系统进行交互。昨天，在电脑输入开机密码进入系统后，出现了黑屏现象。起初是白屏，于是，重新输入密码试了几次，之后都是黑屏，最后重启、关机都试了仍然是黑屏，只能看到鼠标。是一个系统核心进程，当它在任务管理器中被结束后，会导致桌面、任务栏等消失。经过查找资料，因为我电脑安装了火绒，发现是火绒把Windows系统的。
2024-11-24 17:06:52
2454
原创 Java正则提取字符串中的第N个子串
正则表达式是一种强大的文本匹配工具，在Java中，使用正则表达式可以方便地实现对字符串的匹配和子串提取。另外，值得注意的是，除了上述写法外，其它写法都不对。上述代码首先检查匹配器是否找到匹配的字符串，然后使用。方法获取匹配到的子字符串。
2024-11-16 16:43:53
328
原创 Spark：不能创建Managed表，External表已存在...
由于基于Spark on Hive，因此，Spark在获取Hive表的数据时会先去获取Hive的元数据信息，因此，Spark建表会先根据元数据信息校验管理表是否存在，如果已经存在一个相同的管理表，Spark建表则会报如上异常。事情的起因也很简单，由于我们使用的是Spark数仓，即Spark on Hive模式，相较于Hive，Spark建表默认为外（External）表，而Hive是管理（Managed）表。执行SparkSQL，加载Hive的配置文件，获取Hive的元数据信息。不得不说，这个报错很奇怪…
2024-11-10 17:42:25
554
原创 Java中文日期转换为英文日期
值得注意的是，解析中文日期字符串必须确保其格式与SimpleDateFormat对象中指定的日期格式相匹配，否则程序将抛出ParseException异常。最后，我们创建了一个英文日期格式的SimpleDateFormat对象，并使用。上述示例中，我们定义了一个中文日期格式的SimpleDateFormat对象，并指定了Locale为。通过使用Locale类来指定地区和语言，可以轻松实现日期国际化，以提高日期的在不同语言要求下的适用性。在Java中，将中文日期转换为英文日期涉及到日期国际化。
2024-11-10 15:18:12
545
原创 SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder”
SLF4J（Simple Logging Facade for Java）是一个为Java程序提供日志输出的统一接口，并不具备具体的日志实现方案，类似JDBC，SLF4J只做两件事：提供日志接口、提供获取具体日志对象的方法SLF4J只是一个日志标准，并不是日志系统的具体实现。SLF4J允许我们选择合适的日志框架（如Log4j、Logback等）实现日志输出功能。
2024-11-04 23:13:17
1471
原创 Java数组与列表切片
方法来实现对Collection的切片操作。该方法从原集合中截取指定范围的元素，返回一个新集合作为切片结果。例如，在解析Excel时，数据行的长度应该与首行列的数量保持一致。方法来实现对数组的切片操作。该方法从原数组中复制指定范围的元素，返回一个新数组作为切片结果。以对数组和列表等变量进行切片。Java则提供了与之类似的方法来实现数组与列表的切片。该方法复制原数组到新长度的数组，并在对应空缺位置补。值得注意的是，Java中的截取（切片）都是左闭右开的。在Java中，可以通过。在Java中，可以通过。
2024-10-31 22:49:32
247
原创 Python与Shell互操作及数据交互
Shell脚本是一个包含多个Shell命令的文本文件，可用于自动化系统任务。Shell脚本直接在操作系统上运行，语法简单直观，执行效率高，适合批量执行命令、处理文件、管理系统等。Python提供了强大的库和工具，可以轻松地执行各种自动化任务，例如文件操作、数据处理和系统管理；Shell则可以方便地调用操作系统的命令和工具，实现更底层的控制和管理。Python作为一门强大的脚本语言，能够与Shell脚本完美结合，为我们提供高效、灵活的解决方案。函数会返回一个0，该函数不会返回Shell命令执行的结果。
2024-10-27 23:17:26
725
原创 CentOS7配置本地Yum源
Yum（Yellow dog Updater，Modified）是一个基于RPM（Red-Hat Package Manager）包构建的软件管理机制，可以自动从指定服务器下载并安装RPM包，并处理依赖关系使用Yum下载更新软件，需要有一个包含各种RPM安装包及其依赖的仓库（Repository），提供仓库的服务器称为源服务器，客户机只需要正确指定仓库的地址等信息，就可以通过对应的源服务器来下载或更新软件配置本地Yum源适用于虚拟机没有网络或者网络不稳定的情况。
2024-10-26 18:23:14
2320
原创 Linux安装Python解释器
在Linux中编译安装软件，例如Python，这通常包括如下步骤：下载源码包，配置，编译和安装。安装的Python可以通过绝对路径的方式来执行，但过于麻烦。Linux中可以为安装的Python设置软链接（类似于Windows中的快捷方式）是Linux中的一个脚本配置工具，用来对源码的当前安装环境进行检测，若检测无误，会在当前目录生成一个供源码编译的Makefile脚本文件。是Linux系统下的一个编译安装工具，用来解释执行Makefile文件中的编译以及安装命令。命令将左边的路径设置为右边路径的软链接。
2024-10-21 22:52:30
602
原创 Linux：无法为立即文档创建临时文件: 设备上没有空间
很明显，设备上没有空间，即磁盘空间不足。首先想到的是虚拟机扩容。因此，我们选择清理大文件或将大文件备份到其它机器。至此，我们为第一台机器释放了4.5GB的磁盘空间。点击硬盘，点击扩展，发现需要删除快照才能扩容。下的压缩包删除或备份，这里为安全起见，我们将。下的压缩包分为两批分别备份到其它机器的。下是压缩包解压文件，因此，只能将。然后查看占用空间最大的文件夹。将剩余第二批压缩包发送到。将第一批压缩包发送到。
2024-10-04 22:22:29
1298
原创 Shell文本处理(三)
在Shell中，字符串没有单独的数据类型，一切都是变量。但这并不意味着我们不能像在Java、Python等其他编程语言中那样处理字符串。（n为正数）个字符（冒号后必须空一格）（中文之间及前后的大小写字母保留）（中文之间及前后的小写字母保留）不能使用扩展正则表达式，只能用。：将连续的空格压缩成一个空格。中间的部分（n为正数）：删除第一次出现的子串。：从前往后匹配到第一个。：从后往前匹配到第一个。：去除字符串首尾的空格。：左闭右闭，从0开始。替换第一次出现的子串。
2024-10-02 17:46:33
638
原创 sed引入变量中的坑
等转义字符先替换为非转义字符，再引用替换后的变量，最后再替换回来。指令引入变量，直接使用双引号即可。解决方案如下：将变量值中的。但是，如果变量值中带有。
2024-10-02 17:37:54
310
原创 Excel下拉菜单制作及选项修改
Excel支持下拉框制作，通过预设选项进行菜单选择，可以避免手动输入错误和重复工作，提升数据输入的准确性和效率。根据第一节的制作原理，我们只需要在原数据源的后面编辑要添加的选项，然后在步骤4中修改数据源区域即可。：在来源输入框中选择作为下拉选项的数据源区域，或手动输入选项（中间使用英文逗号隔开），点击确定。：数据 -> 数据验证（有效性） -> 数据验证（数据有效性）如果要在原来的选项基础上添加一个选项，应该如何操作？：选择设置选项卡，在允许中选择序列或列表。：选中要设置下拉框的单元格（区域）
2024-10-02 15:07:20
2578
原创 Shell文本处理(二)
指令可以将每个文件以列对列（行对行）的方式按列（行）合并，以制表符为分隔符，水平（垂直）合并文件。（Word Count）指令主要用于计算文件的字数、字节数和行列数。（Text Replacer）指令主要用于对来自标准输入设备的数据进行替换、压缩和删除。指令主要用于文本的行排序。指令主要用于从文件或标准输入的每行中提取字段并输出到标准输出。指令主要用于检查和删除文本文件中重复出现的行列，通常与。通常用来截取文件行中的指定部分，删除文件中的指定字段。主要用于将管道或标准输入（指令主要用于合并文件的列。
2024-09-21 23:56:01
277
原创 Shell编程基础
1.1、什么是Shell脚本Shell脚本是一种用Shell语言编写的脚本程序。Shell既是一种命令语言，又是一种程序设计语言在Unix和类Unix环境（例如Linux和Mac OS）下，我们可以通过Shell来与操作系统进行交互Shell脚本就像是一个命令序列的集合，将这些命令写入一个文件，就构成了一个Shell脚本1.2、Shell脚本的应用场景Shell脚本的主要作用是自动化执行常用命令和任务，节省手动执行的时间和精力。系统管理：自动化安装和配置软件，系统监控，日志分析等文件操作。
2024-09-08 18:27:38
402
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人