<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_43688472的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_43688472</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_43688472]]></copyright><item><title><![CDATA[docker环境安装n8n]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/147422503</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/147422503</guid><author>qq_43688472</author><pubDate>Tue, 22 Apr 2025 15:14:18 +0800</pubDate><description><![CDATA[n8n‌ 是一个开源的低代码自动化工作流工具，允许用户通过可视化界面连接不同的应用程序和服务，实现任务自动化。5.更换docker镜像源新建或修改 /etc/docker/daemon.json 文件。2、初次访问http://localhost:5678/，需要填写信息。1、执行以下命令可部署n8n，（版本1.8.2）【下载较慢】]]></description><category></category></item><item><title><![CDATA[MySQL数据库主库连接数被打满了，无法进行查询操作]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/145488553</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/145488553</guid><author>qq_43688472</author><pubDate>Fri, 07 Feb 2025 10:06:46 +0800</pubDate><description><![CDATA[当MySQL数据库主库连接数已满且无法释放，且无法进行主从切换时，需要通过操作系统层面的干预来解决问题。通过杀死无用连接、重启MySQL服务、调整数据库连接数等手段，可以恢复数据库的正常运行。在长期运维中，需要优化应用程序的连接管理、监控数据库性能，并做好数据库的容量规划和故障恢复预案，以确保系统的高可用性和稳定性。]]></description><category></category></item><item><title><![CDATA[【打dunp和堆栈的脚本】]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/141101684</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/141101684</guid><author>qq_43688472</author><pubDate>Sun, 11 Aug 2024 09:51:38 +0800</pubDate><description><![CDATA[本人在我们的生产环境执行的时候，其中在$PID传入参数的时候，并没有实现的真正的入参，用了很多方法，都没有传入成功。最近在要写一个打dunp和堆栈的脚本，方便后期操作的。（环境：使用了的容器的，在宿主机上跑脚本）将参数写死，是没有问题的。]]></description><category></category></item><item><title><![CDATA[pgsql（guass）可获取到对应的表名称、字段名称、注释、字段类型]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/140470217</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/140470217</guid><author>qq_43688472</author><pubDate>Tue, 16 Jul 2024 16:34:05 +0800</pubDate><description><![CDATA[【代码】pgsql（guass）可获取到对应的表名称、字段名称、注释、字段类型。]]></description><category></category></item><item><title><![CDATA[doris挂了一个be报错ERRCODE = 2, DETAILMESSAGE = 678910 HAVE NO QUERYABLE REPLICAS. ERR: 678911‘S BACKEND 1]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/136176505</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/136176505</guid><author>qq_43688472</author><pubDate>Mon, 19 Feb 2024 19:00:22 +0800</pubDate><description><![CDATA[这个错误表明在执行SQL查询时，出现了无法查询的副本错误。最后，如果出现了集群ID无效的错误，通常是因为Master FE发送的心跳信息中的集群ID与本地存储的集群ID不一致，导致拒绝响应心跳。你需要确保所有节点都在正确的集群中，然后尝试修改FE节点中metadata目录下的image/VERSION文件中的集群ID值，并重启FE节点。另外，你还可以尝试执行show backends/frontends语句来查看后端/前端的信息，但是如果集群有多个FE（前端）节点，可能会出现信息不完整的情况。]]></description><category></category></item><item><title><![CDATA[Error in query: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.thrift.TApplicationExce]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/135704479</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/135704479</guid><author>qq_43688472</author><pubDate>Fri, 19 Jan 2024 18:32:39 +0800</pubDate><description><![CDATA[这个错误通常是由于Hive配置参数的问题引起的。根据Cloudera社区的一篇帖子，他们在升级Cloudera版本时遇到了类似的问题，并通过更改Hive配置参数 “hive.metadata.dml.events” 的值为 “false” 来解决了这个问题。这个参数控制是否启用Hive元数据DML事件。你可以尝试将这个参数设置为 “false”，然后重新运行你的查询，看看问题是否得到解决。以下是一个伪代码示例，演示如何使用Python的PyHive库来连接Hive并设置Hive配置参数：python。]]></description><category></category></item><item><title><![CDATA[Hive中支持毫秒级别的时间精度]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/135275801</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/135275801</guid><author>qq_43688472</author><pubDate>Thu, 28 Dec 2023 18:23:49 +0800</pubDate><description><![CDATA[实际上，Hive 在较新的版本中已经支持毫秒级别的时间精度。你可以通过设置 hive.exec.default.serialization.format 和 mapred.output.value.format 属性为 1，启用 Hive 的时间精度为毫秒级。最后，还需要注意的是，对于旧版本的 Hive，使用字符串或整数来处理毫秒级时间仍然是一种有效的替代方法。请注意，在设置这些属性之前，请确保你的 Hive 版本支持毫秒级时间精度，并且与底层的存储和查询引擎（如 Hadoop）兼容。]]></description><category></category></item><item><title><![CDATA[hive在执行elect count(*) 没有数据显示为0（实际有数据）]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/135268175</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/135268175</guid><author>qq_43688472</author><pubDate>Thu, 28 Dec 2023 14:18:49 +0800</pubDate><description><![CDATA[当该选项设置为 false 时，Hive 将不会使用任何统计信息来帮助决定查询的执行计划。禁用统计信息的主要原因是统计信息可能不准确或过时，或者在某些情况下，使用统计信息并不会带来明显的性能提升。因此，禁用统计信息可以使查询的执行计划更加稳定，而不会受到统计信息本身的影响。是 Hive 的一个配置选项。建表以location的方式加载数据，此时元数据还没有记录新的数据，当执行 count(*) 时，系统会自动到元数据中读取数据，此时元数据是没有数据的。但需要注意的是，禁用统计信息可能会导致查询的性能下降。]]></description><category></category></item><item><title><![CDATA[运行hive的beelin2时候going to print operations logs printed operations logs]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/135089463</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/135089463</guid><author>qq_43688472</author><pubDate>Tue, 19 Dec 2023 17:09:26 +0800</pubDate><description><![CDATA[【代码】运行hive的beelin2时候going to print operations logs printed operations logs。]]></description><category></category></item><item><title><![CDATA[Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job faile]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/135065469</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/135065469</guid><author>qq_43688472</author><pubDate>Mon, 18 Dec 2023 16:25:28 +0800</pubDate><description><![CDATA[还有一些其他可能的原因，例如内存不足、Hive配置参数等。可以尝试调整Hive on Spark的相关配置参数，例如mapred.map.child.java.opts和mapred.reduce.child.java.opts，以及hive.auto.convert.join等参数，来解决内存不足的问题。最后，建议查看Spark任务的详细日志，以获取更多关于作业失败的具体原因。这可能是由于多种原因导致的，例如内存不足、JSON数据格式错误、缺少JSON Serde等。]]></description><category></category></item><item><title><![CDATA[datax插件加载失败（插件[ftpreader,hdfswriter]加载失败）]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/134968377</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/134968377</guid><author>qq_43688472</author><pubDate>Wed, 13 Dec 2023 11:50:45 +0800</pubDate><description><![CDATA[Exception:Code:[Framework-12], Description:[DataX插件初始化错误, 该问题通常是由于DataX安装错误引起，请联系您的运维解决 .]. - 插件加载失败,存在重复插件:/usr/lib/datax/plugin/writer/txtfilewriter/plugin.json 2023-12-13 10:40:10,293 INFO -插件加载失败，可能是由于插件本身存在问题或者DataX安装有误导致的。，我中间也试过把插件单独重新加载，但是也失败了的。]]></description><category></category></item><item><title><![CDATA[大数据集群增加数据盘，平衡数据盘HDFS Disk Balancer]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/134783437</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/134783437</guid><author>qq_43688472</author><pubDate>Mon, 04 Dec 2023 14:35:45 +0800</pubDate><description><![CDATA[官网：https://hadoop.apache.org/docs/r3.3.6/hadoop-project-dist/hadoop-hdfs/HDFSDiskbalancer.html。报告命令提供将从运行磁盘平衡器中受益的指定节点或顶级节点的详细报告。节点可以由主机文件或逗号分隔的节点列表指定。取消命令取消正在运行的计划。重新启动数据节点与取消命令具有相同的效果，因为数据节点上的计划信息是暂时的。]]></description><category></category></item><item><title><![CDATA[ERROR org.apache.spark.executor.Executor: Exception in task 0.0 in stage 1.0 (TID 8): Java heap spac]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/134685132</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/134685132</guid><author>qq_43688472</author><pubDate>Wed, 29 Nov 2023 11:08:46 +0800</pubDate><description><![CDATA[后来又出现了了这种问题，资源给大也解决不了问题，最后通过各种尝试，发现增大partition数量，问题就解决了。参数：.config(“spark.sql.shuffle.partitions”, 500)，原本默认是200，这里增大到500.其实还是资源问题，将executor内存给大点，executor数量也大点，问题就解决了，具体配置根据自己集群情况分配调试。]]></description><category></category></item><item><title><![CDATA[dolphinscheduler的优化参数的优化]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/134662262</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/134662262</guid><author>qq_43688472</author><pubDate>Tue, 28 Nov 2023 10:49:19 +0800</pubDate><description><![CDATA[启用任务重试（taskRetryTimes）：在任务失败时，可以设置任务的重试次数，以增加任务的执行成功率。根据任务的特性和运行环境，可以适量增加任务的重试次数，但需要注意避免任务出现无限重试的情况。根据集群的规模和硬件资源的情况，可以适当增大该参数的值，以提高任务的并发执行能力。调整任务资源配置：根据任务的类型和资源需求，可以调整任务的内存、CPU 和磁盘等资源配置，以最优化任务的运行效率。“任务依赖”的任务实例，不占用运行实例名额，原因是“任务依赖”的任务实例不占用资源；]]></description><category></category></item><item><title><![CDATA[dolphinscheduler:worker worker in work group default have not received the heartbeat问题]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/134660787</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/134660787</guid><author>qq_43688472</author><pubDate>Tue, 28 Nov 2023 10:09:28 +0800</pubDate><description><![CDATA[在后续的版本中也已经修复的。]]></description><category></category></item><item><title><![CDATA[dolphinscheduler有任务一直在运行（问题）目前对数据库解决]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/134559391</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/134559391</guid><author>qq_43688472</author><pubDate>Wed, 22 Nov 2023 18:14:39 +0800</pubDate><description><![CDATA[其实对于dolphinscheduler的性能是下降的，比如页面会出现打不开，卡顿现象。这么多的任务没有结束，会涉及很多问题的，系统的数据盘会不断入职日志，数据量很大，目前是通过数据库更改任务状态解决的。11 - 等待依赖项完成。]]></description><category></category></item><item><title><![CDATA[在 Hive on Spark 使用 YARN 的 cluster 模式下，作业被调度到集群中的多个节点上执行。但是，有时候作业可能会在单个节点上运行，导致其他节点处于空闲状态的原因]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/134419331</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/134419331</guid><author>qq_43688472</author><pubDate>Wed, 15 Nov 2023 14:25:33 +0800</pubDate><description><![CDATA[某些任务可能天然倾向于在单个节点上运行，例如涉及到大量的 shuffle 操作时，可能会导致数据倾斜和任务在单个节点上执行。：如果数据本身存在倾斜或者部分数据范围较小，可能导致作业在某些节点上运行时占用了大量的资源，而其他节点相对空闲。解决方法：对数据进行合理的分区和处理，避免数据倾斜，确保数据能够均匀地分布在集群中的各个节点上。解决方法：检查集群中各个节点的资源配置，确保它们的配置相对均衡，以确保集群资源能够充分利用。：作业涉及大量的数据传输时，可能会受到网络带宽的限制，导致作业集中在某些节点上执行。]]></description><category></category></item><item><title><![CDATA[Windows 开启 Kerberos 的火狐 Firefox 浏览器访问yarn、hdfs]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/134165287</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/134165287</guid><author>qq_43688472</author><pubDate>Wed, 01 Nov 2023 16:57:55 +0800</pubDate><description><![CDATA[host1.com.cn,host2.com.cn,host3.com.cn 写具体主机名，以逗号分隔。2、在搜索栏内输入 network.negotiate-auth.trusted-uris。3、在搜索栏内输入 network.auth.use-sspi，将值设置为 false。1、打开浏览器，地址栏输入 about:config。4、本地登陆 Kerberos。.com.cn，.通配符写法。5、访问 WebUI。]]></description><category></category></item><item><title><![CDATA[生态扩展：Flink Doris Connector]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/134146810</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/134146810</guid><author>qq_43688472</author><pubDate>Tue, 31 Oct 2023 19:07:09 +0800</pubDate><description><![CDATA[doris官网：https://doris.apache.org/docs/ecosystem/flink-doris-connector。flink环境配置：vim /etc/profile。复制到flink的lib目录。]]></description><category></category></item><item><title><![CDATA[生态扩展Spark Doris Connector]]></title><link>https://blog.youkuaiyun.com/qq_43688472/article/details/134146773</link><guid>https://blog.youkuaiyun.com/qq_43688472/article/details/134146773</guid><author>qq_43688472</author><pubDate>Tue, 31 Oct 2023 18:43:36 +0800</pubDate><description><![CDATA[将编译好的spark-doris-connector-3.3_2.12-1.3.0-SNAPSHOT.jar复制到spark的jars目录。在源码目录下执行： sh build.sh 根据提示输入你需要的 Scala 2.12与 Spark3.2.3 版本进行编译。代码库地址：https://github.com/apache/doris-spark-connector。修改custom_env.sh.tpl文件，重命名为custom_env.sh。spark环境配置：vim /etc/profile。]]></description><category></category></item></channel></rss>