petrel2015-优快云博客

原创【StoryBank】实战复盘：软链接引发的Log4j2日志滚动失效之谜——STAR模型拆解从诡异现象到精准定位的全流程

技术组件的默认行为往往是平衡安全与功能的产物，当业务需求与默认行为冲突时，深入理解底层机制才能找到“开关”，而非盲目推翻重来。

2025-03-01 10:43:52 579

原创【StoryBank】实战复盘：Spark迁移Kubernetes日志存储难题的破局之道——STAR模型拆解从问题定位到优雅解决的全过程

实战复盘：Spark迁移Kubernetes日志存储难题的破局之道——STAR模型拆解从问题定位到优雅解决的全过程

2025-02-19 08:45:00 271

原创【Spark】查询优化中分区（Partitioning）和分桶（Bucketing）是什么关系？什么时候应当分区，什么时候应当分桶？

分区和分桶是什么关系？看似相同，其实不同。那么我们什么时候用分区，什么时候用分桶呢？通过这一篇文章，让你不再有“选择恐惧症”

2025-03-19 10:17:01 765

原创【云原生】云原生应用的12要素

云原生应用的12要素是一套设计原则，旨在帮助开发者构建可扩展、易于维护和能够充分利用现代云计算平台优势的应用程序。这些原则最初由Heroku提出，并在业界得到了广泛的认可。以下是这12个要素的概述，以及我在开发过程中实践的一些经验。

2024-10-24 08:45:00 796

原创【云原生】云原生定义是什么？解决了哪些痛点

高度分布式（对应能力1，3，4）不断变化（对应能力2，4）云原生应用是高度分布式的，必须在一个不断变化的环境中运行，而且自身也在不断发生变化云原生技术组织能够在现代，动态环境（共有云，私有云，混合云构建运行可扩展应用程序，容器，服务网格，微服务。）这些技术松散耦合的系统具有弹性，可管理性和可观察性，结合强大的自动化能力，他们使工程师可以频繁且可预测的以最小的工作量响应。

2024-10-22 08:45:00 241

原创【Spark】性能测试以及调优思路

通过测试前中后三个阶段来详解Spark性能测试及调优思路

2024-09-26 08:30:00 821

原创 [Spark] Spark部署方式的异同以及对应适用场景

Spark部署方式的异同以及对应适用场景

2024-09-23 08:15:00 538

原创【Spark性能调优】长尾任务如何优化

深入浅出的介绍了如何解决Spark长尾任务导致的性能问题。通过理论和实践相结合的方式，告诉读者如何调，为什么这么调。

2024-09-17 08:15:00 484

原创【Spark性能调优】Spark Application启动资源规格调优

深入浅出的介绍了在资源一定的情况下，Spark Application如何分配资源能更高效的执行任务。通过理论和实践相结合的方式，告诉读者如何调，为什么这么调。从资源分配角度解决Spark性能问题

2024-09-12 08:15:00 533

原创【Java】序列化和反序列化

当场景是跨语言时，优先使用Protobuf。当场景对性能要求很高时或者说性能敏感时，使用Kryo。

2024-09-05 08:30:00 558

原创【大数据】UDF、UDAF、UDTF是什么，之间的关系是什么？

UDF、UDAF、UDTF是什么，之间的关系是什么？

2024-07-29 11:45:00 486

原创【Spark】【翻译】RDD Programming Guide

Spark官方文档翻译系列，RDD编程指南（RDD Programming Guide）

2024-07-21 21:43:54 1246

原创 2024年大数据领域的主流分布式计算框架有哪些

2024年大数据领域的主流分布式计算框架介绍

2024-06-16 11:30:00 1811

原创大数据领域的workload是什么意思？

本篇文章介绍了在大数据领域"workload"概念是什么，通过不同维度来理解“workload“，常见”workload“，了解”workload“能帮我们做到什么

2024-06-10 11:30:00 752

原创什么是NP完全问题

NP完全问题是计算机科学中最难解决的问题之一，目前还没有找到任何一个能够在多项式时间内解决NP完全问题的算法。了解NP完全问题对于理解计算的本质和解决实际问题都具有重要意义。

2024-05-28 08:35:36 1168

原创关于改安全问题导致严重问题的案例

我们服务新引入了一个代码扫描工具，这个工具流程大概是定期扫描项目代码，匹配一些规则，如果存疑则留给开发确认，确认是问题则整改。

2024-03-11 07:30:00 246

原创如何提升开发过程中的安全意识

在分析了我们产品近一年的所有安全问题单后，我得到了开发最容易犯错同时稍加注意即可改善的17个改进点（注意事项）。

2024-03-04 12:15:00 592

原创【项目管理】风险有哪些，具体如何解决

识别风险，解决风险。尽量早的识别风险，相比后面形成问题再解决，在风险阶段解决可以减少很大的工作量，代价少很多。

2024-02-23 12:00:00 246

原创一个最小开发团队常见角色

本篇文章介绍一个最小开发团队常见角色。

2023-12-22 17:21:41 547

原创产品的竞争力是什么

产品的竞争力归根到底是3点：功能，性能，容量。

2023-10-23 19:04:03 341

当遇到累加载冲突导致的问题时（比如方法找不到，类找不到）可以通过该参数打印每个类加载时的日志，来定位是不是加载错了版本（冲突导致），或是其他原因没加载到。当进程oom时，我们需要分析dump日志来分析原因，比如内存泄漏，或者是某些变量突然变大导致的。设置以上参数就可以在oom时自动打印dump日志至指定目录，定位时只需要取日志即可。指定最小堆内存可以减少jvm自动扩容的时间，否则jvm会一次一次的扩容，耽误时间。指定最大堆内存可以确保每个java进程堆内存只使用这些，避免干预其他进程。

2023-08-31 11:00:00 137

原创【Maven】如何发现，定位，解决依赖冲突

如何发现，定位，解决maven依赖冲突

2023-08-29 09:10:04 950

原创如何保质保量的完成需求

通过日常工作实战及思考，解决如何保质保量的完成需求，总结出具体的目标以及手段

2023-03-12 13:51:41 412

原创设计/编码时，异常场景要处理到什么程度？容错到什么地步？

容错，责任边界

2023-02-01 08:41:25 133

原创需求和预研

需求和预研

2023-02-01 08:36:48 272

原创 builder的好处/特点

builder 构造方法

2023-01-30 23:22:42 193

原创接口和抽象类用哪个？

接口，抽象类

2023-01-30 23:20:09 217

原创【工作笔记】记录工作中一次处理冲突

多项目组联合开发遇到的冲突问题背景经过及结论

2022-09-19 13:54:23 225

原创 java程序调试方法简介

最近面试华为OD岗的时候面试官问到我这样一个问题：如何调试服务器上跑着的程序。jdk自带的就可以。我查了jdk自带的有这几种jps、jstack、jstat、jmap、jinfo。比较有名的还有阿里的arthas。arthas我理解是整合了以上的一些方法，变成了一个可交互的终端。jps查看java程序进程jstack没找到能成功的方法【已解决】发现是docker的问题，使用–cap-add=SYS_PTRACE参考https://blog.youkuaiyun.com/kinginblue/artic

2022-03-05 21:42:03 1308

原创 docker部署springboot项目jar包如何解决fatjar问题

springboot打成jar包后，通过java -jar app.jar即可运行。那么如何部署在docker中呢？可以参考这篇文章https://www.baeldung.com/dockerizing-spring-boot-applicationFROM openjdk:8-jdk-alpineMAINTAINER baeldung.comCOPY target/docker-message-server-1.0.0.jar message-server-1.0.0.jarENTR

2022-02-18 03:56:42 962

原创 [MySQL]阿里云RDS MySQL遇到LOCK_WRITE_GROWTH问题

问题The MySQL server is running with the LOCK_WRITE_GROWTH option so it cannot execute this statement登录阿里云控制台后发现是因为数据库容量满了，而且没开自动扩容。阿里云就会自动将数据库锁上。解决方法，如果是比较新的RDS，可以truncate解决（delete数据不行）。如果是旧的需要提工单...

2022-02-16 19:50:51 1748

原创【Ubuntu20】阿里云挂载云盘

在阿里云上新建了一台ECS，并搭配了一个数据盘，在此记录挂接过程查看挂接情况sudo df -hlsudo fdisk -l/dev/vdb是数据盘，可以看到目前没有分配到系统中分区sudo fdisk -u /dev/vdb再依次输入“n”“p”“1”“回车”“回车”“wq”即可查看新分区fdisk -lu /dev/vdb创建文件系统mkfs.ext4 /dev/vdb1备份etc/fstabcp /etc/fstab /etc/fstab.bak如果不是ro

2021-12-31 17:02:14 1441

原创 [Ubuntu20] 新建用户，并分配root权限，加入用户组

root用户登录创建用户useruseradd user修改用户默认shell，用户根目录vim /etc/passwd找到用户那一行user:x:1000:1000:user:/home/user:/bin/bash/home/user 是根目录/bin/bash 是用户默认shell设置用户密码passwd user添加root权限sudo vim /etc/sudoers看见这一条 root ALL=(ALL:ALL) ALL在这一条下面复制粘贴一条

2021-12-31 14:42:25 1188

原创 [Ubuntu20] 安装zsh，oh-myzsh并配置

https://blog.youkuaiyun.com/dinofish/article/details/104452908/

2021-12-31 14:32:47 1200

原创 2021我的macbook必备软件

Microsoft Remote Desktop for Macmac远程连接windows桌面微软地址：https://go.microsoft.com/fwlink/?linkid=868963参考：https://blog.youkuaiyun.com/ab601026460/article/details/74012314dockerdocker官网链接：https://docs.docker.com/desktop/mac/install/foxmail要我说mac上的邮件软件除了自带的“邮件”

2021-10-28 07:24:27 1132

原创 [MySQL]MySQL8添加用户并赋予权限

添加用户并赋予全部权限create user 'user_name'@'%' identified by 'password';-- GRANT all privileges ON db_name.table_name TO 'user_name'@'%';GRANT all privileges ON db_name.* TO 'user_name'@'%';flush privileges;% 表示任意ip可以访问。也可以改成localhost。db_name，table_name 可以

2021-10-21 17:59:25 448

emn178-js-sha1.zip

blueimp-js-md5.zip

空空如也