自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(20)
  • 资源 (1)
  • 收藏
  • 关注

原创 【游戏】5分钟入门微信小游戏开发(三)

上篇文章为大家分享了微信小游戏开发过程中遇到的问题,此篇主要介绍笔者开发<<迷失的小鸟>>开通流量主之后的盈利情况。目前整个小游戏行业非常卷,单依靠小游戏实现丰厚的回报还是比较困难的,只要我们持续的打磨有竞争力的产品,通过多渠道运营还是有希望的。

2025-02-07 21:29:09 235

原创 【游戏】5分钟入门微信小游戏开发(二)

上篇文章为大家分享了微信小游戏从开发到发布的入门教程,此篇主要介绍笔者在开发过程中遇到的问题。笔者开发的第二个游戏,相比第一个游戏要复杂很多,从开发到上线发布整整用了半年的碎片化时间来完成。这期间把遇到的问题分享出来,避免大家重复采坑。希望大家无论在生活还是工作中一旦锁定目标,能够长期坚持下去,相信一定会有所有收获!

2024-12-17 22:59:05 394

原创 【HDFS】集群出现大量的Under Replicated Blocks

Hadoop集群进行机器缩容时发现HDFS集群出现大量的Under Replicated Blocks并且请求同步副本数为10超过默认设置的副本数2(dfs.replication),影响集群稳定性。出现上述问题主要原因是MapReduce的mapreduce.client.submit.file.replication默认为10,当集群规模恰好低于10台时才会出现上述现象。因为只在Hive中运行MapReduce任务,所以在hive-site.xml中增加此配置项并且值设置为2即可,不需要重启服务。

2024-09-10 13:59:08 468

原创 【Hive】 HiveServer2 内存溢出总结

用户使用Beeline访问HiveServer2 (3.1.2版本) 执行离线SQL任务,持续运行一周后HiveServer2就出现OOM现象,严重影响数据查询与报表产出,经过几轮修复问题终于解决。作者把修复过的问题进行了汇总,避免其他小伙伴再遇到此问题时束手无策。笔者使用HiveServer2版本为3.1.2,由于此版本内存泄漏问题较多,大家可根据上述案例进行编译修复,如遇到其他BUG或性能问题,建议多去社区看看。

2024-08-02 16:52:05 824 2

原创 【Yarn】Timeline Server UI应用记录名称为null

离线任务在运行完成后任务的详细记录同步到Timeline Server中用于长时间存储,当访问Timeline Server UI时发现记录的应用任务名称、任务类型、队列等为null导致我们无法进行任务治理、性能分析等工作。有时候通过日志、源码并不能很快的定位的问题原因,我们可以通过配置远程DEBUG的方式进行代码调试来定位原因,如担心影响生产环境上的任务可以在测试环境进行。

2024-07-31 17:17:47 390

原创 【Hbase】运维问题汇总

最近Hbase集群经常有问题于是作者把遇到的问题进行了汇总,避免其他同学在使用Hbase的过程中遇到相同的问题时不知道如何解决。在Hbase集群出现问题时我们可以结合日志、源码、社区分析原因并给出解决方法,而且日志输出级别、参数配置都支持动态修改可以更快的帮助我们解决问题。

2024-07-31 10:50:32 948

原创 【游戏】5分钟入门微信小游戏开发(一)

疫情放开后的两年国内的宏观经济萎靡不振,各行各业不是降薪就是裁员,作者所从事的大数据行业也不例外。为了避免长期处于迷茫、自我怀疑的生活状态,于是决定学习开发微信小游戏来度过这段低谷期,此篇博文是整个小游戏的开发过程,希望能帮助到那些愿意从事游戏行业的朋友。以上是作者开发微信小游戏遇到的所有环节,如在开发过程中遇到技术问题可去相关社区或官方文档寻找答案。

2024-05-21 21:40:47 3581 6

原创 【Kong】API 操作简解

【代码】【Kong】API 操作简解。

2023-10-12 21:56:41 148 1

原创 【Kong】ODBC适配国产数据库(达梦、MySQL、瀚高)

Kong Gateway是一个运行在Nginx上的Lua应用程序,它与OpenResty一起发布。Kong Gateway底层数据库只支持PostgreSQL和Cassandra,从3.4.0版本官方已不在支持Cassandra。由于大部分国产数据并没有提供Lua语言驱动,所有笔者将采用ODBC适配达梦数据库,文中涉及到的lua源码需要读者自行实现。

2023-10-11 21:26:47 320

原创 【KIP-2】重构Broker以允许监听多个端口和IP地址

KIP-2使得Kafka Broker能够支持在多个IP地址和端口上监听和处理请求,从而更好地满足不同网络环境和配置需求下的使用场景。

2023-05-05 08:36:16 392

原创 【KIP-1】移除对request.required.acks的支持

KIP-1使得Kafka协议的消息发送更加可靠,减少了数据丢失的可能性,从而更好地适应各种使用场景。

2023-05-05 08:33:24 140

原创 【Pulsar】Pulsaride为IDEA开发者而生

通过对两种方式的分析,我们发现开发者需要游走于IDEA与第三方工具之间,并完成繁琐的操作来辅助完成开发任务。同时我们还兼容JetBrains的整个产品生态。IDEA开发者在与Pulsar进行交互的过程中,经常操作Shell命令或通过pulsar-manager等管理工具来辅助开发者完成与Pulsar交互的开发任务。通过调用PulsarAdmin实现Pulsar原生Shell命令界面化来减少开发者的学习成本,并且在日常的开发任务中也省去了开发者游走于IDEA与第三方工具的时间,提高了开发者的工作效率。

2023-01-21 12:16:52 298

原创 【Kafka】Kafkaide让IDEA开发者不在游走

通过对两种方式的分析,我们发现开发者需要游走于IDEA与第三方工具之间,并完成繁琐的操作来辅助完成开发任务。不但降低工作效率而且增加了部分学习成本这对开发者来说是非常浪费时间的。IDEA开发者在与Kafka进行交互的过程中,经常操作Shell命令或通过CMAK、Eagle等管理工具来辅助开发者完成与Kafka交互的开发任务。通过调用KafkaAPI实现Kafka原生Shell命令界面化来减少开发者的学习成本,并且在日常的开发任务中也省去了开发者游走于IDEA与第三方工具的时间,提高了开发者的工作效率。

2022-12-01 18:32:59 2087

原创 【Kafka】由浅入深分析OutOfMemoryError: Map failed

经过层层分析终于知晓在Kafka运行过程中抛出OutOfMemoryError: Map failed异常并调整系统参数 max_map_count值的整个来龙去脉。需要特别强调Linux系统函数do_mmap中包含多项安全检查,只要任何一项检查不通过都会抛出ENOMEM异常,如果系统参数max_map_count调大后问题依然存在可自助查看该函数源码并分析没有通过安全检查的原因。

2022-12-01 18:17:26 984

原创 【Kafka】log4j2漏洞不影响集群安全

虽然Kafka不会受此事件影响,但是Kafka客户端日志输出需要用户单独引用配置,所以大家还是注意一下是否使用受影响版本的log4j2.x进行日志打印。

2022-12-01 18:15:22 517

原创 【Kafka】无鉴权追溯客户端来源

该工具的好处是无须重启Kafka服务且对服务性能的影响极小,由于greys精心用ASM设计了字节码增强,可以放心的用在高负载有求下的JVM环境。本文为大家分享的只是greys应用中的一个场景而已,更多使用场景及greys的其他功能,大家可自行学习与挖掘。详细介绍greys,也可以使用增强版本arthas进行问题排查。

2022-12-01 18:12:45 145

原创 【Kafka】读过的资源汇总

纸上得来终觉浅,绝知此事要躬行!通过以上的学习资料希望能帮助大家能够由浅入深的学习Kafka的同时,也希望大家多实践、少踩坑、多交流、多分享!更希望大家在学习与实践的过程中总结出适合自己的方法论!

2022-12-01 18:07:54 218

原创 【Kafka】删除Topic导致Broker重启失败

分享问题案例不是本文的重点,重点是与众多Kafka爱好者分享从实战中总结出的方法。

2022-12-01 18:04:55 1138

原创 【Kafka】排查进程无法Jstack

根据上边的分析结果得出只有在/tmp/.java_pid+pid文件不存在的情况下才会抛出jstack执行失败异常,解决办法是重启应用程序,非常关键的一点是别去删除.java_pid_pid文件,由于我们使用的时centos7,默认7天之后会自动删除该文件,所以我们更改了系统配置禁止删除该文件。

2022-12-01 18:03:02 402

原创 【Kafka】企业级应用实践

首先小范围的项目应用,想怎么用都可以。但是真正的企业级应用就不一样了,其中并不仅仅只是读/写数据那么简单,还需要各种周边配套设施,本文的主要目的是介绍一下。在企业级应用中,主要包含哪些配套设施,来保障Kafka的稳定性。

2022-12-01 17:59:31 573

proguard4.3

ProGuard是一款免费的Java类文件压缩器、优化器和混淆器。它能发现并删除无用类、字段(field)、方法和属性值(attribute)。它也能优化字节码并删除无用的指令。最后,它使用简单无意义的名字来重命名你的类名、字段名和方法名。

2009-06-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除