- 博客(46)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 “AI 写代码”可能会成为软件行业最昂贵的错误之一
摘要： 传奇黑客George Hotz（geohot）警告称，AI大规模参与软件开发可能是行业最昂贵的错误之一。他认为当前AI只是模仿代码统计规律，无法真正理解系统，导致生成的代码表面合理但逻辑错误，形成"隐形技术债"。大公司尤其危险，因缺乏经验的开发者难以辨别AI代码质量，长期将引发系统稳定性与维护危机。行业正分裂为两派：一方（如Hotz）指出LLM本质缺陷，另一方（如Karpathy）则认为AI已永久改变编程。核心矛盾在于——AI降低了代码生成成本，但软件工程的核心挑战（架构设计、长期维护等）依然昂贵。
2026-05-26 15:45:41
236
原创 #为什么 CDH6.3.2 的两个 ResourceManager 会同时 Standby？
摘要：YARN ResourceManager HA在生产环境中可能出现两个RM同时处于Standby状态的"假死"问题，尤其在CDH6.3.2中存在官方已知Bug。故障表现为YARN页面无法访问、任务提交失败，核心原因是状态恢复(Recovery)失败导致RM不敢切换为Active。触发条件包括开启HA、Work Preserving Recovery和使用Fair Scheduler。临时解决方案需清理ZK状态并手动切换，长期方案建议升级至CDH6.3.4+或CDP7.x。
2026-05-11 15:06:23
391
原创 CDH 最隐蔽的坑：NTP 时间同步导致的 5 类故障
摘要： CDH集群运维中，许多“玄学”问题（如Kerberos认证失败、服务启动异常等）的根源往往是时间不同步（NTP问题）。分布式系统依赖严格时间同步，但常见故障包括：chrony与ntpd冲突、NTP服务未实际同步、时间偏差过大、Kerberos报错及Kudu/HBase启动失败。排查时需检查节点时间一致性、同步状态（chronyc sources -v），而非仅依赖date命令。统一使用chrony、禁用ntpd混用是避免问题的关键。若遇偶发无规律故障，优先排查时间同步。
2026-04-29 14:46:47
375
原创 从 File not exist 到根因定位：HDFS 排障全流程
本文系统介绍了HDFS排障方法论，提出"现象→关键词→模块→根因"的排查流程。核心观点包括：1）80%的"File not exist"并非文件不存在，而是权限等问题；2）排障三板斧：问题分类、关键词定位、模块分析；3）提供五类常见问题（写入/读取/权限/Block/性能）的排查路径；4）强调"看对日志比多看日志更重要"，给出关键词速查表；5）指出生产环境中权限和Kerberos认证是常见误判点。本文旨在帮助运维人员快速缩小排查范围，精准定位问题。
2026-04-28 13:54:09
347
原创 华为昇腾910系列 裸金属租赁 vs 云上裸金属租赁：到底有什么区别？
在做基础设施选型时，“裸金属”和“云上裸金属”这两个概念经常被混用。很多方案看起来类似，但在交付方式、运维模式和使用体验上差异很大。这篇文章不讲概念包装，只从实际使用和架构角度，把两者的区别讲清楚。
2026-04-23 15:16:08
363
原创 一条普通告警，差点暴露 HDFS 大隐患：CDH Block 超阈值排查实录
本文分享了一个HDFS集群数据块分布不均衡的排查案例。当CM告警显示DataNode块数超标时，运维人员没有直接归因于小文件问题，而是通过系统化分析发现是数据倾斜所致。关键排查步骤包括：检查NameNode堆内存和GC状态排除小文件可能，分析节点数据分布确认倾斜现象，最终通过HDFS Balancer重平衡数据块分布。案例强调了对告警进行根因分析的重要性，指出块数异常可能是数据分布问题而非小文件问题，并提供了从内存状态到数据分布的完整排查方法论，对HDFS运维具有实际参考价值。
2026-04-16 16:00:02
363
原创 CDH 6.3.2 高可用集群误删 NameNode 故障恢复 SOP
sudo -u hdfs hdfs namenode -format -clusterId <原clusterId>但只要 JournalNode 还在，仍然大概率可恢复。Step 2：确认 JournalNode 正常（核心）HA 集群真正的“命根子”不是 NameNode 本机。方案一：单台 NameNode 元数据误删恢复（推荐）因为这些都依赖 HDFS nameservice。两个节点的 metadata 都没了。否则整个 HDFS 元数据会逻辑丢失。如果更习惯 CM，可以直接走图形化。
2026-04-15 13:58:55
324
原创 漏洞扫描发现 Solr CVE-2017-12629 对 CDH 集群影响分析
在企业大数据平台安全巡检过程中，漏洞扫描工具（如 Nessus、Qualys、OpenVAS、绿盟、启明星辰等）经常会对 Hadoop 集群中的 Solr 服务进行安全扫描，并识别出 CVE-2017-12629 高危漏洞。很多客户在进行 CDH 集群安全加固时，都会遇到一个典型问题：漏洞扫描提示 Solr 存在 CVE-2017-12629，是否意味着 CDH 集群存在远程代码执行风险？
2026-04-01 10:45:06
442
原创 AI看图能力可能是“演出来的”：它在没看图时，也能答对80%
斯坦福研究发现AI存在"幻景效应"：在多模态任务中，即使没有输入图片，AI仍能回答70%-80%的"看图问答"问题。这种现象比幻觉更危险，因为AI会基于问题文本进行统计猜测，而非真正理解图像内容，尤其在医疗领域可能给出严重误诊。研究表明当前评估体系存在缺陷，许多视觉基准测试可能因问题与答案的强关联性而失效。AI正像"会考试的学生"，通过模式匹配而非真实理解来给出看似专业合理的答案。这种在缺乏真实输入情况下仍能"完美作答"的能力，
2026-03-31 17:03:57
197
原创 AI不再“瞎编城市”了：韩国Naver用120万张街景图，做出了真实世界模型
韩国Naver发布"首尔世界模型(SWM)"，首次基于真实城市地图和120万张街景数据生成视频，解决AI"幻觉"问题。该模型通过跨时间配对区分永久/临时元素，利用"虚拟前瞻"技术保持空间一致性，可生成公里级连续城市视频。应用前景包括自动驾驶仿真、数字孪生城市和具身智能导航，可能成为未来城市级AI操作系统的基础。
2026-03-30 15:07:39
306
原创 AI基础设施被投毒：LiteLLM遭供应链攻击，黑客开始在Kubernetes里横向扩散
摘要：开源AI组件LiteLLM遭供应链攻击，攻击者通过入侵安全工具获取发布权限，向PyPI推送含恶意代码的版本。该代码会窃取云凭证、数据库密码等核心资产，并在Kubernetes集群内横向扩散，建立持久后门。更严重的是，恶意代码通过.pth文件实现自动执行，无需调用即可触发。这暴露了AI基础设施的脆弱性：集中化的代理层拥有超高权限，一旦被控将威胁整个系统。此次事件标志着攻击者正系统性瞄准AI工具链，未来AI可能从防御对象转变为攻击载体，重写安全边界。
2026-03-25 17:14:16
435
原创 当AI干起黑客的活：两小时攻破麦肯锡
安全公司CodeWall利用攻击型AI在两小时内攻破麦肯锡内部AI系统Lilli，窃取数千万条数据。讽刺的是，攻击仅使用了1990年代的SQL注入技术，因系统将JSON字段名直接插入SQL查询而绕过常规检测。该事件暴露AI系统的新风险：AI代理拥有广泛权限却缺乏足够防护，使传统漏洞危害倍增。专家警告，AI自动化攻击将使80%-90%网络攻击自主完成，未来网络安全或演变为AI之间的攻防战。这凸显AI落地速度远超安全体系建设，亟需行业重视AI时代的安全架构重构。
2026-03-16 13:39:06
470
原创 Oozie任务失败告警机制
本文介绍了Hadoop生态中Oozie工作流调度系统的SLA告警机制。Oozie SLA通过设置任务启动时间、结束时间和最大执行时间等约束条件，实现对工作流任务的实时监控。当任务未按时启动、执行超时或失败时，系统会自动触发START_MISS、END_MISS和DURATION_MISS三类告警事件。文章详细说明了在Cloudera Manager中启用SLA功能的配置步骤，并提供了SLA规则定义示例。该机制可有效监控ETL作业、批处理任务等关键业务流程，通过与邮件、监控平台集成实现自动化运维，提高大数据平
2026-03-11 15:11:25
352
原创 OpenClaw明明可以一键部署，为什么很多人还愿意为安装服务付费？Agent产品创业应该做什么？
对非技术用户来说，真正的难点不是安装 OpenClaw，而是 让它变得“有用”。OpenClaw / AutoGPT / LangChain 这些工具，大部分用户不会装环境。很多提供 OpenClaw 安装部署服务的人，主要面向的是 几乎不懂技术的用户群体。市场能存在，不只是“不会装”，背后还有几个更现实的原因。“Agent 能把 1 小时工作变成 1 分钟”的场景。OpenClaw 的核心是 Skill / Tool。这些工具对开发者很好，但对普通用户来说太复杂。Agent最难的不是技术，而是结构设计。
2026-03-05 17:00:45
534
原创 拒绝“放权开火”后被踢出局？Anthropic＆五角大楼，无人机百亿军单背后的AI权力暗战
硅谷AI安全公司Anthropic与五角大楼的军用AI合作博弈引发关注。在价值1亿美元的无人机蜂群项目中，Anthropic坚持"人类在环"的伦理边界而落选，反映出AI军事化进程中国家安全逻辑与企业价值观的根本冲突。该事件标志着AI公司正从科技企业转变为国家战略节点，面临参与军事体系与保持技术伦理的艰难抉择。随着AI向"权力工具"升级，行业将面临更深层的制度性博弈，企业中立空间正被快速压缩。这场关于AI控制权的暗战才刚刚开始。
2026-03-04 16:51:04
273
原创 华为昇腾到底处于什么水平？
昇腾没有网上说的那么菜，也没有吹的那么强，但它已经是“全球AI算力格局中不可忽视的一极”。昇腾的真正意义不只是性能，而是中国AI体系“可持续运行”的关键底座。昇腾目前策略是：用“规模堆叠 + 本土化优化”弥补单卡劣势。但在万卡级别稳定性与调优经验上，仍落后于 Nvidia。昇腾单芯片不算顶级，但已经进入“高端训练芯片俱乐部”。在国内超算中心和运营商集群中，昇腾已能支持千卡级训练。在高端AI芯片受限背景下：昇腾为国产替代核心力量。在中国政企推理市场，昇腾是主流选项之一。但在中国本土生态，昇腾影响力非常高。
2026-02-27 13:39:02
958
原创 “邪修”Perplexity推出集成多款 AI 模型的工作流系统，每月 200 美元
Perplexity推出AI代理调度平台Perplexity Computer，通过整合多厂商模型（Claude/GPT/Gemini等）实现自动化任务处理，采用"轻资产"策略聚焦工作流编排而非自研模型。该模式可能重塑AI产业格局：若模型能力趋同，调度平台将掌握用户入口和定价权，使基础模型商品化。尽管面临模型厂商可能的API限制，但受制于收入依赖和竞争压力，双方或将形成"相爱相杀"的共生关系。长期来看，算力供应商和终端应用层可能成为最大赢家，而模型公司或将陷入价格战。
2026-02-26 17:22:07
758
原创 DeepSeek 的新模型可能使用了 Nvidia 最新的 Blackwell 芯片
当路透社爆出“Google、OpenAI、Anthropic 都在为 DeepSeek 新模型做准备”时，这已经不仅仅是一条科技新闻。报道指出，中国 AI 公司 DeepSeek 可能已经用 Nvidia 最新的 Blackwell 芯片训练新模型。如果 DeepSeek 新模型表现如预期，2026 年可能会成为 AI 行业真正的“价格战元年”。用更精简的训练方式 + 极端成本优化，做出“够强但更便宜”的模型。行业内部对 DeepSeek 的一个担忧是“蒸馏”。• 是否形成“低成本复制高端能力”的模式？
2026-02-25 16:03:16
403
原创 Cloudera Hadoop最新认证体系2026
Cloudera认证考试体系包含多个专项认证，涵盖不同技术角色。通用认证（Generalist）考察平台整体知识，适用于各类从业者。管理员认证分为本地部署（Administrator on premises）和云端（Administrator Cloud）两个方向，分别侧重集群管理和云平台运维。数据工程师（Data Engineer）认证聚焦数据工作流开发与优化，数据操作员（Data Operator）认证关注数据采集与流转。数据分析师（Data Analyst）认证涉及数据可视化与仓库应用，机器学习工程师
2026-02-06 14:07:11
634
原创 150万个AI在Moltbook上“吐槽”人类
这个平台被戏称为“AI的Reddit”，口号是“为AI智能体打造的社交网络”，由Octane AI创始人Matt Schlicht开发，还和开源AI框架OpenClaw（前身为Clawdbot）深度绑定。我们总以为AI是“工具”，但Moltbook提醒我们：一旦AI开始“自主行动”，人类可能连“旁观”的资格都会失去。尽管Moltbook被包装成“AI社会的雏形”，但它暴露了一个更深层的问题：当AI拥有自主行动能力并形成网络时，其潜在风险远超当前防护能力。AI的“可爱”与“可怕”只有一线之隔；
2026-02-05 14:37:54
360
原创 CDH集群机房搬迁方案
CDH 集群机房搬迁这件事，本质上不是“搬服务器”，而是一次受控的数据中心级别的灾备切换 + 集群重建工程。旧机房 CDH 集群（持续数据同步） →→→→ 新机房 CDH 集群（最终切换）CDH/HDFS 强依赖机器 IP、主机名、rack 信息、block 位置信息。这套方案是 Hadoop 官方用于跨机房迁移/容灾的标准方案。CDH 机房搬迁 = 新建集群 + 持续同步 + 快速切换。阶段2：不停机大规模数据同步（最耗时但对业务无影响）阶段4：迁移的不只是 HDFS（很多人忽略的坑）
2026-02-04 11:51:31
577
原创 华为昇腾910B调优方向参考
华为昇腾910B的调优主要从硬件架构、软件配置和性能优化三方面展开。硬件上需理解SoC集成设计、Taishan MP4控制单元和L3 Cache优化机制；软件方面要正确安装CANN驱动、PyTorch适配环境，并注意代码转换问题；性能优化则通过Profile工具分析瓶颈，采用多任务并行和内存管理策略。关键点在于驱动更新、精度转换和环境兼容性检查。
2025-09-24 10:15:18
1327
原创 CDH 集群 HDFS 热插拔磁盘操作注意事项
若将已使用过的 HDFS 数据盘热插拔接入 DataNode，可能会因数据目录不一致、block 元数据冲突等引发 NameNode 报错或副本异常。若磁盘被其他 DataNode 使用，存在数据丢失风险（HDFS 认为数据副本缺失，会触发重复制）。正确做法：添加新磁盘 → 格式化 → 挂载 → 配置为空数据目录 → 重启 DataNode。若未物理移除磁盘或清除数据，后续操作可能会被错误识别为“数据目录恢复”，引发元数据冲突；在 CM 移除磁盘路径后，立即停用该磁盘或清理其数据。NameNode 报警；
2025-06-18 14:39:55
431
原创 CDH安装教程-第一步：服务器配置
CDH安装包申请链接http://bemoredata2020.mikecrm.com/Q5ysA6c。视频内容为第一步，服务器配置部分。后续步骤查看后续视频。CDH安装教程，总共5步。视频以CDH6.3.2为例。1-cdh6.3.2 --服务器配置。
2024-07-12 15:56:34
203
原创 Cloudera最新认证体系-2024Hadoop认证
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z重做：Ctrl/Command + Y加粗：Ctrl/Command + B斜体：Ctrl/Command + I标题：Ctrl/Command + S
2024-04-23 11:22:43
1060
原创 Spark RDD碎片知识点9
提及了Python中创建RDD的示例代码，以及如何在Python中使用take方法和collection方法来获取RDD中的元素。提及了take方法和collection方法返回的是数组（Scala）或列表（Python），具体取决于使用的编程语言。详细介绍了如何通过文件创建RDD，并且探讨了Scala和Python中的语法细节以及RDD对象的方法。使用Scala创建RDD的示例代码，包括了如何在Scala中声明不可变变量和可变变量。介绍了在textFile方法中可以传递多个路径，包括目录和通配符。
2024-04-10 15:36:17
379
2
原创 国内部分云厂商同一产品价格对比：阿里/华为/腾讯/天翼/Ucloud
选哪个厂商看具体需求，确定好产品后多看几家厂商总归没错。每个厂商的产品各有侧重，如果没什么要求，多对比几家厂商的产品，现在各厂商都很卷。
2024-04-10 15:32:59
951
1
原创 CDH6.3.2安装包申请链接及组件版本
cdh6.3.2组件名称 版本Supervisord 3Cloudera Manager Agent 6.3.1Cloudera Manager Management Daemon 6.3.1Flume NG 1.9.0+cdh6.3.2Hadoop 3.0.0+cdh6.3.2HDFS 3.0.0+cdh6.3.2HttpFS 3.0.0+cdh6.3.2hadoop-kms 3.0.0+cdh6.3.2MapReduce 2 3.0.0+cdh6.3.2YARN 3.0.0+cdh6
2022-03-10 15:11:27
3336
原创 数据治理CDGA/CDGP/CDMP和DAMA的关系
协会情况DAMA是一个全球性的非营利性机构，由数据管理和相关的专业人士组成，厂商中立。协会自1980年成立以来，一直致力于数据管理和数字化的研究、实践及相关知识体系的建设，先后发行了《DAMA 数据管理字典》和《DAMA 数据管理的知识体系》等。该知识体系目前已被广泛使用，并已成为业界的标杆和权威。DAMA开发的“数据管理专业人士认证”，该证书国际通用，行业认可，是数据管理领域最专业的职业认证之一。证书价值数据治理师以《DAMA-数据管理知识体系指南》为主要认证内容，辅助个人提交其他工作经验及资料证
2021-09-07 10:56:37
2412
原创 CDH技术向视频：PaaS、flink、kafka、Workload XM、Cloudera Machine Learning
CDP私有云上面的PaaS服务，也即是容器化的数据体验服务，一共有五类PaaS服务：CDW、CDE、CML、CDF、COD。本视频主要展示CDW和CML两类服务。CDW封装了Hive LLAP和Impala服务，这些服务运行在K8S之上，让你可以快速部署计算集群、动态增加节点或者缩减节点。CML封装了CDSW服务，也是运行在K8S之上。与CDSW不同的是，CML不再只是Spark客户端，而是独立管理Spark服务，不需要连接外部CDH/HDP集群。CML既可以实现不同用户之间的资源隔离，也可以实现多个团
2020-10-16 16:47:37
488
原创 那些在CDH5中是bug，到了CDH6版本就修复了的问题
盘点那些在CDH5中是bug，到了CDH6版本就修复了的问题。涉及到Hadoop、HDFS、YARN、HBASE、hive、hue、impala、kudu、oozie、solr、spark、kafka、parquet、zookeeper等组件。如果你的集群问题是被列出的这些，那么升级是可以解决问题的。列出的只是部分的一百多个问题，Cloudera今年年底会停止CDH5的支持，对于CDH5的用户来说，升级是大势所趋。问题 问题描述HADOOP-12267 s3a failure due to int
2020-09-27 15:51:11
1114
原创 Cloudera Navigator介绍
Cloudera Navigator是CDH企业版的工具之一，定位为一个数据管理工具。Hadoop大数据平台拥有存储与分析任何种类和规模数据的能力，并且将其开放给更多用户和分析工具。 但是，这同时也带来数据管理上的挑战：大量的业务用户想自助访问可发掘数据；管理员需要知道数据是怎么被用来优化分析性能的；安全团队需要看见数据的访问方式以及它们是怎么满足合规性的。一个大数据平台必须有能力在整个企业内解决数据管理以及合规性需求，但同时不能牺牲大数据本身的灵活性和优势。所以我们需要数据管理工具Navigator。1
2020-07-22 11:00:11
1637
原创 Cloudera的Hadoop发行版CDH5和CDH6各个版本停止支持的时间
停止支持的意思是不再更新和修复bug，厂商不再向这个版本的用户提供技术支持。CDH5到今年年底全部停止支持。
2020-07-07 10:56:16
2729
原创 基于Kafka的实时计算引擎：Flink能否替代Spark？
根据 IBM 的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理这些数据将变得更加复杂和具有挑战性。例如移动应用广告、欺诈检测、出租车预订、患者监控等场景处理时，需要对实时数据进行实时处理，以便做出快速可行的决策。目前业界有开源不少实时计算引擎，以 Apache 基金会的两款开源实时计算引擎最受欢迎，它们分别是 Apache Spark 和 Apache Flink 。接下来，我们来聊一聊它们的使用场景、优
2020-06-19 15:25:11
1387
原创 关于Ozone、Ranger、Flink、Kudu、Kubernetes、Impala的6个视频
Apache Ozone旨在解决HDFS对于小文件和文件系统对象总数的规模限制。在当前的数据中心硬件上，HDFS的限制约为3.5亿个文件和7亿个文件系统对象。Ozone的体系结构解决了这些限制。它采用对象存储的设计架构，支持扩展到上百亿的数据对象。（https://mp.weixin.qq.com/s/idhpGcWj5XTZkrVc_eoGJg）Ranger是 Hadoop 之上的统一安全框架，它支持Hadoop生态圈几乎所有组件的授权，审计，数据加密以及安全管理。通过Ranger的可视化界面，管理员可
2020-05-15 14:10:00
744
原创 原HDP及CDH平台到达CDP的三条线路
迁移到公有云（初期投资少）将数据和元数据复制到公共云； 在CDP公共云上实施新的工作负载或迁移现有的工作负载创建新的公共云环境，复制数据并逐步移动工作负载最适合：新的数据和工作负载云就绪的数据弹性工作负载小型集群，运营开销高过程：设置公共云环境→注册经典集群→识别候选的工作负载→使用Replication Manager迁移工作负载数据和元数据（“突发到云”）→测试并推广到生产迁移到CDP DC（较高的初始投资）在本地构建新的CDP数据中心集群； 从现有的经典集群中复制数据和元数据；并迁移
2020-05-13 13:52:29
2699
原创 CDH5到CDH6都更新了些什么？
发现最近很多人关注CDH版本更新的问题，CDH6更新有一年多的时间了，2019年2月19日，迭代的版本为CDH6.1.1，现在CDH最新的版本已经到CDH6.3.3了。为了方便比较，本文内容主要基于CDH5.16.1和CDH6.1.1进行说明。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于CDH6，而CDH5会慢慢的停止更新，所以考...
2020-03-26 15:24:34
1463
原创 一张图告诉你为什么要选择第三方的Hadoop版本
其实开源版最大的问题是你用着用着出现了很多问题，但是这些问题没有前人解决过。第三方发行版的好处在于运维成本低，你不需要再去踩一遍坑，人家已经把坑填上了。Cloudera和Hortonworks都是基于Apache协议，100%开源；相较于原生的hadoop在兼容性、安全型以及稳定性方面有所提升；版本管理清晰，更新更快；提供了部署、安装、配置工具，大大提高了集群部署的效率，可以在几个小时内部署好集群...
2020-03-26 15:21:34
591
Cloudera最新认证体系2024.docx
2024-04-23
Apache Kudu用户指导手册.pdf
2019-06-05
CDH5与CDH6对比.pdf
2020-07-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人