KDP场景教程 | 从外部 HDFS 导入数据到 KDP HDFS

原创

于 2024-09-25 10:07:49 发布 · 803 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #hadoop #大数据

从老集群迁移数据到新集群是一个常见需求。在传统模式部署的 HDFS 集群上可以使用 distcp 进行数据迁移。但 KDP 上没有 YARN，无法直接使用 distcp 进行数据迁移。作为替代，我们可以使用 spark-distcp 进行数据迁移。

组件依赖

请安装以下组件：

spark-on-k8s-operator

进行数据迁移

假设老集群的 HDFS 开启了 Namenode 高可用，地址分别为

hdfs://namenode-1:8020
hdfs://namenode-2:8020

KDP 上的 HDFS Namenode 地址则分别为

hdfs-namenode-0.hdfs-namenode.kdp-data.svc.cluster.local:8020
hdfs-namenode-1.hdfs-namenode.kdp-data.svc.cluster.local:8020

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

LinkTime_Cloud

关注关注

24
点赞
踩
19

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

参与评论您还未登录，请先登录后发表或查看评论

博客

硅谷的“中台论”与中国的“中台论”

09-26

1072

本文来源| AI前线文| 田晓旭导读：“中台”在国内企业中非常流行，大家都很好奇硅谷也有“中台”吗？如果有的话，硅谷是如何建设中台的？与国内企业的中台建设有何区别？...... 本文以智领云创始人&CEO彭锋博士的采访为主要内容，相信能够解答上述的疑问。当中台在国内风靡一时，人们也渐渐开始有这样的疑问，“硅谷有没有中台？”当然，在硅谷肯定没有“中台”这一词汇，但其实...

博客

美AI“星际之门”被曝受阻，年底前只建一小数据中心

07-23

464

这里本应是OpenAI与软银5000亿美元“星际之门”项目的首个旗舰数据中心，如今却成了科技野心撞向现实的沉默见证。唯一确定的是，在得州荒漠新建的数据中心机房里，十万张英伟达芯片仍将如期点亮——只不过供电它们的，再不是孙正义梦想中的“硅基圣殿”，而是奥尔特曼在现实废墟上重建的求生电网。而在硅谷，一位OpenAI工程师向记者展示手机上的算力监控仪表盘，屏幕上跳动的数字每分每秒都在吞噬数十万美元：“更意味深长的是，OpenAI竟将德州阿比林数据中心（本属独立项目）也冠名“星际之门”，被外界解读为对软银的。

博客

Manus万字技术忏悔录背后：一场未完成的Agent革命

07-22

886

这位曾因高中开发“猛犸浏览器”成名的技术天才，在3000字的技术复盘中详尽拆解Agent开发的七条血泪教训，却对一街之隔被裁员工打包纸箱的声响保持沉默。更致命的是，迁址后原依赖的阿里通义千问合作被迫终止，官网屏蔽中国IP——技术根基与用户根基同步瓦解。那只从中关村飞出的“蝴蝶”，虽未掀起预期的风暴，却为后来者标定了雷区与航标。季逸超的深度技术复盘，恰恰反衬出Manus商业逻辑的致命裂缝。这场始于中国、终于新加坡的AI创业实验，在技术理想与商业现实的撕裂中，揭开了通用智能体赛道最残酷的真相。

博客

Meta秘密组建AGI“梦之队”：44人天团半数为中国天才，OpenAI遭遇人才大失血

07-21

1022

而远在万里之外的北京中关村，一群清华校友聚会上，赴Meta任职仅4天的研究员程旭庄（Chengxu Zhuang）收到祝贺信息，屏幕映出他复杂的表情。窗外，Meta大楼的灯光彻夜通明，新入职的科学家们正用前东家的技术积累，为竞争对手编写下一代大模型的代码。当东京的孙正义宣布部署10亿AI Agent时，硅谷的扎克伯格正用另一种方式重塑未来——用22位中国天才的大脑和44位世界顶尖研究员的智慧，浇筑Meta的AGI圣殿。与OpenAI的“谨慎派”路线不同，Meta采取激进的算力扩张策略。

博客

孙正义的10亿AI Agent狂想：当机器人开始制造机器人

07-17

1088

而在OpenAI的实验室，机械手指正练习小提琴颤音——这些看似矛盾的进化方向，恰是人类给自己预留的最终席位：在绝对理性的硅基智能洪流中，守护那缕不完美的、属于生命的微光。横滨港的晨雾中，软银最新物流机器人正驶向码头。这个微小动作折射出智能革命的本质：当奥尔特曼的机器人学会制造同类，当孙正义的10亿Agent开始自我繁殖，人类文明正站在碳基与硅基的岔路口。更颠覆的是其进化能力——当横滨仓库的物流Agent发现包裹分拣错误率超标的瞬间，它没有上报人类主管，而是自主创建了12个优化子Agent进行实时调试。

博客

硅基文明倒计时：马斯克揭穿人类最后的优越感幻觉

07-15

1310

这个场景恰如人类文明的隐喻：当马斯克的五年倒计时滴答作响，真正的出路或许不在对抗，而在于把人类的“脆弱”转化为AI永远无法复制的维度——在冰冷算法中保留热泪盈眶的能力，在效率至上的世界里守护那些“不划算”的坚持。：GPT-5曝光的160万亿参数已是人脑神经元（860亿）的近200倍，而Groq芯片实现每秒500 token的推理速度，相当于人类阅读速度的。这正是人类意识的圣域——日本丰田产线的变革颇具启示：引入AI质检后，保留“匠人复核岗”，这些资深技工专门检查AI判定的“合格品”，反而发现。

博客

微软裁员9000人后，高管称AI节省5亿美元成本

07-11

1018

微软总部的电子看板仍在刷新数据，而硅谷咖啡馆里失业工程师们交换着新领悟：当企业用AI追求完美效率时，人类的生机恰恰藏在那些“不划算”的坚持里——明知低效仍要探索的创新，超越算法逻辑的情感共鸣，以及在机器规范外的意外突破。与此同时，在千里之外的硅谷，一位被解雇的工程师打开求职网站，发现80%的岗位描述里都新增了一行要求：“熟练使用Copilot、LeetTools等AI工具优化工作流程”。这位年薪15万美元、拥有。毕竟，如果效率是唯一真理，微软又何必在省下5亿美元后，仍投入百亿研发那些会犯错的AI？

博客

英伟达再度刷新纪录新高，成为首家市值达到4万亿美元的公司

07-10

1081

英伟达凭借其在AI芯片和数据中心技术的核心优势，推动了公司营收和技术创新的快速发展，股价自年初以来涨幅显著，分析师纷纷上调目标价，预期市值有望进一步攀升至6万亿美元。2025年4月低点以来，股价已上涨近90%，并于2025年7月9日创下历史新高，达到每股约164美元，总市值突破4万亿美元，成为全球首家市值达到此规模的上市公司，超过了英国、法国和德国等国家的股票总市值。近年来，随着人工智能技术的迅猛发展，英伟达凭借其在AI芯片领域的技术优势和市场领先地位，实现了高速增长，成为科技行业的标杆企业。

博客

DeepSeek 招聘闪电战：10个岗位背后的中国AGI人才暗战

07-08

758

人力资源总监李薇的鼠标滑过招聘页面，屏幕上跳出第37份来自谷歌DeepMind的简历——这是她本周处理的第9位海外顶尖AI人才应聘申请。（存在某个x，对所有y，若x拥有知识且能迁移到y，则实现AGI）。灯光映照着公式旁的量子电路图，以及星际争霸的游戏截图——这些看似不相关的元素，正被锻造成打开通用智能之门的钥匙。DeepSeek的10个招聘岗位如同10支火把，既点燃本土技术的燎原之势，也照亮全球人才回归的航路。，其中7人新增中文学习记录。，从“神经符号推理首席科学家”到“多智能体博弈架构师”，全部标注“

博客

外卖世界大战：美团18亿补贴反杀京东，系统崩溃前发生了什么？

07-07

7934

暴雨中的上海街头，张伟终于抢通系统，配送单显示一份0元的黄焖鸡米饭，配送费4.5元。这场由“零元购黄焖鸡”“2元牛排”引发的灾难，表面是技术系统的崩溃，实则是美团对京东外卖“百亿补贴”的绝地反击。这种自杀式补贴实为对京东的“囚徒博弈”——若不应战，京东可能复制拼多多“百亿补贴”突袭淘宝的路径；而此刻的战场上，只剩暴雨浇不灭的屏幕微光，和外卖箱里渐渐冷去的餐盒。——当监管重拳落下，当骑手在超负荷中挣扎，当商家在亏本接单中逃离，一个真理愈发清晰：没有企业能靠补贴赢得终局，正如没有骑手能永远在暴雨中狂奔。

博客

2025 全球 AI 人才 Top100 榜单：中美坐拥顶级人才赛道（附完整报告）

07-04

1174

此刻，在深圳DeepSeek总部的“青苗实验室”里，25岁的工程师正调试新一代MoE模型。虽然他们的名字尚未出现在国际榜单，但其开发的。解决了困扰学界多年的梯度消失难题，让千层神经网络的训练成为可能。，恰是中国AI发展阶段的真实镜像。蔚来任少卿团队开发的世界模型NWM，实现“一个场景生成万个平行世界”的推演能力，性能超越OpenAI的Sora。当中国AI的学术星辰照亮产业大地，DeepSeek们的无名之辈，或许正在孕育下一代技术革命的种子。，这一反差揭开中国AI生态的深层博弈：是学术根基的断层？

博客

马斯克又拿到钱了：旗下xAI获100亿美元巨额融资

07-02

864

得州星际基地的监控画面显示，新到货的十万块英伟达GPU正在装入仓库，冷却系统的嗡鸣声彻夜不息。无论这场豪赌终将点燃智慧之光还是引发资本雪崩，它都已将人类推向超级智能竞赛的临界点——当百亿资本成为AI进化的燃料，文明的未来正被重新计价。当OpenAI预计年收入127亿美元时，马斯克正在用真金白银验证一个疯狂假设：用资本换时间，用债务撬动AGI（通用人工智能）的未来。即便危机四伏，华尔街仍将赌注押在马斯克的执行力上。，将这家成立不足两年的公司推向资本狂欢的巅峰，也推向每月烧钱10亿美元的财务悬崖。

博客

Meta豪掷千亿豪赌超级智能，扎克伯格亲自挂帅重组AI军团

07-01

971

加州门洛帕克总部，扎克伯格将办公桌搬入新成立的“超级智能实验室”正中央，四周环绕着从OpenAI、谷歌挖来的顶尖大脑——这场价值148亿美元的人才与数据豪赌，决定着Meta能否从AI竞赛的落后者翻身为规则制定者。这一设计精妙的交易结构规避了控股权变更，使Scale AI保持独立运营，却让Meta独享其核心资源——28岁的创始人Alexandr Wang，以及全球AI竞赛中最稀缺的“数据石油”。这位19岁从MIT辍学的华裔天才，将同时担任Scale AI CEO和Meta超级智能实验室负责人，形成“

博客

创纪录！巴菲特再捐60亿美元伯克希尔股票，总额超600亿美元

06-30

936

当巴菲特在捐赠声明中写下“我的孩子们将继承我对伯克希尔的持股，但社会将继承我财富的绝大部分”时，奥马哈的办公室窗外正掠过内布拉斯加平原的季风。这场持续十九年的财富转移实验，已经超越个人慈善的范畴，成为全球资本主义制度进化的重要样本。巴菲特的慈善实践正遭遇前所未有的理论挑战。巴菲特用600亿美元构建的慈善共同体，本质上是资本主义的自我修复程序——当财富积累突破临界点，制度性慈善成为避免系统崩溃的安全阀。这位曾誓言“死后才捐出全部财富”的资本家，正以每年6%的速度解构自己的财富帝国，其速度远超外界预期。

博客

张朝阳张雪峰探讨选高考700分还是700万？你怎么选？

06-27

748

如果当年有700万启动金，我能少走三年弯路，”他坦言，“对普通家庭，第一桶金比文凭更重要。当中国教育开始从“分数崇拜”转向“认知赋能”，当年轻一代学会用思维框架驾驭物质资源，这场始于700分与700万的争论，终将引领整个民族走向更丰盛的生命状态——在那里，智慧与财富不再是对立的选项，而是相互成就的翅膀。“我们既需要谋生技能，也要认知升级，”她说，“700万是燃料，700分是导航，缺一不可。教育创新者也在行动。“700分背后是改变命运的机会，”李华在采访中说，“它给我的不仅是知识，更是突破阶层壁垒的底气。

博客

2025新财富500创富榜发布：张一鸣首登中国首富，梁文锋1846亿杀进前十

06-25

849

事实上，梁文锋此前与几位浙大校友共同创立的幻方量化，已依靠量化投资快速跻身百亿私募，其在金融与科技领域的融合创新能力不容小觑。新财富500创富榜描绘的不仅是中国企业家的身价变化，更是一部中国经济动能转换的实时图景——科技与消费的双螺旋，正在重构这个全球第二大经济体的DNA。科技创富的广度和深度不断延展，从芯片设计到AI算法，从工业机器人到低空经济，技术创新的每个环节都在孵化新一代财富领袖。当河南从“养猪大亨”转向“奶茶大王”，当黑龙江从重工业转向美妆产业，区域经济正在摆脱传统路径依赖，探索特色化发展新路。

博客

11亿！今年最大机器人单笔融资刷新！宁德时代领投

06-24

1042

从2024年6月超7亿元的天使轮融资，到同年11月的5亿元战略轮融资，再到如今的11亿元重磅融资，这家初创企业用。当中国团队研发的机器人操作系统开始驱动德国汽车生产线，当宁德时代的电池工厂因银河通用的机械臂而提升良品率，产业权力的转移已悄然发生。银河通用的融资成功只是具身智能赛道爆发的缩影。北京大学王鹤展望：“通过博银合创，我们希望打通从技术到产品的全链路，构建具备全球竞争力的产品体系。更重磅的布局在工业领域展开。斯坦福博士王鹤带领的技术团队，将学术前沿与产业需求融合，为具身智能的商业化开辟全新路径。

博客

马斯克刚刚宣布一件大事：Grok 4 将重写人类所有知识库

06-23

935

当巴布亚新几内亚的树皮画智慧被算法判定为“原始艺术”而非“美学体系”，文明平等遭遇数字时代的挑战。测试显示，其识别深伪视频的准确率高达99.97%。传统学术霸权被瓦解，哥伦比亚原住民的气候智慧、印度民间水利专家的经验知识，经过系统验证后直接进入全球知识主干网。当Grok 4的知识洪流席卷全球，撒哈拉牧民通过星链终端查阅气候模型，孟加拉少女用语音交互学习量子力学，人类文明正经历认知平权的历史性转折。系统能根据学习者的认知特点，将相对论原理转化为牧童放牛的生活类比，或将微积分概念编织成非洲鼓点节奏的记忆锚点。

博客

宇树C轮融资百亿落定，腾讯阿里吉利联手押注人形机器人未来

06-20

834

表演的时候不能做大幅度移动，下台的时候是演员一人一台扶下去的，刘谦想要互动一下，直接死机瘫了。今年5月25日，全球首场人形机器人格斗大赛在杭州举行，宇树G1机器人展示了惊人的运动能力：侧踢、膝踢、勾拳、组合拳等动作流畅自如，倒地后能迅速爬起。今年4月19日，在北京举行的首个人形机器人半程马拉松上，使用宇树机器人的团队表现不佳，出现跑步摔倒、不走直线等情况，引发网友质疑。2月后，随着宇树在春晚的惊艳亮相，公司估值持续攀升，融资结构也随之变化，最终形成了六大巨头共同领投的格局。，希望能做一些改变世界的产品。

博客

福布斯发布2025全球企业2000强：Alphabet、沙特阿美、苹果位列净利润TOP3

06-17

1357

Alphabet的挑战在于如何在保持核心业务优势的同时，开拓新的增长领域。即使在创新节奏受到质疑的时期，苹果依然能够维持惊人的利润水平，证明了其商业模式的韧性。“今年全球2000强企业展示了前所未有的财务实力，”福布斯在报告中指出，“即使在面对地缘政治紧张和通货膨胀压力的情况下，这些企业依然实现了全面增长。作为全球最大的原油生产商，沙特阿美拥有世界上最低的开采成本，即使在全球能源转型加速的背景下，其。作为一家成立于1998年的相对年轻的企业，Alphabet的快速崛起体现了数字经济对传统行业的颠覆力。