spark神图

最新推荐文章于 2025-11-27 15:46:47 发布
转载 最新推荐文章于 2025-11-27 15:46:47 发布 · 599 阅读 · 0
文章标签：

#大数据 #spark

http://group.store.qq.com/qun/V11TxwEO1NQLas/V3t65IgDzZ7XlfQdT8q/0
Spark 源码 | 脚本分析总结
主要分享大数据相关的知识，如Spark、Hudi
02-10 1815
最初是想学习一下Spark提交流程的源码，比如 Spark On Yarn 、Standalone。之前只是通过网上总结的文章大概了解整体的提交流程，但是每个文章描述的又不太一样，弄不清楚到底哪个说的准确，比如Client 和 CLuster 模式的区别，Driver到底是干啥的，是如何定义的，为了彻底弄清楚这些疑问，所以决定学习一下相关的源码。因为不管是服务启动还是应用程序启动，都是通过脚本提交的，所以我们先从分析脚本开始。
spark rdd dag 完全图解
稚枭天卓
08-04 955
相关概念 参见 05 课件 client cluster yarn yarn cluster 一张神图
21 张让你代码能力突飞猛进的“神图”
mobilehub
09-08 313
点击蓝字关注我们来源丨https://zhuanlan.zhihu.com/p/61013882编辑 | 极市平台随着深度学习的蓬勃发展，越来越多的小伙伴们开始使用python作为主打代...
神图示例-AbutionGraph面向多维图谱的查询语言Aremlin与Gremlin一维的实现入门
图特摩斯科技-博客
06-25 1596
AbutionGraph是图特摩斯科技自研的首款GraphaAAbutionAbuGraphgraphHOLAP图数据仓库，面向大规模实时图查询分析，在传统静态数据图谱的基础上，时序多维的动态知识图谱是其一大特色，从底层构建解决和优化一些既往图数据库无法完成的任务，是一款原生图存储系统。 维度是数据库的概念，标签是业务上的概念，是对应关系。在大多数场景中，知识数据往往是多维的，就拿以人为中心的图谱画像来说，每个人的数据（金融、购物、出行等）都可能不同，有些人去过医院拥有医疗记录，有些人则没有去过，这样的.
titan 学习1
chenghouxian7338的博客
12-29 365
titan是一个可扩展的图形数据库，用于存储和查询包含数百亿的顶点和边分布在一个多机集群的图表。titan是事务性数据库，可以支持的并发用户在实时执行复杂的图遍历的千。此外，titan提供以下功能：一个不断增长的数据和用户基础的弹性和线性可扩展性。性能和容错的数据分布和复制。多数据中心的高可用...
XGBoost：梯度提升的终极进化——统治Kaggle的算法之王
拒绝AI玄学，只聊真技术▲
06-26 1178
XGBoost 是算法优雅性与工程严谨性的完美结合”—— 陈天奇精度巅峰：二阶导数优化带来更精准的梯度方向可控性强：丰富的正则化参数实现精细控制生态完备：工业部署全链路支持截至2023年，Kaggle竞赛中60%的冠军方案仍以XGBoost为基模型（来源：Kaggle年度报告），其设计思想更深远影响了TensorFlow、PyTorch等框架的优化器设计。掌握XGBoost，就是掌握结构化数据建模的核武器。资源导航官方文档GitHub仓库。
浅谈软件开发方向之大数据
ThinkCockpit的博客
03-28 1725
大数据方向有哪些软件开发岗位，之间又有什么关系？
图计算系统小调研
叶子心情你不懂
08-04 881
仔细看看图计算系统是干嘛的，做笔记，决定未来方向。 一. 费马科技 五篇知乎文 图计算系统发展简史 https://zhuanlan.zhihu.com/p/83202666 社交网络分析、网页排序、社区发现、天体物理学、计算化学、生物信息学、超大规模集成电路的设计、运输路线的规划、电力网络的仿真模拟等等 早期的图计算框架： 早期的面向图计算的程序库缺乏对用户友好的编程模型，需要介入和管理的细节较多，上手难度大（BGL、PBGL）。 通用大数据处理系统 通过较为廉价的普通服务器集群进行大规模数
机器学习模型可解释性进行到底 —— SHAP值理论（一）
热门推荐
素质云笔记
04-07 18万+
最近在系统性的学习AUTOML一些细节，本篇单纯从实现与解读的角度入手， 因为最近SHAP版本与之前的调用方式有蛮多差异，就从新版本出发，进行解读。 不会过多解读SHAP值理论部分，相关理论可参考： 关于SHAP值加速可参考以下几位大佬的文章： 文章目录1 介绍2 可解释图2.1 单样本特征影响图 1 介绍 文章可解释性机器学习_Feature Importance、Permutation Importance、SHAP 来看一下SHAP模型，是比较全能的模型可解释性的方法，既可作用于之前的全局解释，.
最受 IT 公司欢迎的 30 款开源软件
机器学习算法与Python学习
08-21 2939
（给机器学习算法与Python学习加星标，提升AI技能）来源：http://www.360doc.com/content/20/0613/14/49290572_918245894.sh...
Spark实战：Spark读取Excel文件
howard2005的专栏
11-14 2248
在Spark集群环境中，实战操作涵盖了Excel转CSV及Spark读取两种格式文件。首先通过WPS将Excel数据另存为CSV，并远程传输至主节点`bigdata1`。在spark-shell中，利用DataFrame API加载CSV并展示内容。为处理Excel，添加了`spark-excel`库到环境，重启shell后成功读取并显示Excel数据。此外，还演示了如何在Scala Spark程序中导入该库以实现对Excel文件的读取和展现，展示了在生产环境中高效集成多种数据源的能力。
Spark 2 迁移 Spark 3 参考手册
weixin_47499396的博客
08-07 1761
Apache Spark是一个广泛应用于大规模数据处理的开源统一分析引擎。自发布以来，它已经成为大数据处理的事实标准。2020年发布的Spark 3.0带来了许多新特性和改进，极大地提升了性能和易用性。如果你习惯使用Spark 2，那么了解新版本的变化将非常有帮助。 本文将重点介绍Spark 2和Spark 3在语法上的主要差异，帮助开发者顺利过渡到新版本。希望这篇文章能为你在Spark 3上的开发提供一些有用的参考。
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
欢迎来到我的博客，一起探索代码里的世界！
03-13 3581
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理，它的前身为Shark，在Spark 1.3.0版本后才成长为正式版，可以彻底摆脱之前Shark必须依赖HIVE的局面。
使用Spark shell
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 7862
大数据实验教学系统使用Spark shellspark-shell命令及其常用的参数如下：   Spark的运行模式取决于传递给SparkContext的Master URL的值。 • 参数选项–master：这个参数表示当前的Spark Shell要连接到哪个master，如果是local[*]，就是使用本地模式启动spark-shell，其中，中括号内的星号表示需要使用几个CPU核心(core)，也就是启动几个线程模拟Spark集群。可选地，默认为local。 • 要查看完整的参数选项列表，可以执行“s
Apache Kafka高吞吐消息系统实践分享：实时数据流处理与消息可靠性优化经验
2501_94114477的博客
11-23 566
合理主题与分区设计保证吞吐量和顺序性生产者批量与压缩优化提升发送效率消费者多线程与手动提交偏移保证可靠消费副本与幂等策略确保消息不丢失实时监控与告警提升系统稳定性Kafka 通过高吞吐量、低延迟和可扩展性，为企业实时数据流和消息系统提供可靠解决方案，是金融、电商和 IoT 系统不可或缺的核心组件。
hive-----广电大数据分析
2401_87586917的博客
11-26 625
1．创建存储格式为TextFile的观看历史表text_see和用户信息表text_user（用于存储原始数据）。并创建存储格式为ORC的表orc_see和orc_user。12. 对orc_see表按照用户Group By聚合，然后统计组内的时长即可。3. 用户信息文件userevents.txt存储在本地系统/opt/datas目录下，将其导入表text_user中。5. 将表text_user中数据加载到表orc_user中。4. 将表text_see中数据加载到表orc_see中。
Python在云原生微服务监控与自动化运维平台中日志处理与告警实践
2501_94182049的博客
11-23 688
开发效率高：快速实现日志解析、指标聚合和告警逻辑生态丰富：支持 Kafka、Prometheus、ElasticSearch、Celery 等易扩展与维护：模块化、异步、插件化设计性能优化灵活：批量、异步、缓存、序列化优化通过异步日志处理、实时指标聚合、告警策略和自动化运维集成，Python 能够支撑高并发云原生服务的监控需求，实现低延迟、高吞吐、可监控、可扩展的运维平台，为企业稳定运营和快速响应提供保障。
Go语言高性能并发编程实践分享：从基础协程到分布式服务优化实战经验总结
2501_94108919的博客
11-23 452
充分利用goroutine和channel，实现轻量级并发。控制并发规模，避免无限增长导致系统压力。合理使用连接池和异步操作，优化网络和数据库IO。监控与分析，借助pprof定位性能瓶颈。简单、静态部署，提升服务稳定性和运维效率。总之，Go语言凭借原生并发支持和高效性能，非常适合构建高吞吐量、高并发的分布式服务。通过本文经验分享，希望开发者能在Go语言实践中少踩坑，快速构建稳定、高性能的互联网系统。全文字数：约1205字内容原创度：低相似度（独立实践经验、代码示例、优化策略）地区信息：广州。
金融大数据风控系统中的多语言语法引擎与分布式架构实践
最新发布
2501_94114711的博客
11-27 165
在金融大数据风控系统中，交易量大、风险复杂，实时性和准确性要求极高。多语言微服务环境中，Python、Java、C++、Go 等服务需要统一的规则解析和执行能力，以保证风控决策快速准确。
Spark 1.6.3 压缩包介绍
标题 "spark-1.6.3-bin-hadoop2.6.tgz" 指的是 Apache Spark 版本 1.6.3 的二进制发行包文件，这个文件被归档为 TGZ 格式（即.tar.gz压缩格式），通常适用于 Hadoop 2.6 环境。描述部分与标题完全相同，表明文件内容...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值