
大数据
沙琪玛--充电站
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据模型LLM
包括cuda core和tensor core 通俗来讲,通用就意味着冗余,如果将与模型推理无关的硬件结构及指令集优化掉,性价比会急剧提升,这在大模型体量急剧扩大的当下有着现实意义.模型:如果在算力足够的情况下,所有能用AI模型解决的场景都可以使用大模型解决。通过将特定算法和功能转化为硬件实现高效,高性能,低功耗的计算加速。ASIC(专用集成电路):壁仞,寒武纪,华为算能等。大:涌现特性,理解力,泛化性 ---- 效果好。大模型可拆解为大和模型两个维度。智慧医疗:讯飞星火医疗大模型。原创 2024-08-11 11:19:53 · 249 阅读 · 0 评论 -
Hadoop系列
一、Hadoop项目架构Hadoop框架是用来解决数据离线批处理问题的框架,hadoop两个核心:HDFS和MapReduce.HDFS是架构在Hadoop之上的分布式文件系统,MapReduce是架构在Hadoop之上用来做计算的框架。用途:解决分布式存储和离线计算。特点:高可靠性、高效性、可扩展性、成本低(普通PC机都能构建集群)应用:Google、Facebook等,用于日志处...转载 2020-03-30 23:08:29 · 119 阅读 · 0 评论 -
大数据平台架构的组成
01、大数据平台是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。02 典型大数据平台架构由上到下,可分为三个部分:数据搜集、数据处理、数据输出与展示。(1)、数据采集将应用程序发作的数据和日志等同步到大数据系统中,由于数据源不同,这里的数据同步系统实际上是多个相关...转载 2020-03-30 22:42:28 · 836 阅读 · 0 评论