- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大数据入门
大数据入门 如上图说示，大数据处理的主要流程包括数据收集，数据存储，数据处理 1.大数据处理的主要流程： 1.1 数据收集： 大数据处理的第一步往往是对数据的采集，中小型项目通常采用微服务架构进行分布式部署，因此需要在多台服务器上同时进行，日志收集工具就显得尤为重要，它们能够通过简单的配置实现复杂的数据收集和数据聚合的业务需求，这里主要以Flume为例。 1.2 数据存储： 说到数据的存储，首先想到的是MySQL，Oracle等传统的关系型数据库，它们可以快速存储结构化的数据且支持随时访问，但是由于大数据
2022-03-24 00:00:15
185
原创 SQL中内部表和外部表的区别
对比 内部表 外部表 建表 无需关键字 需使用external关键字 权限 删除表的元数据和内容数据 仅删除元数据 如上表所示： 内部表也就是管理表，最好仅用于存储自己的私人数据； 为防止开发过程中出现数据误删等现象，数仓要求所有的公共数据（集群数据）表均使用外部表。 ...
2022-03-03 10:46:33
2165
原创 Scala中的匿名函数
Scala 中定义匿名函数的语法： (参数)=>{函数体} def main(args:Array[String]): Unit={ var a1 = (x:Int) => x+3 println(a1(3)) } 如上述代码所示，a1为一元函数函数名，箭头左边（x:Int）是参数的列表，右边x+3是函数体。 输出结果即为： 匿名函数也可以设置多个参数 def main(args:Array[String]): Unit={ var a2 = (x:
2022-02-16 16:15:55
1719
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人