- 博客(4)
- 收藏
- 关注
RSS订阅原创 AWS云计算入门
一种无服务器的计算服务，可以编写代码，根据触发事件（如 S3 上传、DynamoDB 更新、SNS 消息等）自动执行代码（账号没权限没有测试）交互式查询，可以将结果储存到s3或者bi中，可以指定储存的格式例如csv，json等，还可以将athena通过lambda进行集成处理。etl工具，可以使用pyspark脚本来处理数据，通过编辑job来配置入参（账号没有权限没有测试）核心功能是将 SQL 查询脚本转换成可重用的数据模型，并在数据仓库中进行自动化管理和测试。
2024-08-07 16:02:53
318
1
原创 记录一次JSON转换对象的异常
今天在写代码时碰到了这样一个问题，将Java对象转换为JOSN字符串时，出现了重复的字段“OPEN”和“TIMESTAMP”这是Java对象代码经实验发现只有这两个字段会出现重复情况，猜测可能时由于该字段是特殊别名对实例类做如下改动成功修复...
2022-02-09 15:43:59
611
原创 Hadoop知识重点总结
Hadoop重点HDFS读写流程写数据流程1、client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；2、client请求第一个 block该传输到哪些DataNode服务器上；3、NameNode根据配置文件中指定的备份数量及副本放置策略进行文件分配，返回可用的DataNode的地址，如：A，B，C；4、client请求3台DataNode中的一台A上传数据（本质上是一个RPC调用，建立pi
2020-11-28 15:11:38
521
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人