
HADOOP
文章平均质量分 89
jerry-89
这个作者很懒,什么都没留下…
展开
-
Centos7搭建Hadoop HA完全分布式集群(6台机器)(内含hbase,hive,flume,kafka,spark,sqoop,phoenix,storm)
。原创 2023-06-28 09:56:01 · 1087 阅读 · 0 评论 -
spark 基于物理机centos7环境搭建分布式集群
Hadoop +zookeeper+Flume+Spark+Kafka+Hbase集群原创 2023-05-03 00:48:22 · 1342 阅读 · 1 评论 -
大数据
业务分层划分 边缘部分 数据收集,高效、不丢、资源消耗低、可审计监控 数据传输,域名、链路选择 数据开发,部分数据开发需要下沉到边缘 中央部分 通用基础设施 机器选型,针对不同服务选择合适的机型 集群搭建,选择合适的发行版本 配置管理,做到自动化下发配置,管理集群,服务 监控管理,监控大数据平台组建,为调优、扩容提供数据支撑 数据平台基础 数据接入,选择Flume,易扩展,方便接入各类数据 数据计算,选择Spark,M原创 2020-06-29 16:07:13 · 255 阅读 · 0 评论 -
Spark处理远程mongodb数据报错
报错:Failed with exception java.io.IOException:java.io.IOException: Unable to calculate input splits: not authorized on loan to execute command { splitVector: "loan.operatorMongoModel", keyPattern: { _i...原创 2018-04-12 18:45:25 · 603 阅读 · 0 评论 -
mongodb shell 运行js脚本的四种方式
1. 交互式 mongo shell大部分的 mongodb 教程,在第一章都会讲解这种方式。mongo 127.0.0.1:27017use testdb.users.findOne()2. mongo --eval 运行一段脚本不进入交互模式,直接在 OS 的命令行下运行一段mongodb脚本。mongo 127.0.0.1:27017/test --eval "printjson(db.us...原创 2018-04-13 11:09:20 · 3197 阅读 · 1 评论 -
Hive 对mongodb 开启认证后抽数失败
报错:Failed with exception java.io.IOException:java.io.IOException: com.mongodb.MongoQueryException: Query failed with error code 13 and error message 'not authorized on config to execute command { find...原创 2018-04-19 15:06:34 · 607 阅读 · 0 评论