- 博客(7)
- 收藏
- 关注
RSS订阅原创 HIVE 数据探索常用函数
在Hive中，没有直接提供计算众数的内置函数。但您可以通过以下方式来近似计算众数，例如通过使用collect_list、explode和group by来实现，这里假设your_table是您的表，col是您要计算众数的列。
2024-01-26 11:57:04
748
1原创 SPARK运行基本流程
1）构建sparkContext 2）向资源管理器申请本次Spark运行需要的executor资源，并启动分布在各个节点上的executor 3）sparkContext进行任务拆解，并生达成任务集合（taskSet）并将任务集合交给任务调度器（Task Scheduler） 4）executor向任务调度器申请任务，任务调度器将任务分配给Executor并sparkContext将对应的应用程序...
2019-09-16 09:54:48
506
原创 janusgraph 图数据统计mapreduce
MAPREDUCE: import java.util import org.apache.commons.configuration.Configuration import org.apache.tinkerpop.gremlin.process.computer.{KeyValue, MapReduce} import org.apache.tinkerpop.gremlin.struct...
2019-08-27 18:10:18
450
原创 Janusgraph常用操作
//建立索引 mgmt = graph.openManagement() name = mgmt.getPropertyKey("name") //Composite Index mgmt.buildIndex(index_name,Vertex.Class).addKey(name).buildCompositeIndex(); //Mixed Index，需要指定索引后端(与compos...
2019-08-27 14:52:31
885
原创 Janusgraph BulkDumperVertexProgram
配置文件janusgraph_olap.properties： gremlin.graph=org.apache.tinkerpop.gremlin.hadoop.structure.HadoopGraph gremlin.hadoop.graphReader=org.janusgraph.hadoop.formats.hbase.HBaseInputFormat #hbase janusgrap...
2019-08-27 14:34:52
302
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人