
大数据
j-o-l-i-n
半路出家机房扫地僧,沉迷火炉炼丹和修仙。精通徒手写bug,曾出版《如何一秒爆显存》。
展开
-
提交spark任务偶尔报错 org.apache.spark.SparkException: A master URL must be set in your configuration
错误信息可谓恶心至极,其中有几个关键词,在代码里压根没有,但是我的debug能力也专门针对恶心的 错误信息优化过,所以最终还是解决了。错误信息:20/11/24 22:32:00 INFO DAGScheduler: ResultStage 0 (take at Base64UserEmb.scala:57) failed in 16.761 s due to Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times,原创 2020-11-24 23:08:15 · 544 阅读 · 0 评论 -
介数[大数据分析]
介数通常分为边介数和节点介数两种.节点介数定义为网络中所有最短路径中经过该节点的路径的数目占最短路径总数的比例.边介数定义为网络中所有最短路径中经过该边的路径的数目占最短路径总数的比例.介数反映了相应的节点或者边在整个网络中的作用和影响力,是一个重要的全局几何量,具有很强的现实意义。例如,在社会关系网或技术网络中,介数的分布特征反映了不同人员、资源和技术在相应生产关系中的地位,这对于发现和保护关键原创 2014-06-01 12:58:51 · 2806 阅读 · 0 评论 -
RapidMiner tuts
http://wenku.baidu.com/link?url=FhWasTFTn6iLECDrfcw_wkBLGLqVazCHfnBE0BDKm5gsMz3Ojw_3Zwc7UvWKlu9bVAtHOyspSEKtzxPAA2JbCoTNZkOjxA0d79bj1619Nt_原创 2014-06-01 12:59:53 · 497 阅读 · 0 评论 -
GraphChi: Large-Scale Graph Computation on Just a PC
https://www.usenix.org/conference/osdi12/technical-sessions/presentation/kyrola转载 2014-06-01 13:00:00 · 1014 阅读 · 0 评论