
社团发现
wang_306
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
mac graphX通过python调用
spark中的GraphX模块是没法直接通过python的接口调用的,都是直接使用的Scala,这对只熟悉python的人来说太痛苦了,并且Scala中的基础数据结构也是RDD,通过RDD来描述点和边,但做数据分析的话,明显对Spark 的DataFrame更熟悉一些,所以就研究怎样用python来调用GraphX模块。查了很多资料,总的来说是通过应用graphFrames这个Apache的包,...原创 2019-03-01 18:09:32 · 1481 阅读 · 1 评论 -
在pyspark上实践graphframes的邻居汇聚函数AggregateMessages
在调试graphframes中应用邻居汇聚函数AggregateMessages,该函数用于收集各个顶点的邻居信息,并使用一定的逻辑处理这些收集起来的信息,网上使用Python来应用该函数的资料非常少,唯一好一点的是github上的一个该函数的测试用例,如下:def test_aggregate_messages(self): g = self._graph("friends")...原创 2019-03-05 16:47:10 · 1503 阅读 · 0 评论 -
Mac下Gephi报内存溢出的错误修改方法
网上一般能搜到gephi报内存溢出的错误修改方法,就是改/etc/gephi.conf这个文件,但是mac下的这个文件是处在 /Applications/Gephi.app/Contents/Resources/gephi/etc下的,与其他系统的不同。至于修改方法都是一样的:# command line switchesdefault_options=“–branding gephi -J-...原创 2019-03-18 16:14:24 · 4647 阅读 · 2 评论