
Hacker News排名机制大揭秘:评分、争议与惩罚如何影响文章排名?
多年来,Hacker News的基本排名公式已广为人知,但仍有一些问题有待解答,比如公布的代码是否就是真正的算法,排名是否仅基于投票,有关美国国家安全局(NSA)的文章是否会在排名中被压低等。通过连续数天仔细分析Hacker News排名前60的文章,这些问题及更多相关疑问都能得到解答。公布的公式基本准确,但实际排名的调整比想象中要多,约20%的首页文章会受到不同程度的惩罚。标题中包含“NSA”的文章会被惩罚,并迅速从排名中滑落。一篇“有争议”的文章在评论数达到40条后,会受到严重惩罚。下面将详细介绍评分和惩罚机制。[更新说明:Hacker News 不再对NSA相关文章进行惩罚([详情](https://news.ycombinator.com/item?id=9097596))。]
排名机制
文章的得分基于其点赞数、发布时长以及各种惩罚因素,具体公式如下(详见[此处](https://www.righto.com/2009/06/how-does-newsyc-ranking-work.html)):
由于时间的指数大于点赞数的指数,文章的得分最终会降为零,所以没有文章会在首页停留过长时间。这个指数被称为“引力”。你可能认为每次访问Hacker News时,文章都会按照上述公式重新评分并排序以确定排名。但为了提高效率,文章只是偶尔会单独重新排名。当文章获得点赞时,它会被重新排名,并在列表中上下移动到合适的位置,而其他文章保持不变。这样,重新排名的工作量就大大减少了。然而,可能会出现文章不再获得点赞,但仍占据较高排名的情况。为避免这种情况,每30秒会随机选择排名前50的一篇文章进行重新排名。这就导致如果一篇文章没有获得新的点赞,它可能会在几分钟内“错误地”保持在某个排名。此外,页面可能会被缓存90秒。
典型一天的原始得分与排名第一的文章
下图展示了11月11日当天Hacker News排名前60的文章的原始得分(不包括惩罚因素)。每条线代表一篇文章,颜色根据其在页面上的位置而定。红色线表示排名第一的文章。需要注意的是,由于惩罚因素的存在,原始得分最高的文章不一定是排名第一的文章。
这张图表揭示了一些有趣的现象。文章的得分会迅速上升,然后在数小时内缓慢下降。评分公式在很大程度上解释了这种现象:一篇文章如果获得稳定的点赞率,其得分会迅速达到峰值,然后逐渐下降。但实际观察到的峰值来得更快,这是因为文章往往在前一两个小时内获得大量点赞,之后点赞率就会下降。这两个因素共同导致了图表中陡峭的曲线。每天都有少数文章的得分远高于其他文章,同时也有很多处于中等水平的文章。有些文章得分很高,但运气不佳,被更热门的文章挤到后面。还有些文章会在一篇热门文章热度下降、另一篇文章热度上升的间隙短暂排名第一。对比原始得分最高的文章(图表顶部)和排名第一的文章(红色线),可以看出何时应用了惩罚因素。例如,文章《[网站注册完全搞错了](https://news.ycombinator.com/item?id=6710916)》在清晨排名第一,但因存在争议而受到惩罚,排名迅速下降,让《[Linux吃掉了我的内存](http://news.ycombinator.com/item?id=6711069)》短暂占据第一,随后又被《[用CSS实现辛普森一家](https://news.ycombinator.com/item?id=6710863)》超越。不久后,《[苹果地图](https://news.ycombinator.com/item?id=6711551)》在排名第一后不久也受到争议惩罚,失去榜首位置并迅速下滑。《[Snapchat](http://news.ycombinator.com/item?id=6711869)》这篇文章曾登上榜首,但在上午8点22分受到严重惩罚,直接从排名前60中消失。《[为何你永远不应使用MongoDB](http://news.ycombinator.com/item?id=6712703)》非常受欢迎,原本可能会在一天内大部分时间占据榜首,但很快就受到惩罚,最终排名在第七左右徘徊。《[与NSA断绝关系](http://news.ycombinator.com/item?id=6714585)》一开始就因标题包含NSA受到惩罚,但由于太受欢迎仍登上榜首,不过很快又受到更大的惩罚,排名下降。最后,接近当天结束时,《[410万美元失踪](http://news.ycombinator.com/item?id=6715702)》也受到了惩罚。实际上,即使没有惩罚,它很快也会被《[FTL](http://news.ycombinator.com/item?id=6716112)》超越。绿色三角形和文字表示应用了“争议”惩罚的位置。蓝色三角形和文字表示文章受到惩罚后从排名前60中消失的位置。较轻的惩罚未在图中显示。显然,Hacker News排名第一的文章并非完全基于点赞数的“精英排名”,而是对许多文章不断施加惩罚的结果。目前尚不清楚这些惩罚是由Hacker News管理员实施的,还是由被标记的文章触发的。
自动受罚的提交内容
有些提交内容会根据标题自动受到惩罚,有些则根据域名受罚。似乎标题中包含“NSA”的文章会自动获得0.4的惩罚系数。我还查找了其他可能导致自动惩罚的词汇,如“awesome”“bitcoin”和“bubble”,但它们似乎不会受到惩罚。我发现,许多网站似乎会自动获得0.25至0.8的惩罚系数,例如arstechnica.com、businessinsider.com、easypost.com、github.com、imgur.com、medium.com、quora.com、qz.com、reddit.com、rt.com、stackexchange.com、theguardian.com、theregister.com、theverge.com、torrentfreak.com、youtube.com等。实际受罚的网站列表肯定更长。(这与“被禁止”的网站不同,“被禁止”的网站列表曾在[此处](https://news.ycombinator.com/item?id=499044)公布过。)eterm提出的一个[有趣观点](https://news.ycombinator.com/item?id=6733430)认为,来自热门来源的新闻会被多人同时提交,导致文章获得的点赞数超过其“应得”的数量。对热门网站自动施加惩罚有助于抵消这种影响。
惩罚的影响
根据评分公式,可以计算出惩罚的影响。如果一篇文章的惩罚系数为0.4,这相当于每个点赞只算0.3个点赞,或者文章排名下降的速度比正常情况快66%。惩罚系数为0.1时,相当于每个点赞只算0.05个点赞,文章排名下降速度是正常情况的3.6倍。因此,惩罚系数为0.4的影响相当大,而0.1则非常严重。
争议惩罚
为了防止Hacker News上出现争吵,评论过多的文章会被视为“有争议”而受到重罚。在公布的代码中,`contro-factor`函数会对评论数超过20且评论数多于点赞数的文章生效。此类文章的得分会乘以(votes/comments)^2。然而,实际公式有所不同,只要评论数多于点赞数且至少有40条评论的文章就会受到惩罚。根据实证数据,我怀疑指数是3而不是2,但尚未得到证实。争议惩罚可能会对文章排名产生突然而灾难性的影响,导致一篇文章前一分钟排名还很高,评论数达到40条时就消失了。如果你想知道为什么一篇热门文章会突然从首页消失,争议惩罚很可能是原因之一。例如,《[为何Chromebook评论家脱离现实](http://news.ycombinator.com/item?id=6713211)》在评论数达到40条时,排名从第5名降至第22名;《[Show HN:从任何医生处获取你的健康记录](http://news.ycombinator.com/item?id=6713065)》原本排名第17,评论数达到40条时直接从排名前60中消失。
我的研究方法
我每分钟抓取一次`/news`和`/news2`页面(遵守每分钟不超过2页的[规则](https://news.ycombinator.com/item?id=1721105))。使用[Beautiful Soup](http://www.crummy.com/software/BeautifulSoup/)解析有些杂乱的HTML代码,用大量Python脚本处理结果,并使用功能强大但有些难懂的[matplotlib](http://matplotlib.org/)绘制图表。分析的基本思路是使用公式生成原始得分,然后寻找异常情况。在某个时间点(例如11月9日8点46分),我们可以计算排名前10的文章的原始得分:
2.802 Pyret: A new programming language from the creators of Racket1.407 The Big Data Brain Drain: Why Science is in Trouble1.649 The NY Times endorsed a secretive trade agreement that the public can't read0.785 S.F. programmers build alternative to HealthCare.gov (warning: autoplay video)0.844 Marelle: logic programming for devops0.738 Sprite Lamp0.714 Why Teenagers Are Fleeing Facebook0.659 NodeKnockout is in Full Tilt. Checkout some demos0.805 ISO 10.483 Shopify accepts Bitcoin.0.452 Show HN: Understand closures可以注意到,排名前10的文章中有三篇的排名低于根据得分预期的排名:《The NY Times》《Marelle》和《ISO 1》。由于《The NY Times》排在得分1.407和0.785的文章之间,其惩罚系数可以计算为在0.47至0.85之间。同理,其他两篇文章的惩罚系数分别在0.87至0.93和0.60至0.82之间。我发现,大多数文章是根据得分排名的,而排名异常低的文章则表明受到了惩罚。这表明实际使用的评分公式与公布的代码相符。如果公式不同,例如引力指数更大,我预计随着文章的点赞数或发布时间增加,文章会偏离其“预期”排名,但我从未观察到这种情况。这种方法可以显示惩罚的存在并给出惩罚系数的范围,但确定确切的惩罚系数很困难。你可以观察一段时间内的系数范围,希望它能收敛到一个单一值。然而,有几个误差来源会干扰这一过程。首先,相邻的文章可能也受到了惩罚,或者得分方式不同(例如招聘信息)。其次,由于文章不是持续重新排名,一篇文章可能会暂时处于错误的位置。第三,文章的惩罚系数可能会随时间变化。第四,报告的点赞数可能与实际点赞数不同,因为“无效”点赞会被过滤掉。结果是,我只能确定大致的惩罚系数,数值存在一定的不稳定性。
一天内的惩罚情况
下图展示了一天内计算得出的惩罚系数。每条线代表一篇文章。文章开始时惩罚系数应为1(无惩罚),当施加惩罚时,系数会下降到相应的惩罚水平。当文章从排名前60中消失时,线就会结束,这通常发生在施加惩罚后不久。似乎存在0.2和0.4的惩罚系数,以及很多在0.8至0.9范围内的系数。看起来很多惩罚是在上午9点施加的(是不是此时管理员开始上班了?),并且全天都会有更多惩罚。我正在尝试使用不同的算法来优化这张图表,因为它目前比较杂乱。
平均而言,首页约20%的文章受到了惩罚,而第二页有38%的文章受到了惩罚。(首页的受罚比例较低,因为从定义上来说,受罚文章不太可能排在首页。)实际的惩罚情况比你想象的要多。以下是11月11日首页受到惩罚的文章列表(不包括那些如果不受罚本应出现在首页的文章)。这个列表比我预期的要长得多,你可以滚动查看完整列表。
- 《为何气候公司将自己卖给孟山都》
- 《Facebook出版物》
- 《比尔·盖茨:我在抗击小儿麻痹症中的收获》
- 《麦凯恩称NSA局长基思·亚历山大“应辞职或被解雇”》
- 《你不是软件工程师》
- 《什么是Y组合子?》
- 《台风海燕在菲律宾造成1万人死亡》
- 《说服他人,讲个故事》
- 《俄罗斯方块与CSS的力量》
- 《微软研究院出版物》
- 《莫斯科地铁:做30个仰卧起坐可免费乘车》
- 《货船的秘密世界》
- 《Rust本周动态》
- 《空腹智慧》
- 《网站注册完全搞错了》
- 《六种最常见的代码类型》
- 《亚马逊将在邮局协助下开启周日配送服务》
- 《Linux吃掉了我的内存》
- 《用CSS实现辛普森一家》
- 《苹果地图:谷歌为何在众人认为其获胜时失败》
- 《Docker与Go:为何我们决定用Go编写Docker?》
- 《亚马逊代码忍者》
- 《最后一批杜立特空袭者最后一次举杯》
- 《Linux Voice - 一本回馈社区的新Linux杂志》
- 《想下载动漫?我刚做了个程序》
- 《花15分钟向陌生人解释你为何热爱工作》
- 《为何你永远不应使用MongoDB》
- 《Show HN:SketchDeck - 更快地制作幻灯片》
- 《78秒内从零开始搭建Docker环境》
- 《NSA的监控权力远超反恐范畴》
- 《Sentry开源服务的诞生》
- 《实战OCaml》
- 《Show HN:从任何医生处获取你的健康记录》
- 《为何Chromebook评论家脱离现实》
- 《JavaScript库迈向更模块化的未来》
- 《为何virt-builder用OCaml编写?》
- 《iOS:一个时代的终结》
- 《你能插入iPhone耳机插孔的最疯狂的东西》
- 《RFC:默认语言中用Go取代Java》
- 《Show HN:在Health Sherpa上查找你的健康保险计划》
- 《网络延迟基准测试:一种新型浏览器基准测试》
- 《为何亚马逊、Facebook和雅虎在模仿微软的排名系统?》
- 《与NSA断绝关系》
- 《医生使用谷歌眼镜进行手术》
- 《Duplicity + S3:简单、廉价、加密、自动的全磁盘备份》
- 《比特币在英国的未来堪忧》
- 《亚马逊Redshift的新特性》
- 《你只得到了正面反馈》
- 《软件容易,硬件中等难度》
- 《Adobe数据泄露后,Facebook警告用户》
- 《国际空间站感染USB闪存盘恶意软件》
- 《趣闻:客户端比特币挖矿》
- 《Go:“这个名字我已经用在我的编程语言上了”》
- 《多模式无人机:飞行、游泳与驾驶》
- 《每日Go编程报纸》
- 《“我们没有食物,我们需要水和其他生存物资。”》
- 《Humble Store上线》
- 《六种最常见的代码类型》
- 《中国比特币交易平台GBL消失,410万美元失踪》
- 《比特币会比互联网更具颠覆性吗?》
- 《苹果商店正在更新》
评分公式代码
Hacker News服务器某个版本的Arc源代码可在[此处](http://ycombinator.com/arc/arc3.1.tar)获取,以及更新后的评分公式可在[此处](https://news.ycombinator.com/item?id=1781417)查看:
(= gravity* 1.8 timebase* 120 front-threshold* 1 nourl-factor* .4 lightweight-factor* .17 gag-factor* .1) (def frontpage-rank (s (o scorefn realscore) (o gravity gravity*)) (* (/ (let base (- (scorefn s) 1) (if (> base 0) (expt base .8) base)) (expt (/ (+ (item-age s) timebase*) 60) gravity)) (if (no (in s!type 'story 'poll)) .8 (blank s!url) nourl-factor* (mem 'bury s!keys) .001 (* (contro-factor s) (if (mem 'gag s!keys) gag-factor* (lightweight s) lightweight-factor* 1)))))如果你不熟悉Arc代码,上面的代码片段定义了几个常量,如`gravity* = 1.8`、`timebase* = 120`(分钟)等。然后定义了一个`frontpage-rank`方法,根据文章的点赞数(`realscore`)和发布时长(`item-age`,单位为分钟)对文章`s`进行排名。惩罚系数由一个`if`语句根据不同情况定义。如果文章不是“故事”或“投票”类型,惩罚系数为0.8;如果URL字段为空(如Ask HN类型的文章),惩罚系数为`nourl-factor*`;如果文章被标记为“bury”,缩放系数为0.001,文章将被排到非常靠后的位置。最后,默认情况下会结合争议因素和玩笑/轻量级因素。争议因素`contro-factor`旨在抑制可能引发争吵的文章,后面会详细讨论。另一个因素是对被标记为玩笑的文章施加0.1的重罚,对“轻量级”文章施加0.17的惩罚。实际的惩罚系统似乎比公布的代码要复杂得多。
结论
文章在Hacker News首页的排名并非如你所想,完全基于点赞数的“公平竞争”。通过仔细研究Hacker News页面上的文章,我们可以深入了解其使用的评分公式。虽然点赞数显然是控制排名的重要因素,但也存在一个复杂的“惩罚”系统,会使文章排名降低甚至完全消失。这不仅是为了防止垃圾信息,还会影响许多非常受欢迎的文章。如果一篇文章的评论数多于点赞数,就别再评论了,否则可能会让它彻底消失!相关讨论可查看[Hacker News](https://news.ycombinator.com/item?id=6799854)。
更新(11月18日):关于惩罚的文章也受到惩罚
具有讽刺意味的是,这篇关于Hacker News排名惩罚机制的文章本身也在Hacker News上受到了惩罚。文章登上首页几分钟后,就被施加了0.2的重罚,被迫从首页消失。下图中的黑色线显示了这篇文章在Hacker News上的排名位置。可以看到,施加惩罚时排名急剧下降。灰色线显示了如果没有惩罚,文章原本的排名位置。如果没有惩罚,文章本可以排在第5名,但受到惩罚后就再也没能回到首页(前30名)。下方的绿色线显示了这篇文章的原始得分。(11月26日消息:我得知这次惩罚是因为“投票环检测”误触发。)
15条评论
Anonymous 说:分析很棒!你应该研究一下涉及 Y Combinator (YC)公司及其竞争对手的文章。我一直觉得 Hacker News 对关于 YC 公司的文章给予了不公平的优势,不仅仅是因为常见的“回音室”效应。[2013年11月18日下午2:56](https://www.righto.com/2013/11/how-hacker-news-ranking-really-works.html?showComment=1384815407374#c2808288632192076832 "评论链接")
[Fabien](https://www.blogger.com/profile/02739446213556869485) 说:你能提供一下对应的 Hacker News 讨论链接吗?那个讨论被埋得很深,在 Hacker News 上搜索也不太方便。[2013年11月19日上午4:18](https://www.righto.com/2013/11/how-hacker-news-ranking-really-works.html?showComment=1384863498357#c7631437411694413035 "评论链接")
[Cd-MaN](https://www.blogger.com/profile/05030326541176171725) 说:谢谢!分析非常棒
[Ken Shirriff](https://www.blogger.com/profile/08097301407311055124) 说:Fabien:Hacker News 上的讨论链接在[这里](https://news.ycombinator.com/item?id=6755071),Reddit 上也有相关讨论,链接在[这里](http://www.reddit.com/r/programming/comments/1qwnuh/how_hacker_news_ranking_works_scoring_and/)。Reddit 上的讨论有一些有趣的链接。[2013年11月20日上午7:41](https://www.righto.com/2013/11/how-hacker-news-ranking-really-works.html?showComment=1384962087408#c5997000162475136291 "评论链接")
[Unknown](https://www.blogger.com/profile/08606889132090173983) 说:我正在对我的文章进行事后分析,我很想看看我昨天在 Hacker News 上发布的文章(《如果成功的初创公司只是运气好呢?》)的排名曲线。你的爬虫还在运行吗?我想知道我的文章是否受到了惩罚,以及曲线是什么样的。[2013年11月26日上午2:11](https://www.righto.com/2013/11/how-hacker-news-ranking-really-works.html?showComment=1385460689593#c205295253771649803 "评论链接")
Hacker News读者兼发布者 说:很棒的文章!我很想了解更多关于投票环检测惩罚的信息。目前,我所有登上首页的文章都会受到惩罚。据 Paul Graham (PG)说,这是因为投票环检测。但我肯定没有组织任何投票环。我认为这可能是对热门域名的另一种无意惩罚——有太多朋友为你点赞,触发了“投票环检测”。这很令人沮丧,因为我在内容上投入了很多时间,而且我真的认为内容很不错。结果就是,我在 Hacker News 上“发完就不管了”。试图参与讨论只会在评论区突然从首页消失时让人感到沮丧。另一个观察是,我关于性别话题的文章(我因为个人风险已经不再写这类文章了)受到了“争吵”惩罚,尽管这些文章都是真诚的、没有争议的,还引发了一些非常有价值的讨论。显然,讨论太多也不行。这个算法可能保护我们免受很多垃圾信息的干扰,但有时也会带来负面影响。[2013年11月26日上午10:24](https://www.righto.com/2013/11/how-hacker-news-ranking-really-works.html?showComment=1385490288734#c311824339617515455 "评论链接")
330



被折叠的 条评论
为什么被折叠?



