Google近日公開了其從全球網站中抽取的N-Gram統計資料，包括約24GB的壓縮文本文件，內含超過1千億個詞元及數十億個句子等，這一舉措為語言數據研究提供了寶貴資源。
早幾天說到如果有機械人漫遊網路學習文字的話，也許可以有無限的可能性。今天竟才由William's Blog讀到一單舊聞《Google 釋出 n-gram 資料》。
話說Google一直也有把它由漫遊網頁所得的N-Gram統計資料累積並利用在各種研發之上，最近它決定把這些資料公開。全世界的網站所抽取出N-Gram有多大？
File sizes: approx. 24 GB compressed (gzip'ed) text files
Number of tokens: 1,024,908,267,229
Number of sentences: 95,119,665,584
Number of unigrams: 13,588,391
Number of bigrams: 314,843,401
Number of trigrams: [...]
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
