用word2vec 跑搜狗SogouCS语料 - 大小4G | 6.8 亿词长 | 57万词汇

词法分析与分词技术深度解析
最新推荐文章于 2025-12-02 21:05:32 发布
原创 最新推荐文章于 2025-12-02 21:05:32 发布 · 1.4w 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#word2vec #nlp #corpus

本文深入探讨了词法分析与分词技术的关键原理、应用案例及最新发展，详细介绍了训练过程、数据来源、结果分析以及未来趋势。


[分词]

单机跑，耗时：   68分钟


[ 训练 ]

$ time ./word2vec -train /data/sogou/sohunews_segmented_1line.txt -output /data/sogou/vectors_sohunews.bin -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -sample 1e-3 -threads 30 -binary 1
Starting training using file /data/sogou/sohunews_segmented_1line.txt
Vocab size: 575479   （非重复的词典单词个数 57 万）
Words in train file: 688085439     （数据文件词个数 6.8 亿）
线程数： 30

预计 12.8小时跑完。 

训练出来的文件： vectors.bin     450M


[ 数据来源 ]

ftp://ftp.labs.sogou.com/Data/SogouCS/SogouCS.tar.gz


[几个结果]

上图========> 




奇怪出来了一些数字串，这个与语料有关系，可以预处理


















语料加大后，整体的效果还是好了很多，但是多出了一些奇怪的数字，这个在实用的时候需要对分词后结果做下清洗就行。 



精选资源
PAT (Basic Level) Practice （中文）.zip
04-23
PAT（Basic Level）Practice（中文）是一套针对编程竞赛初学者的练习资源，主要在PTA（Programming Training Arena）平台上提供。PTA是为学生和编程爱好者设计的在线编程训练平台，它提供了丰富的编程题目，涵盖了...
【PAT (Basic Level) Practice】——【链表处理】1025 反转链表
IronmanJay
01-31 1021
文章目录一【题目难度】二【题目编号】三【题目描述】四【题目示例】五【解题思路】六【最终得分】七【代码实现】八【提交结果】 一【题目难度】 乙级 二【题目编号】 1025 反转链表 (25 分) 三【题目描述】 给定一个常数 KKK 以及一个单链表 LLL，请编写程序将 LLL 中每 KKK 个结点反转。例如：给定 LLL 为 1→2→3→4→5→6，KKK 为 3，则输出应该为 3→2→1→6→5→4；如果 KKK 为 4，则输出应该为 4→3→2→1→5→6，即最后不到 KKK 个元素不反转。
PAT (Basic Level) Practice （中文）--1025 反转链表
Chapter的博客
07-25 421
给定一个常数K以及一个单链表L，请编写程序将L中每K个结点反转。例如：给定L为 1→2→3→4→5→6，K为 3，则输出应该为 3→2→1→6→5→4；如果K为 4，则输出应该为 4→3→2→1→5→6，即最后不到K个元素不反转。 输入格式： 每个输入包含 1 个测试用例。每个测试用例第 1 行给出第 1 个结点的地址、结点总个数正整数N(≤10​5​​)、以及...
PAT (Basic Level) Practice （中文）
aha_xigua的博客
03-10 408
pta错题归纳总结
1067 试密码（20 分）
A0_0A0_0A0_0A的博客
08-10 479
当你试图登录某个系统却忘了密码时，系统一般只会允许你尝试有限多次，当超出允许次数时，账号就会被锁死。本题就请你实现这个小功能。 输入格式： 输入在第一行给出一个密码（长度不超过 20 的、不包含空格、Tab、回车的非空字符串）和一个正整数 N（≤ 10），分别是正确的密码和系统允许尝试的次数。随后每行给出一个以回车结束的非空字符串，是用户尝试输入的密码。输入保证至少有一次尝试。当读到一行只有单...
PAT (Basic Level) Practice （中文）1025 反转链表
Dragon_dd的博客
03-23 104
给定一个常数 K 以及一个单链表 L，请编写程序将 L 中每 K 个结点反转。例如：给定 L 为 1→2→3→4→5→6，K 为 3，则输出应该为 3→2→1→6→5→4；如果 K 为 4，则输出应该为 4→3→2→1→5→6，即最后不到 K 个元素不反转。
PAT (Basic Level) Practice 1025 反转链表
a656418zz的博客
12-02 312
乙级1025
PAT (Basic Level) Practice 1045 快速排序
KaiYingLi的博客
03-27 745
PAT刷题记录分享 - PAT1045
PAT Basic Level Practice (中文)
yoojr的博客
03-30 409
PAT乙级 1001 1002 1003 1004 1005 1006 1007 1008 1009 1010 1011 1012 1013 1014 1015 1016 1017 1018 1019 1020 1021 1022 1023 1024 1025 1026 1027 1028 1029 1030 1031 1032 1033 1034...
PAT (Basic Level) Practice （中文）刷题1
leidianguagua的博客
07-08 334
题目详情：： 1001 害死人不偿命的(3n+1)猜想 (15 分) 描述： 卡拉兹(Callatz)猜想： 对任何一个正整数 n，如果它是偶数，那么把它砍掉一半；如果它是奇数，那么把 (3n+1) 砍掉一半。这样一直反复砍下去，最后一定在某一步得到 n=1。卡拉兹在 1950 年的世界数学家大会上公布了这个猜想，传说当时耶鲁大学师生齐动员，拼命想证明这个貌似很傻很天真的命题，结果闹得学生们无心学业，一心只证 (3n+1)，以至于有人说这是一个阴谋，卡拉兹是在蓄意延缓美国数学界教学与科研的进展…… 我们今
PTA平台 · PAT(Basic Level) Practice(中文) 题目集
Dr_Cheeze的博客
06-24 3360
本文是PTA平台上收录的PAT乙级真题的参考代码（我自己写的），共115道题，主要用Java语言完成。
PAT (Basic Level) Practice
qq_37443534的博客
02-25 382
1001 害死人不偿命的(3n+1)猜想 卡拉兹(Callatz)猜想： 对任何一个正整数n，如果它是偶数，那么把它砍掉一半；如果它是奇数，那么把(3n+1)砍掉一半。这样一直反复砍下去，最后一定在某一步得到n=1。卡拉兹在 1950 年的世界数学家大会上公布了这个猜想，传说当时耶鲁大学师生齐动员，拼命想证明这个貌似很傻很天真的命题，结果闹得学生们无心学业，一心只证(3n+1)，以至于有人说这是一个阴谋，卡拉兹是在蓄意延缓美国数学界教学与科研的进展…… 我们今天的题目不是证明卡拉兹猜想，而是...
【PAT乙级】PAT (Basic Level) Practice （中文）训练记录
初见还是重逢的博客
02-25 4504
本博客用于记录PAT乙级题库做题新得
解码C++基础——从C到C++
愿能与同路的你交流互鉴～ 博客园 ：https://www.cnblogs.com/YouEmbedded/
12-01 1166
本文介绍了C++编程语言的核心概念，包括其多范式特性（过程化、面向对象和泛型编程）、基础程序结构以及关键语法元素。重点讲解了名字空间（Namespace）机制，详细说明其定义、访问方式（使用作用域解析符::或using语句）、嵌套结构以及解决命名冲突的实际应用。此外，文章对比了C++的输入输出流（cin/cout）与C语言的scanf/printf，强调其类型安全和扩展性优势，并介绍了C++特有的string类及其自动内存管理等特性。这些内容为C++初学者提供了语言基础知识的系统概览。
c/c++基础知识点
qq_44160901的博客
12-01 280
空指针运行调用成员函数：但是确保无this指针的使用。3.将整个类都模板化传入参数。2.将函数列表模板化传入。
C++ 设计模式之观察者模式详细介绍
最新发布
XiaoBinbest的博客
12-02 342
抽象接口是解耦的核心，确保被观察者和观察者仅依赖抽象，不依赖具体实现。
C++中Pimpl的实现思想
u010378559的博客
12-01 312
Pimpl是一种强大的C++设计技术，通过牺牲少量运行时性能来获得更好的编译时性能、二进制兼容性和信息隐藏。在合适的场景下使用Pimpl可以显著提高代码的可维护性和模块化程度。
C++ 实操
淡水瑜的博客
11-28 413
编译 C++ 代码需要依赖gcc/g++这类编译器程序（MinGW-w64、TDM-GCC 都是 Windows 下常用的免费 C++ 编译器）。2、插件2 ： 搜索安装 C/C++ Compile Run，插件右上方，配置settings修改对应路径。1、插件1 ：搜索安装 C/C++（Microsoft Official）3、配置环境变量 PATH，新增C:\mingw64\bin。2、解压后，放到路径 C:\mingw64。Windows 64位系统。Vscode IDE工具。
【C++ 基础】：给定一个指针 p，你能判断它是否指向合法的对象吗？
qq_64214980的博客
12-01 346
摘要： 在C++中，仅凭裸指针无法判断其是否指向合法对象，这是内存安全问题的根源。指针本质是内存地址的整数，缺乏元数据标识状态：未初始化的指针（野指针）可能包含随机地址；已释放内存的指针（悬空指针）仍保留原地址；空指针检查只能排除nullptr情况。强行访问可能引发未定义行为。现代C++推荐使用智能指针（如std::weak_ptr配合lock()方法）安全检测对象有效性。工程实践中应减少裸指针使用，优先采用RAII和智能指针机制以规避风险。
PAT (Basic Level) Practice测试点
02-28
### 关于PAT Basic Level Practice的测试点及题目解析 #### 题目难度分级 PAT（Programming Ability Test）是由浙江大学举办的计算机程序设计能力考试，分为不同级别。其中乙级即Basic Level主要面向初学者，考察基本编程技能[^1]。 #### 测试点特点 对于PAT Basic Level中的某些特定题目而言，其测试点设置较为严格。例如，在处理字符串匹配类问题时，需要注意算法逻辑中何时应当终止循环以防止不必要的重复计算；而在涉及数值运算的问题里，则可能因为边界条件而增加复杂度[^3]。 #### 编程语言的选择影响 值得注意的是，尽管大部分简单题目可以作为学习某种新语言的良好实践材料，但在实际操作过程中可能会遇到由于所选语言特性而导致难以通过全部测试点的情况。比如Java在面对部分效率敏感型试题时表现不佳，这可能是由于该语言本身的执行速度相对较慢以及内存管理方式等因素造成的。因此有时不得不转而采用其他更适合解决此类问题的语言版本来完成解答[^2]。 ```cpp #include<bits/stdc++.h> using namespace std; int a[100000]; int c=1; void getPrime(){ int flag=0; for(int i=2;i<105000;i++){ flag=1; for(int j=2;j<=sqrt(i);j++){ if(i%j==0){ flag=0; break; } } if(flag==1) a[c++]=i; } } int main(){ int m,n,i,t=1; scanf("%d %d",&m,&n); getPrime(); for(i=m;i<=n;i++){ if(t%10==1){ printf("%d",a[i]); t++; }else{ printf(" %d",a[i]); t++; } if((t-1)%10==0) printf("\n"); } return 0; } ``` 上述C++代码展示了如何实现一个简单的质数打印功能，并且针对输出格式进行了特殊处理以满足特定要求。这段代码很好地体现了编写高效解决方案的重要性，尤其是在应对像PAT这样的在线评测系统时[^4]。
评论 35
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值