mahout测试naive Bayes算法

hellocdw hellocdw 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.4k累计阅读 1.5k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄15年
关注
原创 最新推荐文章于 2026-06-05 10:16:18 发布 1.4k 阅读 AI 写同款· GEO 优化 ›
Mahout文本分类实战：训练与测试数据详解 在现代数据科学和机器学习的实践中，Apache Mahout 是一个常被提及的开源项目，它为机器学习算法提供了一套可扩展的框架。尽管在近年来随着Spark MLlib等新兴库的崛起，Mahout的热度有所下降，但其在文本处理与分类、聚类分析等领域的贡献和影响力依然不容忽视。Apache Mahout建立在Hadoop的基础上，因此它天然适合处理大规模数据集，尤其擅长于向量数学运算。它的设计理念是简化机器学习过程，通过提供一系列预定义算法和抽象，使得开发者能够快速实现常见的数据挖掘任务。 阅读详情

根据mahout in action中的14.6章节做的测试，记录如下：

1：将20news-bydate-train和20news-bydata-test中的每个目录中的数据转换为以目录名称开始的包含所有单词的简单文本文件，使用的mahout命令如下：

mahout prepare20newsgroups -p 20news-bydate-train/ -o 20news-train/ -a org.apache.lucene.analysis.atandard.StandardAnalyzer -c UTF-8

 mahout prepare20newsgroups -p 20news-bydate-test/ -o 20news-test/ -a org.apache.lucene.analysis.standard.StandardAnalyzer -c UTF-8

2:启动集群

start-all.sh

3：将第一步中生成的20news-train目录拷贝到hdfs中。

hadoop fs -put 20news-train /user/root/

4：通过naive Bayes算法训练样本生成20news-model，命令及运行过程如下：

mahout trainclassifier -i 20news-train -o 20news-model -type cbays -ng 1 -source hdfs


Running on hadoop, using HADOOP_HOME=/usr/Hadoop/hadoop-0.20.2

No HADOOP_CONF_DIR set, using /usr/Hadoop/hadoop-0.20.2/conf

13/06/19 09:52:11 INFO bayes.TrainClassifier: Training Bayes Classifier

13/06/19 09:52:12 INFO bayes.BayesDriver: Reading features...

13/06/19 09:52:12 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.

13/06/19 09:52:12 INFO mapred.FileInputFormat: Total input paths to process : 20

13/06/19 09:52:13 INFO mapred.JobClient: Running job: job_201306190949_0001

13/06/19 09:52:14 INFO mapred.JobClient:  map 0% reduce 0%

13/06/19 09:52:27 INFO mapred.JobClient:  map 7% reduce 0%

13/06/19 09:52:30 INFO mapred.JobClient:  map 9% reduce 0%

13/06/19 09:52:33 INFO mapred.JobClient:  map 10% reduce 0%

13/06/19 09:52:42 INFO mapred.JobClient:  map 18% reduce 3%

13/06/19 09:52:45 INFO mapred.JobClient:  map 20% reduce 3%

13/06/19 09:52:54 INFO mapred.JobClient:  map 24% reduce 3%

13/06/19 09:52:57 INFO mapred.JobClient:  map 29% reduce 6%

13/06/19 09:53:00 INFO mapred.JobClient:  map 30% reduce 6%

13/06/19 09:53:06 INFO mapred.JobClient:  map 35% reduce 8%

13/06/19 09:53:09 INFO mapred.JobClient:  map 39% reduce 8%

13/06/19 09:53:12 INFO mapred.JobClient:  map 40% reduce 11%

13/06/19 09:53:15 INFO mapred.JobClient:  map 44% reduce 11%

13/06/19 09:53:18 INFO mapred.JobClient:  map 45% reduce 11%

13/06/19 09:53:21 INFO mapred.JobClient:  map 49% reduce 13%

13/06/19 09:53:24 INFO mapred.JobClient:  map 50% reduce 13%

13/06/19 09:53:27 INFO mapred.JobClient:  map 55% reduce 15%

13/06/19 09:53:33 INFO mapred.JobClient:  map 60% reduce 15%

13/06/19 09:53:36 INFO mapred.JobClient:  map 60% reduce 16%

13/06/19 09:53:39 INFO mapred.JobClient:  map 65% reduce 16%

13/06/19 09:53:42 INFO mapred.JobClient:  map 70% reduce 20%

13/06/19 09:53:51 INFO mapred.JobClient:  map 80% reduce 23%

13/06/19 09:53:57 INFO mapred.JobClient:  map 80% reduce 25%

13/06/19 09:54:00 INFO mapred.JobClient:  map 90% reduce 26%

13/06/19 09:54:09 INFO mapred.JobClient:  map 100% reduce 26%

13/06/19 09:54:12 INFO mapred.JobClient:  map 100% reduce 30%

13/06/19 09:54:18 INFO mapred.JobClient:  map 100% reduce 33%

13/06/19 09:54:24 INFO mapred.JobClient:  map 100% reduce 67%

13/06/19 09:54:30 INFO mapred.JobClient:  map 100% reduce 100%

13/06/19 09:54:32 INFO mapred.JobClient: Job complete: job_201306190949_0001

13/06/19 09:54:32 INFO mapred.JobClient: Counters: 18

13/06/19 09:54:32 INFO mapred.JobClient:   Job Counters

13/06/19 09:54:32 INFO mapred.JobClient:     Launched reduce tasks=1

13/06/19 09:54:32 INFO mapred.JobClient:     Launched map tasks=20

13/06/19 09:54:32 INFO mapred.JobClient:     Data-local map tasks=20

13/06/19 09:54:32 INFO mapred.JobClient:   FileSystemCounters

13/06/19 09:54:32 INFO mapred.JobClient:     FILE_BYTES_READ=95754881

13/06/19 09:54:32 INFO mapred.JobClient:     HDFS_BYTES_READ=16537368

13/06/19 09:54:32 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=148988140

13/06/19 09:54:32 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=36447002

13/06/19 09:54:32 INFO mapred.JobClient:   Map-Reduce Framework

13/06/19 09:54:32 INFO mapred.JobClient:     Reduce input groups=901416

13/06/19 09:54:32 INFO mapred.JobClient:     Combine output records=1473727

13/06/19 09:54:32 INFO mapred.JobClient:     Map input records=11314

13/06/19 09:54:32 INFO mapred.JobClient:     Reduce shuffle bytes=51554535

13/06/19 09:54:32 INFO mapred.JobClient:     Reduce output records=754846

13/06/19 09:54:32 INFO mapred.JobClient:     Spilled Records=4131595

13/06/19 09:54:32 INFO mapred.JobClient:     Map output bytes=205586582

13/06/19 09:54:32 INFO mapred.JobClient:     Map input bytes=16537368

13/06/19 09:54:32 INFO mapred.JobClient:     Combine input records=6337086

13/06/19 09:54:32 INFO mapred.JobClient:     Map output records=6337086

13/06/19 09:54:32 INFO mapred.JobClient:     Reduce input records=1473727

13/06/19 09:54:32 INFO bayes.BayesDriver: Calculating Tf-Idf...

13/06/19 09:54:32 INFO common.BayesTfIdfDriver: Counts of documents in Each Label

13/06/19 09:54:32 INFO common.BayesTfIdfDriver: {rec.motorcycles=598.0, comp.windows.x=593.0, talk.politics.guns=546.0, talk.politics.mideast=564.0, talk.religion.misc=377.0, rec.sport.baseball=597.0, rec.autos=594.0, rec.sport.hockey=600.0, comp.sys.mac.hardware=578.0, comp.sys.ibm.pc.hardware=590.0, sci.space=593.0, talk.politics.misc=465.0, sci.electronics=591.0, comp.graphics=584.0, sci.crypt=595.0, sci.med=594.0, soc.religion.christian=599.0, alt.atheism=480.0, misc.forsale=585.0, comp.os.ms-windows.misc=591.0}

13/06/19 09:54:32 INFO common.BayesTfIdfDriver: {dataSource=hdfs, alpha_i=1.0, minDf=1, gramSize=1}

13/06/19 09:54:32 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.

13/06/19 09:54:32 INFO mapred.FileInputFormat: Total input paths to process : 3

13/06/19 09:54:33 INFO mapred.JobClient: Running job: job_201306190949_0002

13/06/19 09:54:34 INFO mapred.JobClient:  map 0% reduce 0%

13/06/19 09:54:49 INFO mapred.JobClient:  map 66% reduce 0%

13/06/19 09:55:01 INFO mapred.JobClient:  map 100% reduce 0%

13/06/19 09:55:07 INFO mapred.JobClient:  map 100% reduce 22%

13/06/19 09:55:13 INFO mapred.JobClient:  map 100% reduce 100%

13/06/19 09:55:15 INFO mapred.JobClient: Job complete: job_201306190949_0002

13/06/19 09:55:15 INFO mapred.JobClient: Counters: 18

13/06/19 09:55:15 INFO mapred.JobClient:   Job Counters

13/06/19 09:55:15 INFO mapred.JobClient:     Launched reduce tasks=1

13/06/19 09:55:15 INFO mapred.JobClient:     Launched map tasks=3

13/06/19 09:55:15 INFO mapred.JobClient:     Data-local map tasks=3

13/06/19 09:55:15 INFO mapred.JobClient:   FileSystemCounters

13/06/19 09:55:15 INFO mapred.JobClient:     FILE_BYTES_READ=54669917

13/06/19 09:55:15 INFO mapred.JobClient:     HDFS_BYTES_READ=36446070

13/06/19 09:55:15 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=82004984

13/06/19 09:55:15 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=15645417

13/06/19 09:55:15 INFO mapred.JobClient:   Map-Reduce Framework

13/06/19 09:55:15 INFO mapred.JobClient:     Reduce input groups=304129

13/06/19 09:55:15 INFO mapred.JobClient:     Combine output records=608257

13/06/19 09:55:15 INFO mapred.JobClient:     Map input records=754826

13/06/19 09:55:15 INFO mapred.JobClient:     Reduce shuffle bytes=27334946

13/06/19 09:55:15 INFO mapred.JobClient:     Reduce output records=304129

13/06/19 09:55:15 INFO mapred.JobClient:     Spilled Records=1824770

13/06/19 09:55:15 INFO mapred.JobClient:     Map output bytes=28610110

13/06/19 09:55:15 INFO mapred.JobClient:     Map input bytes=36445773

13/06/19 09:55:15 INFO mapred.JobClient:     Combine input records=754826

13/06/19 09:55:15 INFO mapred.JobClient:     Map output records=754826

13/06/19 09:55:15 INFO mapred.JobClient:     Reduce input records=608257

13/06/19 09:55:15 INFO bayes.BayesDriver: Calculating weight sums for labels and features...

13/06/19 09:55:15 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.

13/06/19 09:55:15 INFO mapred.FileInputFormat: Total input paths to process : 1

13/06/19 09:55:16 INFO mapred.JobClient: Running job: job_201306190949_0003

13/06/19 09:55:17 INFO mapred.JobClient:  map 0% reduce 0%

13/06/19 09:55:31 INFO mapred.JobClient:  map 100% reduce 0%

13/06/19 09:55:43 INFO mapred.JobClient:  map 100% reduce 100%

13/06/19 09:55:45 INFO mapred.JobClient: Job complete: job_201306190949_0003

13/06/19 09:55:45 INFO mapred.JobClient: Counters: 18

13/06/19 09:55:45 INFO mapred.JobClient:   Job Counters

13/06/19 09:55:45 INFO mapred.JobClient:     Launched reduce tasks=1

13/06/19 09:55:45 INFO mapred.JobClient:     Launched map tasks=2

13/06/19 09:55:45 INFO mapred.JobClient:     Data-local map tasks=2

13/06/19 09:55:45 INFO mapred.JobClient:   FileSystemCounters

13/06/19 09:55:45 INFO mapred.JobClient:     FILE_BYTES_READ=11395006

13/06/19 09:55:45 INFO mapred.JobClient:     HDFS_BYTES_READ=15646192

13/06/19 09:55:45 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=17092570

13/06/19 09:55:45 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=5156501

13/06/19 09:55:45 INFO mapred.JobClient:   Map-Reduce Framework

13/06/19 09:55:45 INFO mapred.JobClient:     Reduce input groups=146591

13/06/19 09:55:45 INFO mapred.JobClient:     Combine output records=201494

13/06/19 09:55:45 INFO mapred.JobClient:     Map input records=304128

13/06/19 09:55:45 INFO mapred.JobClient:     Reduce shuffle bytes=5697500

13/06/19 09:55:45 INFO mapred.JobClient:     Reduce output records=146591

13/06/19 09:55:45 INFO mapred.JobClient:     Spilled Records=604482

13/06/19 09:55:45 INFO mapred.JobClient:     Map output bytes=23703690

13/06/19 09:55:45 INFO mapred.JobClient:     Map input bytes=15645194

13/06/19 09:55:45 INFO mapred.JobClient:     Combine input records=912384

13/06/19 09:55:45 INFO mapred.JobClient:     Map output records=912384

13/06/19 09:55:45 INFO mapred.JobClient:     Reduce input records=201494

13/06/19 09:55:45 INFO bayes.BayesDriver: Calculating the weight Normalisation factor for each class...

13/06/19 09:55:45 INFO bayes.BayesThetaNormalizerDriver: Sigma_k for Each Label

13/06/19 09:55:45 INFO bayes.BayesThetaNormalizerDriver: {rec.motorcycles=10950.08247078713, comp.windows.x=9140.40229191363, talk.politics.guns=9717.884898541553, talk.politics.mideast=9774.792829912312, talk.religion.misc=6253.280625101324, rec.sport.baseball=9964.975295683822, rec.autos=10318.471983615944, rec.sport.hockey=9689.106187278217, comp.sys.mac.hardware=9294.329591214286, comp.sys.ibm.pc.hardware=9261.965098786126, sci.space=10877.81456432966, talk.politics.misc=8292.138753814019, sci.electronics=10382.850213940757, comp.graphics=9327.325741885199, sci.crypt=10401.387454343632, sci.med=10654.852600564873, soc.religion.christian=9581.585347264707, alt.atheism=7503.494393077384, misc.forsale=10119.779786780977, comp.os.ms-windows.misc=9063.881127401353}

13/06/19 09:55:45 INFO bayes.BayesThetaNormalizerDriver: Sigma_kSigma_j for each Label and for each Features

13/06/19 09:55:45 INFO bayes.BayesThetaNormalizerDriver: 190570.40125624838

13/06/19 09:55:45 INFO bayes.BayesThetaNormalizerDriver: Vocabulary Count

13/06/19 09:55:45 INFO bayes.BayesThetaNormalizerDriver: 146570.0

13/06/19 09:55:45 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.

13/06/19 09:55:46 INFO mapred.FileInputFormat: Total input paths to process : 1

13/06/19 09:55:46 INFO mapred.JobClient: Running job: job_201306190949_0004

13/06/19 09:55:47 INFO mapred.JobClient:  map 0% reduce 0%

13/06/19 09:55:58 INFO mapred.JobClient:  map 100% reduce 0%

13/06/19 09:56:10 INFO mapred.JobClient:  map 100% reduce 100%

13/06/19 09:56:12 INFO mapred.JobClient: Job complete: job_201306190949_0004

13/06/19 09:56:12 INFO mapred.JobClient: Counters: 18

13/06/19 09:56:12 INFO mapred.JobClient:   Job Counters

13/06/19 09:56:12 INFO mapred.JobClient:     Launched reduce tasks=1

13/06/19 09:56:12 INFO mapred.JobClient:     Launched map tasks=2

13/06/19 09:56:12 INFO mapred.JobClient:     Data-local map tasks=2

13/06/19 09:56:12 INFO mapred.JobClient:   FileSystemCounters

13/06/19 09:56:12 INFO mapred.JobClient:     FILE_BYTES_READ=757

13/06/19 09:56:12 INFO mapred.JobClient:     HDFS_BYTES_READ=15646192

13/06/19 09:56:12 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=1584

13/06/19 09:56:12 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=932

13/06/19 09:56:12 INFO mapred.JobClient:   Map-Reduce Framework

13/06/19 09:56:12 INFO mapred.JobClient:     Reduce input groups=20

13/06/19 09:56:12 INFO mapred.JobClient:     Combine output records=21

13/06/19 09:56:12 INFO mapred.JobClient:     Map input records=304128

13/06/19 09:56:12 INFO mapred.JobClient:     Reduce shuffle bytes=397

13/06/19 09:56:12 INFO mapred.JobClient:     Reduce output records=20

13/06/19 09:56:12 INFO mapred.JobClient:     Spilled Records=42

13/06/19 09:56:12 INFO mapred.JobClient:     Map output bytes=10423028

13/06/19 09:56:12 INFO mapred.JobClient:     Map input bytes=15645194

13/06/19 09:56:12 INFO mapred.JobClient:     Combine input records=304128

13/06/19 09:56:12 INFO mapred.JobClient:     Map output records=304128

13/06/19 09:56:12 INFO mapred.JobClient:     Reduce input records=21

13/06/19 09:56:12 INFO common.HadoopUtil: Deleting 20news-model/trainer-docCount

13/06/19 09:56:12 INFO common.HadoopUtil: Deleting 20news-model/trainer-termDocCount

13/06/19 09:56:12 INFO common.HadoopUtil: Deleting 20news-model/trainer-featureCount

13/06/19 09:56:12 INFO common.HadoopUtil: Deleting 20news-model/trainer-wordFreq

13/06/19 09:56:12 INFO common.HadoopUtil: Deleting 20news-model/trainer-tfIdf/trainer-vocabCount

13/06/19 09:56:12 INFO driver.MahoutDriver: Program took 240921 ms


5：上述过程生成的20news-model是在hdfs上的，拷贝到本地文件系统中。

 hadoop fs -get /user/root/20news-model /usr/Mahout/dataset/


6：测试模型，命令及运行过程如下：

mahout testclassifier -d 20news-test -m 20news-model -type cbayes -ng 1 -source hdfs -method sequential

Running on hadoop, using HADOOP_HOME=/usr/Hadoop/hadoop-0.20.2

No HADOOP_CONF_DIR set, using /usr/Hadoop/hadoop-0.20.2/conf

13/06/19 10:11:54 INFO bayes.TestClassifier: Loading model from: {basePath=20news-model, classifierType=bayes, alpha_i=1.0, dataSource=hdfs, gramSize=1, verbose=false, encoding=UTF-8, defaultCat=unknown, testDirPath=20news-test}

13/06/19 10:11:54 INFO bayes.TestClassifier: Testing Bayes Classifier

13/06/19 10:11:55 INFO io.SequenceFileModelReader: hdfs://localhost:9000/user/root/20news-model/trainer-weights/Sigma_j/part-00000

13/06/19 10:11:55 INFO io.SequenceFileModelReader: Read 50000 feature weights

13/06/19 10:11:55 INFO io.SequenceFileModelReader: Read 100000 feature weights

13/06/19 10:11:55 INFO io.SequenceFileModelReader: hdfs://localhost:9000/user/root/20news-model/trainer-weights/Sigma_k/part-00000

13/06/19 10:11:55 INFO io.SequenceFileModelReader: hdfs://localhost:9000/user/root/20news-model/trainer-weights/Sigma_kSigma_j/part-00000

13/06/19 10:11:55 INFO io.SequenceFileModelReader: 190570.40125624838

13/06/19 10:11:55 INFO io.SequenceFileModelReader: hdfs://localhost:9000/user/root/20news-model/trainer-thetaNormalizer/part-00000

13/06/19 10:11:55 INFO io.SequenceFileModelReader: hdfs://localhost:9000/user/root/20news-model/trainer-tfIdf/trainer-tfIdf/part-00000

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: rec.sport.baseball -127395.14399316712 547567.2698760114 -0.23265660860630674

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: sci.crypt -189010.62350617294 547567.2698760114 -0.3451824714595736

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: rec.sport.hockey -166203.2548335905 547567.2698760114 -0.3035302947731423

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: talk.politics.guns -198793.14260997035 547567.2698760114 -0.3630478911841903

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: soc.religion.christian -158106.48187003663 547567.2698760114 -0.2887434851718539

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: sci.electronics -138650.82033374818 547567.2698760114 -0.25321239592195427

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: comp.os.ms-windows.misc -547567.2698760114 547567.2698760114 -1.0

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: misc.forsale -141981.48005545404 547567.2698760114 -0.2592950453148956

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: talk.religion.misc -134885.60852883724 547567.2698760114 -0.2463361416020722

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: alt.atheism -134262.4272892253 547567.2698760114 -0.24519805086163582

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: comp.windows.x -172513.19965389522 547567.2698760114 -0.3150538922696353

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: talk.politics.mideast -189368.63272082788 547567.2698760114 -0.3458362892356726

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: comp.sys.ibm.pc.hardware -134535.56471897085 547567.2698760114 -0.24569687072317975

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: comp.sys.mac.hardware -121323.62827571077 547567.2698760114 -0.22156844455510047

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: sci.space -189203.04544769705 547567.2698760114 -0.3455338838834164

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: rec.motorcycles -138625.26282429774 547567.2698760114 -0.2531657212741868

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: rec.autos -136935.18434679657 547567.2698760114 -0.25007919917821886

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: comp.graphics -161979.38306986375 547567.2698760114 -0.29581640828631267

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: talk.politics.misc -159579.70032298338 547567.2698760114 -0.29143396455949216

13/06/19 10:11:57 INFO datastore.InMemoryBayesDatastore: sci.med -183835.5334355675 547567.2698760114 -0.3357314133790253

13/06/19 10:11:58 INFO bayes.TestClassifier: Classified instances from talk.politics.mideast.txt

13/06/19 10:11:58 INFO bayes.TestClassifier: Classified instances from comp.sys.mac.hardware.txt

13/06/19 10:11:58 INFO bayes.TestClassifier: Classified instances from rec.sport.baseball.txt

13/06/19 10:11:59 INFO bayes.TestClassifier: Classified instances from misc.forsale.txt

13/06/19 10:11:59 INFO bayes.TestClassifier: Classified instances from talk.religion.misc.txt

13/06/19 10:11:59 INFO bayes.TestClassifier: Classified instances from rec.motorcycles.txt

13/06/19 10:12:00 INFO bayes.TestClassifier: Classified instances from sci.electronics.txt

13/06/19 10:12:00 INFO bayes.TestClassifier: Classified instances from sci.space.txt

13/06/19 10:12:01 INFO bayes.TestClassifier: Classified instances from talk.politics.guns.txt

13/06/19 10:12:01 INFO bayes.TestClassifier: Classified instances from rec.sport.hockey.txt

13/06/19 10:12:02 INFO bayes.TestClassifier: Classified instances from alt.atheism.txt

13/06/19 10:12:02 INFO bayes.TestClassifier: Classified instances from comp.graphics.txt

13/06/19 10:12:03 INFO bayes.TestClassifier: Classified instances from comp.sys.ibm.pc.hardware.txt

13/06/19 10:12:03 INFO bayes.TestClassifier: Classified instances from comp.windows.x.txt

13/06/19 10:12:04 INFO bayes.TestClassifier: Classified instances from talk.politics.misc.txt

13/06/19 10:12:04 INFO bayes.TestClassifier: Classified instances from rec.autos.txt

13/06/19 10:12:05 INFO bayes.TestClassifier: Classified instances from sci.crypt.txt

13/06/19 10:12:05 INFO bayes.TestClassifier: Classified instances from sci.med.txt

13/06/19 10:12:06 INFO bayes.TestClassifier: Classified instances from comp.os.ms-windows.misc.txt

13/06/19 10:12:07 INFO bayes.TestClassifier: Classified instances from soc.religion.christian.txt

13/06/19 10:12:07 INFO bayes.TestClassifier: =======================================================

Summary

-------------------------------------------------------

Correctly Classified Instances          :       5997       79.6203%

Incorrectly Classified Instances        :       1535       20.3797%

Total Classified Instances              :       7532


=======================================================

Confusion Matrix

-------------------------------------------------------

a        b        c        d        e        f        g        h        i        j        k        l        m        n        o        p        q        r        s        t        <--Classified as

385      0        7        0        0        0        0        3        0        0        0        0        0        1        0        0        1        0        0        0         |  397       a     = rec.sport.baseball

3        372      1        1        0        3        1        1        0        0        1        0        0        3        0        0        1        7        0        2         |  396       b     = sci.crypt

7        2        384      0        1        2        0        1        0        0        0        0        0        0        0        2        0        0        0        0         |  399       c     = rec.sport.hockey

3        12       0        327      1        4        1        3        0        0        0        1        0        0        1        5        2        1        0        3         |  364       d     = talk.politics.guns

5        0        1        0        368      2        2        2        0        2        0        0        1        0        2        3        0        3        0        7         |  398       e     = soc.religion.christian

1        14       0        0        0        321      7        6        0        0        0        0        11       5        3        7        4        11       0        3         |  393       f     = sci.electronics

4        9        0        0        0        2        258      4        0        0        4        0        51       7        5        7        1        41       0        1         |  394       g     = comp.os.ms-windows.misc

1        0        1        0        0        5        2        343      0        0        0        0        11       8        1        6        9        2        0        1         |  390       h     = misc.forsale

9        9        2        33       102      0        0        0        16       24       0        5        1        3        13       11       6        5        0        12        |  251       i     = talk.religion.misc

4        13       2        10       85       7        1        0        1        134      0        5        2        1        13       18       4        2        0        17        |  319       j     = alt.atheism

1        5        0        0        0        4        11       4        0        0        287      0        11       6        2        3        0        60       0        1         |  395       k     = comp.windows.x

5        7        0        3        11       1        0        2        0        0        0        337      0        0        0        5        2        1        0        2         |  376       l     = talk.politics.mideast

0        1        0        0        0        24       20       12       0        0        1        0        292      29       1        2        0        10       0        0         |  392       m     = comp.sys.ibm.pc.hardware

3        1        0        0        0        14       7        10       0        0        0        0        6        329      4        2        3        6        0        0         |  385       n     = comp.sys.mac.hardware

1        2        0        1        1        4        0        1        0        0        1        0        0        0        370      0        0        9        0        4         |  394       o     = sci.space

1        0        0        0        0        2        0        3        0        0        0        0        1        0        0        384      6        0        0        1         |  398       p     = rec.motorcycles

1        0        2        0        0        6        0        11       0        0        0        0        2        0        1        8        364      1        0        0         |  396       q     = rec.autos

5        10       0        0        0        10       7        6        0        0        14       1        11       11       8        1        2        301      0        2         |  389       r     = comp.graphics

8        32       1        109      9        2        0        1        0        0        0        1        0        3        19       20       5        1        87       12        |  310       s     = talk.politics.misc

3        0        2        1        4        13       0        7        0        0        0        0        1        1        5        10       3        8        0        338       |  396       t     = sci.med

Default Category: unknown: 20



收录于
mahout

当前文章被收录于：

mahout
5 篇文章 0 人学习
订阅专栏 查看详情
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
产品经理如何运用AI提升工作效率 AI技术的应用为产品经理的工作流程带来了显著的效率提升。从需求收集到产品上线，AI可以在多个阶段提供智能化支持，帮助产品经理更好地理解用户需求、优化产品设计、提高开发和测试效率。在未来，随着AI技术的不断发展，产品经理将能够更加高效地管理产品生命周期，为用户提供更优质的产品体验。应用 | AI + 千行百业欢迎关注我的后续博文，我将分享更多关于人工智能、自然语言处理和计算机视觉的精彩内容。 阅读详情

相关推荐

【干货攻略】Oracle报错篇 ORA-01378 磁盘扇区大小不兼容问题

本期将为大家分享“ORA-01378 磁盘扇区大小不兼容”报错的问题解决方案。

PWY13148的专栏 1437

创建Vue项目时报No HADOOP_CONF_DIR错解决方法

在使用vue ui命令创建打开图形化界面创建项目时，报了No HADOOP_CONF_DIR set这个错误，在网上搜寻了原因，发现是因为之前配置过hadoop，与hadoop的配置环境相冲突了。3. 打开该文件，并在json对象中添加"packageManager": "npm"，如下图所示。1. 打开本地用户的目录（我的目录是：C:\Users\ASUS，其中ASUS是用户名）4. 保存后重新输入vue ui 即可。2. 在该目录下找到.vuerc文件。

qq_54759193的博客 964

halcon C++编程 第4讲 HObject/HImage Mat相互转换（tcy）

网上有很多相互转换程序，但并不知那个正确，本文对相互转换后的结果和原对象比较是否相同判断转换是否正确。经测试ok.本文包括转换代码及测试是否相同。 1.转换程序： /************************************ HObject转为Mat：time:2021/3/16 V1.0 *************************************/ cv::Mat HalconClass::HObjectToMat(const HalconCpp::HObject&..

tcy-阿春 4929

YARN安装关于No HADOOP_CONF_DIR set. ＞＞ Please specify it either in yarn-env.cmd or in the environment.

今天帮大家踩个雷 首先YARN安装有四种方式 1、通过Yarn.msi文件安装包安装，一定要配置系统环境变量 官方下载安装包，https://yarnpkg.com/zh-Hans/docs/install 2、通过先安装node.js安装，再用npm来安装yarn npm install -g yarn 3、通过Chocolatey安装 Chocolatey是一个 Windows 专用的软件包管理工具。 请按照此说明安装 Chocolatey 。安装 Chocolatey 之后，...

zycachao的博客 4559

有限元ABAQUS软件安装后管理员身份运行报错：Cannot connect to license server system...如何解决？

🏆本文收录于 《全栈Bug调优(实战版)》 专栏，该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因，并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者，还是拥有多年项目经验的资深工程师，本专栏都将为你提供一条系统化、高质量的问题排查与优化路径，助力你加速成长，攻克技术壁垒，迈向技术价值最大化与职业发展的更高峰🚀！

**My Coding Family** 2067

【零基础入门unity游戏开发——unity通用篇14】unity特性相关的知识（基于unity6开发介绍）

unity特性相关的知识（基于unity6开发介绍）

向宇的博客，专注php/web全栈 unity游戏开发，欢迎大家评论纠错 1203

cent0S 7 安装 cdh5.13 笔记之四： 配置 hadoop

cent0S 7 安装 cdh5.13 笔记之四： 配置 hadoop

恒 2530

MIPI RFFE 信号完整性与硬件设计

MIPI RFFE信号完整性设计关键点 摘要：MIPI RFFE作为射频前端控制总线，其信号完整性设计需平衡速率、驱动能力与抗干扰性。核心挑战在于确保接收端在52Mb/s速率下保持足够的电压和时序裕量。关键设计考量包括： 驱动能力优化：过强导致过冲/振铃和射频杂散，过弱则恶化时序裕量，需与总线负载匹配。 波形质量指标：严格控制上升/下降时间（兼顾EMC和时序要求），抑制过冲/振铃幅度，管理VIO电源纹波和耦合噪声。

sinat_15150363的博客 237

yarn install 报错：No HADOOP_CONF_DIR set. Please specify it either in yarn-env.cmd or in the env...

系统找不到指定的路径。No HADOOP_CONF_DIR set. Please specify it either in yarn-env.cmd or in the environment.由报错问题中，排查之前的hadoop安装包，其中hadoop安装包中的yarn.cmd、yarn导致之后安装的yarn冲突。删除掉这两个文件后，即可重新加载依赖。查看yarn信息也不报错。

明静致远 1030

Linux系统中u-boot启动流程分析（详解）

代码部分，具体如下；

嵌入式技术开发 1991

基于STM32L4XX、HAL库的IP101GRI以太网收发器（PHY）驱动程序设计

define IP101GRI_PHY_ADDRESS 0x01 // 根据硬件设计设置PHY地址。#define IP101GRI_PHYSTS 0x10 // PHY状态寄存器。#define IP101GRI_PHYINIR 0x12 // PHY中断寄存器。#define IP101GRI_PHYCR 0x14 // PHY控制寄存器。#define IP101GRI_PHYID2 0x03 // PHY标识符2。

zhusl6688的博客 717

创建Vue项目报HADOOP_CONF_DIR错解决方法

创建Vue项目报错解决方法 创建Vue ui项目时终端报错： ERROR Failed to get response from No HADOOP_CONF_DIR set. Please specify it either in yarn-env.cmd or in the environment./vue-cli-version-marker 原因： 与电脑上的hadoop配置环境冲突 请添加图片描述 解决方法： 找到本机电脑上的*.vuerc*文件（存放于C:\Users\

woshinsy的博客 5311

【原创】汇川H5U PLC控制伺服的方法

6、在线调试-进入伺服调试，可以在本软件上进行调试，可以实现原点回归、正向点动、反向电动、使能（这里使能打开时触摸屏上的使能不能打开，会冲突）、复位、停止（如下图所示）。5、在原点返回设置中一般情况下对原点信号、正限位、负限位、原点返回方向、原点返回方式进行设置，其他设置默认不改（如下图所示）。3、在单位换算设置上只需要修改脉冲数和移动量（根据伺服配套导轨上名牌进行设置），其他设置默认不改（如下图所示）。11、双击后右边出现编辑框 在上半部分定义变量(IN、INOUT、OUT、VAR)（如下图所示）。

Qinmingyue13的博客 6662

分类Classification-维基百科例子（Wikipedia Bayes Example）

[size=large]介绍[/size] 这个Mahout例子的源码来自一个分类维基百科数据的导出工具，可以Naive贝叶斯或者附加的 Naive贝叶斯在Mahout的实现。下面将描述这个例子，导出维基的数据，然后分类到不同的块。这些块是根据国家进一步分类的。根据这些分割，分离器训练使能够预测，一个未曾看到过的文章被分类到那个国家。 [size=large]运行例子[/size] 1....

奔跑的羚羊 348

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

WINCC7.3破解文件

WINCC7.3硬件够破解文件，有需要的下载！WINCC7.3硬件够破解文件，有需要的下载！

博客文章汇总信息

http://hnote.org/java-2/stringbuffer-stringbuilder-hashtable-hashmap-arraylist-vector%e5%8c%ba%e5%88%ab http://hnote.org/java-2/java%e8%ae%be%e8%ae%a1%e6%a8%a1%e5%bc%8f%e6%80%bb%e7%bb%93 http://hnot

kingnotes的专栏 276

汉书HE8，好用的汇编代码编写工具

汉书HE8，好用的汇编代码编写工具早期编写汇编代码所用功能强大

java 调用 mahout_使用 Mahout 实现内容分类

该楼层疑似违规已被系统折叠隐藏此楼查看此楼Mahout 目前支持两种根据贝氏统计来实现内容分类的方法。第一种方法是使用简单的支持 Map-Reduce 的 Naive Bayes 分类器。Naive Bayes 分类器为速度快和准确性高而著称，但其关于数据的简单(通常也是不正确的)假设是完全独立的。当各类的训练示例的大小不平衡，或者数据的独立性不符合要求时，Naive Bayes 分类器会出现故...

weixin_39902472的博客 275

Mahout之bayes算法学习（二）

直接在linux上面运行classify-20newsgroups.sh 还是挺容易的，但是大部分时间我们不是简单的

zhoujianfeng3的专栏 859

Naive Bayes分类示例

http://openresearch.baidu.com/activitybulletin/448.jhtml   Naive Bayes分类示例 发布日期：2012-11-08 15:29:30 发布人：本站编辑 来源：本站原创 浏览次数： 5 次   1.简介 (1) 贝叶斯分类器的分类原理发源于古典概率理论，是通过某对象的先验概率，利用贝叶斯公式计算出

windowsLearner的专栏 2300

Mahout分类算法学习之实现Naive Bayes分类示例

1.简介 (1) 贝叶斯分类器的分类原理发源于古典概率理论，是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。朴素贝叶斯分类器(Naive Bayes Classifier)做了一个简单的假定：给定目标值时属性之间相互条件独立，即给定元组的类标号，假定属性值有条件地相互独立，即在属性间不存在依赖关系。朴素贝叶斯分类模型所...

Thinkgamer博客 3645

mahout 实战

本文整理了mahout比较常用的算法，部分章节理论知识进行了引用，小节后有引用网址，对mahout中的多种算法，使用中文实例进行讲解，像k-means中文聚类，朴素贝叶斯中文分类等，最后讲解了推荐算法应用的一般流程。

mach_learn的专栏 5398

Mahout Bayes分类

实现包括三部分：The Trainer（训练器）、The Model（模型）、The Classifier（分类器） 1、训练 首先，要对输入数据进行预处理，转化成Bayes M/R job读入数据要求的格式，即训练器输入的数据是KeyValueTextInputFormat格式，第一个字符是类标签，剩余的是特征属性（即单词）。以20个新闻的例子来说，从官网上下载的原始数据是一个分类目录，下面

开心一刻的专栏 1013

Mahout 命令

转载于：http://bit1129.iteye.com/blog/22137081. mahout seqdirectory 生成序列文件Java代码  $ mahout seqdirectory       --input (-i) input               Path to job input directory(原始文本文件).      --output (-o) outpu...

sofuzi的博客 773

mahout 0.8入门

mahout-distribution-0.8命令行对应哪个类可以查看源码配置文件driver.classes.default.propsmahout的APIhttps://builds.apache.org/job/Mahout-Quality/javadoc/ mahout实战参考博客：http://itindex.net/detail/45259-mahout-%E7%94%B5%E5%BD

jethai的博客 573

【Mahout一】基于Mahout 命令参数含义

1. mahout seqdirectory   $ mahout seqdirectory --input (-i) input Path to job input directory(原始文本文件). --output (-o) output The directory pathname ...

bit1129的博客 411

【Mahout三】基于Mahout CBayes算法的20newsgroup流程分析

1.Mahout环境搭建  1.下载Mahout http://mirror.bit.edu.cn/apache/mahout/0.10.0/mahout-distribution-0.10.0.tar.gz    2.解压Mahout  3. 配置环境变量 vim /etc/profile export HADOOP_HOME=/home/hadoop/software/h...

bit1129的博客 200
上一篇： 大数据与云计算
下一篇： jvm配置
点赞 0
评论 0
书签 书签 0
hellocdw
hellocdw
博客等级 码龄15年 5粉丝 26原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值