[C#]文本相似度检测(1)

最新推荐文章于 2023-09-02 01:54:11 发布

lhyan792

最新推荐文章于 2023-09-02 01:54:11 发布

阅读量2.4k

点赞数

文章标签： c# 多线程文档 thread 网络作业

本文链接：https://blog.youkuaiyun.com/lhyan792/article/details/6147636

版权

任务：

完成一个反作弊的网络程序（或单机版的.exe），能够在多篇文本的作业中识别出最相似的若干对文本。

进度：

借助MD5，初步实现了两篇文档的相似度检验；

完成K均值聚类的实现；

目标：

MD5的速度很慢，所以在完成原型的实现后，要进一步更新算法；

实现聚类以及最后结果的输出；

实现软件的.exe以及网络版。

最近正在解决的是多线程的问题，想在文档录入以及转码过程中实现多线程

关于thread，参考了：

http://www.albahari.com/threading/

感觉很不错~

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lhyan792

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

基于C#的文本相似度检测

04-04

这是一个基于C#的反作弊系统，基于VSM空间向量模型，能对doc和txt文件进行相似度的检测，在VS2005和SQL Server 2005上实现

文本相似度计算（TF-IDF）C#

04-04

namespace ServiceRanking { /// <summary> /// Summary description for TF_IDFLib. /// </summary> public class TFIDFMeasure { private string[] _docs; private string[][] _ngramDoc; private int _numDocs=0; private int _numTerms=0; private ArrayList _terms; private int[][] _termFreq; private float[][] _termWeight; private int[] _maxTermFreq; private int[] _docFreq; public class TermVector { public static float ComputeCosineSimilarity(float[] vector1, float[] vector2) { if (vector1.Length != vector2.Length) throw new Exception("DIFER LENGTH"); float denom=(VectorLength(vector1) * VectorLength(vector2)); if (denom == 0F) return 0F; else return (InnerProduct(vector1, vector2) / denom); } public static float InnerProduct(float[] vector1, float[] vector2) { if (vector1.Length != vector2.Length) throw new Exception("DIFFER LENGTH ARE NOT ALLOWED"); float result=0F; for (int i=0; i < vector1.Length; i++) result += vector1[i] * vector2[i]; return result; } public static float VectorLength(float[] vector) { float sum=0.0F; for (int i=0; i < vector.Length; i++) sum=sum + (vector[i] * vector[i]); return (float)Math.Sqrt(sum); } } private IDictionary _wordsIndex=new Hashtable() ; public TFIDFMeasure(string[] documents) { _docs=documents; _numDocs=documents.Length ; MyInit(); } private void GeneratNgramText() { } private ArrayList GenerateTerms(string[] docs) { ArrayList uniques=new ArrayList() ; _ngramDoc=new string[_numDocs][] ; for (int i=0; i < docs.Length ; i++) { Tokeniser tokenizer=new Tokeniser() ; string[] words=tokenizer.Partition(docs[i]); for (int j=0; j < words.Length ; j++) if (!uniques.Contains(words[j]) ) uniques.Add(words[j]) ; } return uniques; } private static object

参与评论您还未登录，请先登录后发表或查看评论

[C#]文本相似度识别(2)

lhyan792的专栏

01-21

1583

目前完成了K均值的聚类的程序发现了以下问题：1，速度太慢：当文本长度较长时，在读入文本、转码的时候，速度太慢；2，对于文献相似度识别应用在作业时，整篇的检测不是很恰当，因为作业本来就是高度相似的。有以下想法：1，MD5这个转码没有研究过，但认为是这个的速度太慢了，不适合整个文本的检验；2，考虑按句子比较，先对句子进行聚类，然后比较句子的相似度

c#计算文本相似度

m0_62959350的博客

08-24

430

【代码】c#计算文本相似度。

基于C#的文本相似度检测源代码+说明

10-09

基于C#的文本相似度检测源代码，附带算法解析和使用说明

C#实现的文本相似度检测及源码分析

### C#文本相似度检测技术概述文本相似度检测是指通过算法来计算两段文本之间的相似程度。这种技术能够帮助我们了解文本之间的相关性、重复性或者同义性。相似度的检测可以基于不同的层面，如基于字符、基于词汇、...

C#实现文本相似度检测：向量空间模型源代码详解

根据给定的文件信息，本知识点将详细介绍如何使用C#实现文本相似度检测，特别是基于向量空间模型（Vector Space Model, VSM）的方法。 ### 向量空间模型（VSM）向量空间模型是一种用于信息检索和文本挖掘的数学...

文本相似度检测工具1.0版

01-30

文本相似度检测是一种重要的信息技术，广泛...开发者通过C#和VS2005的结合，实现了高效且易用的文本相似度检测功能，为文本分析任务提供了便利。对于想要学习文本处理和信息检索技术的人来说，这是一个很好的实践案例。

C#中文文本匹配，字符串匹配，中文词语匹配，计算2个句子相似度

04-16

C#余弦算法比较文章相似度

04-18

采用TF余弦算法，对于word内容进行相似度的比较，并且对于图片也有相似度的比较，显示结果，按照相似度进行降序排序，展示出来相似度最高的2篇

LCS计算文章相似度--C#源程序

08-14

本程序是为了熟悉lcs算法，通过使用lcs算法来计算两篇文章的相似度

c#编写文本论文相似度雷同检查工具源码

05-05

c#编写文本论文相似度雷同检查工具源码.

K-means聚类C#实现

06-02

一个K-means聚类C#实现的Form程序，希望对大家课程实践有帮助！

C# 文章相似度算法 Levenshtein 编辑距离算法(转)

weixin_30522095的博客

05-26

138

编辑距离的算法是首先由俄国科学家Levenshtein提出的，故又叫 Levenshtein Distance。一个字符串可以通过增加一个字符，删除一个字符，替换一个字符得到另外一个字符串，假设，我们把从字符串A转换成字符串B，前面3种操作所执行的最少次数称为AB相似度如 abc adc 度为 1 ababababa babababab 度为 2 ...

C# SimHash文字相似度

weixin_43154626的博客

11-26

440

using System; using System.Collections.Generic; using System.Linq; using System.Numerics; using System.Text; namespace chx { public class SimHash { private String tokens; private BigInteger strSimHash; private int hashbits

c#字符相似度对比通用类

码农

07-23

2453

go:http://www.cnblogs.com/stone_w/archive/2012/08/16/2642679.html 本类适用于比较2个字符的相似度，代码如下： View Code 调用方法： // 方式一 StringCompute stringcompute1 = new StringCompute(); stringcompute1.Speedy

c语言两个文件相似度比较,比较两文件的相似度（比较中文）

weixin_39690972的博客

05-23

1639

通过余弦定理来比较两个文档的相似度。1.[代码]比较两文件的相似度，未分词版。#!/usr/bin/env python# -*- coding: utf-8 -*import refrom math import sqrtdef file_reader(filename,filename2):file_words = {}ignore_list = [u'的',u'了',u'和',u'呢',u'...

C#: 使用 Simhash 算法实现文本相似性判断