自然语言处理及大数据

【代码】Python dict传址 list传值。

在word2vec中，有一个默认程序distance，可以用来计算给定词的最相近的top 40个词，但是不能计算给定两个词的相似程度。本程序对distance.c进行了修改，可以计算给定两个词的相似度。程序如下：// Copyright 2013 Google Inc. All Rights Reserved.//// Licensed under the Apache License

代码如下:import java.util.Date;public class Main { public static void main(String[] args){ float[][] m1=createFloatMatrix(1000,1000); float[][] m2=createFloatMatrix(1000,1000);

全排列问题的回溯解法：public class Permute { public int N; public int[] X; public static void main(String[] args) { new Permute().test(4); } public void test(int _N){ N=_N;X=new int[N]; for(int

下面是分治算法的快速排序：public class QuickSort { public static int[] arr; public static void main(String[] args) { arr=new int[]{3,4,2,45,32,5,3,9}; QSort(0,arr.length-1); } public static void QSor

二分查找的递归算法：public class BS { public static void main(String[] args) { int[] arr = new int[10]; for (int i = 0; i < arr.length; i++) { arr[i] = (int)(Math.random()*...

N皇后问题的回溯解法：public class NQueen { static int[] path; static int N; public static void main(String[] args) { test(8); } public static void test(int _N){ N=_N; path=new int[N+1]; backT

以下是没有剪枝的算法：public class Knapsack { static double C;//背包容量 static double[] P;//物品价值 static double[] W;//物品重量 static int N;//物品个数 static double bestP; static double currP; static double c

上图是EM算法的一个例子。

本文简要介绍了马尔科夫链相关内容。马尔科夫链在网页排序，自然语言处理等领域有广泛的应用。

<br />在向量空间模型中，文本泛指各种机器可读的记录。用D（Document）表示，特征项（Term，用t表示）是指出现在文档D中且能够代表该文档内容的基本语言单位，主要是由词或者短语构成，文本可以用特征项集表示为D(T1，T2，…，Tn)，其中Tk是特征项，1<=k<=N。例如一篇文档中有a、b、c、d四个特征项，那么这篇文档就可以表示为D(a，b，c，d)。对含有n个特征项的文本而言，通常会给每个特征项赋予一定的权重表示其重要程度。即D＝D(T1，W1；T2，W2；…，Tn，Wn)，简记为D＝D(W