家门口的知鸟

Sigmoid函数是S型曲线的意思，为神经元的非线性作用函数。Sigmoid functionSigmoid函数是一个S型函数. Sigmoid函数的数学公式为它是常微分方程的一个解.Sigmoid函数具有如下基本性质：定义域为值域为, 为有界函数函数在定义域内为连续和光滑函数函

为了测试写的BP网络，找出了古董的测试数据， 2001年PKU数学建模竞赛的B题，详细题目数据见（http://mcm.ustc.edu.cn/wangjie/other/pku2001.htm）刚开始一直没成功，总数不收敛，换了些参数才发觉隐藏层的神经元数目需要很小，有点归约的感觉，配合输出层只有一个神经元的情况。  n = BPNN(114, 5, 1) /neural_n

[训练]$ time ./word2vec -train /data/sogou/sohunews_segmented_1line.txt -output /data/sogou/vectors_sohunews.bin -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -sample 1e-3 -threads 30 -binary 1Start

 1一个输入层 ； 1 个隐含层； 1个输出层 syn0       input -> hidden 的 weights     在code中是一个1维数组，但是应该按照二维数组来理解。                访问时实际上可以看成  syn0[i, j]   i为第i个单词，j为第j个隐含单元。               大小：  词典大小 * 隐含层大小s...

优化一：借鉴GCN的思想，在训练的过程中词和词之间是有一条边（比如同一句子中间隔不超过5的两个词），那么在word2vec中，是由词来预测词，比如CBOW中4个词预测一个中间词，那么在训练中也可以用同样的模型在CBOW预测的时候同时预测一个文章。这时的huffman code是由词、文章类别 所组成的。 优化二：传统的text-gcn是半监督学习的方式，每个doc和word都是...