LINSOFT

ML Based TDD，即基于机器学习的测试驱动开发——人类解读需求，完善大量测试用例，然后机器根据测试用例学习和发掘里面逻辑，最后的模型就是 我们所需要的一个模块。全新的软件开发思维，用机器学习代替完成某些复杂的逻辑模块。

学习模型，开始蚕食人类智慧编写的传统算法程序了。 Google Brain 用 学习索引（Learned Index） 代替 B树索引，然后GPU/TPU/XPU并行加速，可以大幅度提高 数据检索的效率，这应该是Software2.0的一个比较新奇的应用。AlphaZero也是其中一个例子。由此启发，我们可以用一个旧的模块产生数据，然后 神经网络模块 用这些数据训练，最后并行化的神经网络把传...

每个神经元是 一个可微分的逻辑单元。把一堆逻辑单元按照一定结构放在一起，组合成神经网络，然后用 可微的最优化方法——梯度下降法 进行优化。神经网络就是一个程序，大量的逻辑门按照一定结构组合的复杂程序。梯度下降用来自动化编程。复用逻辑单元，就是 增加深度、CNN、RNN等方法。学出的是逻辑单元组合成的程序，复用里面的逻辑做知识迁移，即复用一个模块 到 另一个任务里面。强大的网络，RN...

我们现在的知识来源，一部分是 自己探索，一部分是 通过语言、文字等方式 获取别人的知识。而现在复杂的机器学习系统都是从0或者少量人类知识（主要是体现在模型设计和数据特征处理上）开始进行数据的探索，没有其它通用的知识等。如果能在一些人类传达的知识的基础上进行机器学习，所需要的数据量将大大减少。人工智能两种实现途径：人类知识迁移 和 机器学习。而人类迁移知识两种途径：人类学会和机器沟通 和 训练机...

Adam能和L2正则一起使用？不能。L2正则 在SGD中和weight decay是等价的，但是在Adam中就不等价了。因为在Adam中，每个参数的梯度的计算和历史梯度相关，不是简单乘上学习率参考：https://zhuanlan.zhihu.com/p/63982470Adam能解决梯度爆炸？不能。理论上，Adam是不会发生梯度爆炸的问题，因为梯度更新式：mt=mt−1⋅β1+g...