极客神殿

DeepSeek-V3是深度求索公司（DeepSeek Inc.）开发的新一代大语言模型，其核心技术体现了当前大模型领域的前沿创新。

思维链是一种方法论，用于生成逐步推理的文本输出，而不是直接生成答案。这种技术通过明确的中间步骤展现模型的推理过程，帮助更好地理解和解决问题。

强化学习(Reinforcement Learing)，机器学习重要分支，解决连续决策问题。强化学习问题三概念，环境状态(Environment State)、行动(Action)、奖励(Reward)，目标获得最多累计奖励。强化学习模型根据环境状态、行动和奖励，学习出最佳策略，以最终结果为目标，不能只看某个行动当下带来的利益，还要看行动未来带来的价值。AutoEncoder属于无监督学习，MLP、

双向循环神经网络(Bidirectional Recurrent Neural Networks,Bi-RNN)，Schuster、Paliwal，1997年首次提出，和LSTM同年。Bi-RNN，增加RNN可利用信息。普通MLP，数据长度有限制。RNN，可以处理不固定长度时序数据，无法利用历史输入未来信息。Bi-RNN，同时使用时序数据输入历史及未来数据，时序相反两个循环神经网络连接同一输出，输出

神经结构进步、GPU深度学习训练效率突破。RNN，时间序列数据有效，每个神经元通过内部组件保存输入信息。卷积神经网络，图像分类，无法对视频每帧图像发生事情关联分析，无法利用前帧图像信息。RNN最大特点，神经元某些输出作为输入再次传输到神经元，可以利用之前信息。xt是RNN输入，A是RNN节点，ht是输出。对RNN输入数据xt，网络计算得输出结果ht，某些信息(state,状态)传到网络输入

卷积神经网络发展趋势。Perceptron(感知机)，1957年，Frank Resenblatt提出，始祖。Neocognitron(神经认知机)，多层级神经网络，日本科学家Kunihiko fukushima，20世纪80年代提出，一定程度视觉认知功能，启发卷积神经网络。LeNet-5，CNN之父，Yann LeCun，1997年提出，首次多层级联卷积结构，手写数字有效识别。2012年，Hin

ResNet(Residual Neural Network)，微软研究院 Kaiming He等4名华人提出。通过Residual Unit训练152层深神经网络，ILSVRC 2015比赛冠军，3.57% top-5错误率，参数量比VGGNet低，效果非常突出。ResNet结构，极快加速超深神经网络训练，模型准确率非常大提升。Inception V4，Inception Module、ResN

Google Inception Net，ILSVRC 2014比赛第一名。控制计算量、参数量，分类性能非常好。V1，top-5错误率6.67%，22层，15亿次浮点运算，500万参数(AlexNet 6000万)。V1降低参数量目的，参数越多模型越庞大，需数据量越大，高质量数据昂贵；参数越多，耗费计算资源越大。模型层数更深，表达能力更强，去除最后全连接层，用全局平均池化层(图片尺寸变1x1)，参数

VGGNet，牛津大学计算机视觉组(Visual Geometry Group)和Google DeepMind公司一起研发，深度卷积神经网络。VGGNet反复堆叠3x3小型卷积核和2x2最大池化层，成功构筑16~19层深卷积神经网络。比state-of-the-art网络结构，错误率幅下降，取得ILSVRC 2014比赛分类第2名和定位第1名。拓展性强，迁移其他图片数据泛化性好。结构简洁，整个网络

ILSVRC(ImageNet Large Scale Visual Recognition Challenge)分类比赛。AlexNet 2012年冠军(top-5错误率16.4%，额外数据15.3%，8层神经网络)。VGGNet 2014年亚军(top-5错误率7.3%，19层神经网络)。Google Inception 2014年冠军(top-5错误率6.7%，22层神经网络)。ResNet

经典数据集CIFAR-10,60000张32x32彩色图像，训练集50000张，测试集10000张。标注10类，每类图片6000张。airplance、automobile、bird、cat、deer、dog、frog、horse、ship、truck。没有任何重叠。CIFAR-100,100类标注。深度学习之父 Geoffrey Hinton和学生Alex Krizhevsky、Vinod Nai

载入MNIST数据集。创建默认Interactive Session。初始化函数，权重制造随机噪声打破完全对称。截断正态分布噪声，标准差设0.1。ReLU，偏置加小正值(0.1)，避免死亡节点(dead neurons)。卷积层函数，tf.nn.conv2d，TensorFlow 2 维卷积函数，参数x输入，W卷积参数，卷积核尺寸，channel个数，卷积核数量(卷积层提取特征数量)。St

卷积神经网络(Convolutional Neural Network,CNN)，可以解决图像识别、时间序列信息问题。深度学习之前，借助SIFT、HoG等算法提取特征，集合SVM等机器学习算法识别图像。SIFT，缩放、平移、旋转、视角转变、亮度调整畸变的一定程度内，具有不变性。有局限性，ImageNet ILSVRC比赛最好结果错误率在26%以上，常年难以突破。卷积神经网络提取特征效果更好

隐含层，指除输入、输出层外，的中间层。输入、输出层对外可见。隐含层对外不可见。理论上，只要隐含层节点足够多，只有一个隐含层，神经网络可以拟合任意函数。隐含层越多，越容易拟合复杂函数。拟合复杂函数，所需隐含节点数，随隐含层数量增多指数下降。过拟合，模型预测准确率在训练集上升，在测试集下降。泛化性不好，模型记忆当前数据特征，不具备推广能力。参数太多。Hinton教授团队，Dropout。随便丢弃部分输出

Q-Learning，学习Action对应期望值(Expected Utility)。1989年，Watkins提出。收敛性，1992年，Watkins和Dayan共同证明。学习期望价值，从当前一步到所有后续步骤，总期望获取最大价值(Q值、Value)。Action->Q函数，最佳策略，在每个state下，选择Q值最高的Action。不依赖环境模型。有限马尔科夫决策过程(Markov Dectisi

首先向大家和《TensorFlow实战》的作者说句不好意思。我现在看的书是《TensorFlow实战》。但从TF024开始，我在学习笔记的参考资料里一直写的是《TensorFlow实践》，我自己粗心搞错了，希望不至于对大家造成太多误导。TensorBoard，TensorFlow官方可视化工具。展示模型训练过程各种汇总数据。标量(Scalars)、图片(Images)、音频(audio)、计算图(G

生成式对抗网络(gennerative adversarial network,GAN)，谷歌2014年提出网络模型。灵感自二人博弈的零和博弈，目前最火的非监督深度学习。GAN之父，Ian J.Goodfellow，公认人工智能顶级专家。原理。 生成式对搞网络包含一个生成模型(generative model,G)和一个判别模型(discriminative model,D)。Ian J.G

TensorFlow目录结构。ACKNOWLEDGMENTS #TensorFlow版本声明ADOPTERS.md #使用TensorFlow的人员或组织列表AUTHORS #TensorFlow作者的官方列表BUILDCONTRIBUTING.md #TensorFlow贡献指导ISSUE_TEMPLATE.md #提ISSUE的模板LICENSE #版权许可README.md

生成检查点文件(chekpoint file)，扩展名.ckpt，tf.train.Saver对象调用Saver.save()生成。包含权重和其他程序定义变量，不包含图结构。另一程序使用，需要重新创建图形结构，告诉TensorFlow如何处理权重。 生成图协议文件(graph proto file)，二进制文件，扩展名.pb，tf.tran.write_graph()保存，只包含图形结构，不包含

系统架构。 自底向上，设备层、网络层、数据操作层、图计算层、API层、应用层。核心层，设备层、网络层、数据操作层、图计算层。最下层是网络通信层和设备管理层。 网络通信层包括gRPC(google Remote Procedure Call Protocol)和远程直接数据存取(Remote Direct Memory Access,RDMA)，分布式计算需要。设备管理层包手包括TensorFl

PlayGround。http://playground.tensorflow.org 。教学目的简单神经网络在线演示、实验图形化平台。可视化神经网络训练过程。在浏览器训练神经网络。界面，数据(DATA)、特征(FEATURES)、神经网络隐藏层(HIDDEN LAYERS)、层中连接线、输出(OUTPUT)。数据。二维平面，蓝色正值，黄色负值。数据形态，圆形、异或、高斯、螺旋。数据配置，调整

下载TensorFlow https://github.com/tensorflow/tensorflow/tree/v1.1.0 。Tags选择版本，下载解压。pip安装。pip，Python包管理工具，PyPI(Python Packet Index) https://pypi.python.org/pypi 。Mac环境。 安装virtualenv。virtualenv，Pytho

TF.Contrib，开源社区贡献，新功能，内外部测试，根据反馈意见改进性能，改善API友好度，API稳定后，移到TensorFlow核心模块。生产代码，以最新官方教程和API指南参考。统计分布。TF.contrib.ditributions模块，Bernoulli、Beta、Binomial、Gamma、Ecponential、Normal、Poisson、Uniform等统计分布，统计研究

TF.Contrib，开源社区贡献，新功能，内外部测试，根据反馈意见改进性能，改善API友好度，API稳定后，移到TensorFlow核心模块。生产代码，以最新官方教程和API指南参考。统计分布。TF.contrib.ditributions模块，Bernoulli、Beta、Binomial、Gamma、Ecponential、Normal、Poisson、Uniform等统计分布，统计研究

线性、逻辑回归。input_fn()建立简单两个特征列数据，用特证列API建立特征列。特征列传入LinearClassifier建立逻辑回归分类器，fit()、evaluate()函数，get_variable_names()得到所有模型变量名称。可以使用自定义优化函数，tf.train.FtrlOptimizer()，可以任意改动传到LinearClassifier。随机森林。包含多个决策树

TF.Learn，TensorFlow重要模块，各种类型深度学习及流行机器学习算法。TensorFlow官方Scikit Flow项目迁移，谷歌员工Illia Polosukhin、唐源发起。Scikit-learn代码风格，帮助数据科学从业者更好、更快适应接受TensorFlow代码。囊括许多TensorFlow代码、设计模式，用户更快搭建机器学习模型实现应用。避免大量代码重复，把精力放在搭建更精

TensorFlow分布式并行基于gRPC通信框架，一个master负责创建Session，多个worker负责执行计算图任务。先创建TensorFlow Cluster对象，包含一组task(每个task一台独立机器)，分布式执行TensorFlow计算图。一个Cluster切分多个job，一个job是一类特定任务(parameter server ps,worker)，每个job可以包含多个ta

TensorFlow并行，模型并行，数据并行。模型并行根据不同模型设计不同并行方式，模型不同计算节点放在不同硬伯上资源运算。数据并行，比较通用简便实现大规模并行方式，同时使用多个硬件资源计算不同batch数据梯度，汇总梯度全局参数更新。数据并行，多块GPU同时训练多个batch数据，运行在每块GPU模型基于同一神经网络，网络结构一样，共享模型参数。同步数据并行，所有GPU计算完batch数据梯度，统

传统机器学习依赖良好的特征工程。深度学习解决有效特征难人工提取问题。无监督学习，不需要标注数据，学习数据内容组织形式，提取频繁出现特征，逐层抽象，从简单到复杂，从微观到宏观。稀疏编码(Sparse Coding)，基本结构组合。自编码器(AutoEncoder)，用自身高阶特征编码自己。期望输入/输出一致，使用高阶特征重构自己。Hinton教授在Science发表文章《Reducing the di

TensorFlow实现Softmax Regression(回归)识别手写数字。MNIST(Mixed National Institute of Standards and Technology database)，简单机器视觉数据集，28X28像素手写数字，只有灰度值信息，空白部分为0,笔迹根据颜色深浅取[0, 1], 784维，丢弃二维空间信息，目标分0~9共10类。数据加载，data.re

确保目录结构存在。每次创建文件，确保父目录已经存在。确保指定路径全部或部分目录已经存在。创建沿指定路径上不存在目录。下载函数，如果文件名未指定，从URL解析。下载文件，返回本地文件系统文件名。如果文件存在，不下载。如果文件未指定，从URL解析，返回filepath 。实际下载前，检查下载位置是否有目标名称文件。是，跳过下载。下载文件，返回路径。重复下载，把文件从文件系统删除。 import o

输入采用占位符，模型接收任意长度向量，随时间计算数据流图所有输出总和，采用名称作用域合理划分数据流图，每次运行保存数据流图输出、累加、均值到磁盘。[None]代表任意长度向量，[]代表标量。update环节更新各Variable对象以及将数据传入TensorBoard汇总Op。与交换工作流分开，独立名称作用域包含Variable对象，存储输出累加和，记录数据流图运行次数。独立名称作用域包含Tenso

Tensor、Op对象不可变(immutable)。.Variable()构造方法创建Variable对象，包含Session.run()调用中可持久化的可变张量值。Variable对象初值通常为全0､全1或用随机数填充阶数较高张量，创建初值张量Op，.zeros()、.ones()、.random_normal()、.random_uniform()，接收shape参数。Graph管理Tensor

创建Graph对象，.Graph()，无需接收任何参数。.as_default()访问上下文管理器，添加Op。加载TensorFlow库时，自动创建一个Graph对象作为默认数据流图，Op、Tensor对象自动放置在默认数据流图。多个不依赖模型需要创建多个Graph对象，节点添加到正确的数据流图。不要将默认数据流图和用户创建数据流图混合使用，既存在自定义数据流图，又存在默认数据流图时，应把各自的Op

张量是N维矩阵抽象。一维张量是向量。二维张量是矩阵，三维或以上称N维张量或N阶张量。输入节点，从接收标量，改为接收向量。.reduce_prod()创建归约乘积Op。reduce_sum()创建归约求和Op。 import tensorflow as tf a = tf.constant([[[1,2,3],[4,5,6]],[[7,8,9],[1,2,3]]], name="inpu

数据流图，有向图，定义计算结构。一组函数链接在一起。每个函数输出传递给级联链上其他函数。利用小数学函数构造数据复杂变换。节点node，对数据所优质运算操作。边edge，向节点输入、输出的数据。指向节点的边为输入，从节点引出的边为输出。边是节点之间的连接，做信息传输。输入可能来自其他数据流图、文件读取、用户输入。输入节点把单个输入传递给大量后继节点。不依赖其他节点信息的节点，互相独立。数据流图输入抽象

官网： https://www.tensorflow.org/install/install_mac https://www.tensorflow.org/install/install_windows考虑到软件依赖项，依赖冲突。单机建议用Virturalenv，分布式用Docker。解决依赖冲突有以下方式：代码库内部的软件包依赖，依赖库放到代码中，局部引用。重复占用空间，手工更改。用户无

官网: https://www.tensorflow.orgGithub: https://github.com/tensorflow学习TensorFlow，如果你学过以下知识会更有帮助：一元、多元微积分，矩阵代数、乘法，编程原理，机器学习,Python 编程，模块组织,NumPy库,matplotlib库，前馈神经网络、卷积神经网络、循环神经网络。机器学习，通用数学模型解决数据特定

1.人工智能之机器学习体系汇总2.人工智能相关趋势分析 2.1.人工智能再次登上历史舞台2.2.Python才是王道2.3.深度学习趋势大热2.4.中国更爱深度学习3.结语参加完2017CCAI，听完各位专家的演讲后受益匪浅。立志写“人工智能之机器学习”系列，此为开篇，主要梳理了机器学习方法体系，人工智能相关趋势，Python与机器学习，以及结尾的一点感恩。1.人工智能之机器学习体系汇

算术运算符TensorFlow提供了一些操作，你可以使用基本的算术运算符添加到你的图表。tf.add(x, y, name = None)解释：这个函数返回x与y逐元素相加的结果。注意：tf.add操作支持广播形式，但是tf.add_n操作不支持广播形式。使用例子：#!/usr/bin/env python# -*- coding: utf-8 -*-import tensorflow as tf