Forskamse's Blog

深度学习与图神经网络近年来，人工智能与深度学习在各个领域得到了长足的发展。从最先掀起这轮深度学习浪潮的计算机视觉（Computer Vision）领域，到亦备受关注的自然语言处理（Natural Language Processing）、数据挖掘（Data Mining）领域，再到各个专门领域，如生物信息（图1）、游戏博弈（图2）等，人工智能正日益展露锋芒。![图1 AlphaFold，用于蛋白质结构预测人工智能与深度学习取得如此进展的最大驱动力可以被总结为以下两点[1]：数据可用性的增强。随着

人工智能学习清单一份人工智能学习清单，帮助初学者了解本领域知识框架，以及查找优秀学习资源。部分资源分享在GitHub，欢迎star与贡献。Ⅰ. 基础知识1. 人工智能：了解人工智能的概念，及其涉及的具体领域。参考资料：[1] Russell, Stuart, and Peter Norvig. “Artificial intelligence: a modern approach.” (1995)，书籍2. 机器学习：全面了解机器学习术语、算法、评价指标、和流程，可按照监督学习、无监督学习、半

翻译原文：Model Compression and Acceleration for Deep Neural Networks量化是通过减少表示每个权重所需的比特数（the number of bits）来压缩原始网络。文献[6]和 文献[7]对参数值使用 K 均值标量量化。文献[8]表明8-bit量化可以在准确率损失极小的同时实现大幅加速。文献[9]在基于随机修约（stocha...

本系列文章是笔者以邱锡鹏老师《Pre-trained Models for Natural Language Processing: A Survey》为主要参考材料所做的关于“预训练（语言）模型综述”的记录，所涉及之素材也包括其他相关综述与未被纳入此综述的工作，分享出来与大家交流讨论。此篇记录预训练任务及训练技巧。预训练任务预训练任务可归类成监督学习、无监督学习和自监督学习三类任务。自监督学习略微特殊，它也有输入和输出标签，所以训练方法其实和监督学习一致，但是它的标签是自动生成而非人工标注的，最典型的

对于TensorFlow Object Detection API 官方安装指导，我觉得有可以改进的地方。1、安装：指导中要求使用者先克隆下整个models仓库，然后安装Protobuf解压出object_detection模块，然后将object_detection模块与slim模块的目录添加到PYTHONPATH中，这一操作在新打开Shell后都需要重新进行（当然，添加到环境变量配置文件中...

Grid Cells机制虽然YOLO中设置了两个Predictor（这里记为Predictor A和Predictor B），但是YOLO并没有让一个Grid Cell去预测多个Object，它的机制是通过计算Grid Cell与不同Object的IOU，让这个Grid Cell去负责IOU最大的哪个Object，也就是说两个Predictor都去预测这个Object。就以下图为例（请暂时忽略...

开源一些基于TensorFlow 2.x的CNN模块/网络的实现，可能不定时更新。仓库链接：TensorFlow-2-Implementations-of-CNN-Based-Networks目前的实现包括：Feature Extraction/Fusion BlocksAtrous Convolutional Block for 1D (data points / sequences) or 2D inputs (images / feature maps), suggested by An E

先引入一些概念：Features：语言有哪些基本特征：syntacticor semantic features of the languageuniversal language representations (through large corpus)特征的表示方法：Distributed Representation发展史：模型发展简史Non-neural network methodsNeural models (CNN, RNN, GNN, Attention Mechan

本系列文章是笔者以邱锡鹏老师《Pre-trained Models for Natural Language Processing: A Survey》为主要参考材料所做的关于“预训练（语言）模型综述”的记录，所涉及之素材也包括其他相关综述与未被纳入此综述的工作，分享出来与大家交流讨论。此篇记录预训练语言模型的使用方式与相关应用。...

在深度学习中，你可能需要用到大量的变量集，而且这些变量集可能在多处都要用到。例如，训练模型时，训练参数如权重（weights）、偏置（biases）等已经定下来，要拿到验证集去验证，我们自然希望这些参数是同一组。以往写简单的程序，可能使用全局限量就可以了，但在深度学习中，这显然是不行的，一方面不便管理，另外这样一来代码的封装性受到极大影响。因此，TensorFlow提供了一种变量管理方法：变量作用

1. 卷积神经网络的组成1981年诺贝尔医学奖得主，神经生物学家David Hubel 和Torsten Wiesel对人脑视觉系统的研究表明：人脑视觉系统首先通过眼睛来成像，图像通过瞳孔、晶状体最终在视网膜上成像。视网膜上布满了大量的光感受细胞，可以把光刺激转换为神经冲动，神经冲动通过视觉通路传递到大脑的初级视觉皮层（Primary Visual Cortex，V1），V1初步处理得到边缘、方...

1980年日本学者福岛邦彦（Kunihiko Fukushima）提出的神经认知机模型（Neocognitron） Fukushima K, Miyake S. Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition[M]//Competition an...

本文研究Keras自带的几个常用的Loss Functions。categorical_crossentropy VS. sparse_categorical_crossentropy先看categorical_crossentropy和sparse_categorical_crossentropy。categorical_crossentropysparse_categorical_...