yunxinan的专栏

在过去的传统机器学习中，通常我们是直接处理同一类型的数字类型数据。随着深度学习发展，在图像，文本，语音领域分别取得了超越平均人类水平后，多模态数据的量随着互联网技术指数性增长，近两年自媒体更是推动了多模态数据处理的发展。那么怎么更加高效的处理不同结构类型并且数量巨大的数据，经过我对《复杂》《规模》《模型思维》等深度的研究，得出如下结论：（1）场景业务问题抽象成业务模型，这个在很多咨询公司流行（简称：业务问题符号化）（2）针对抽象问题得到的业务模型和既定的目标探索建模方法（简称：符号问题数字化）

预训练模型，大模型，生成式大模型，思维链，思维图，可解释深度学习，因果深度学习

深度学习未来发展方向

论文地址

个人相关工作介绍** 摘要部分此开源项目主要是我在自己工作和研究学习中针对以下问题总结笔记不足之处欢迎通过邮件QAS和OKR方式沟通互相学习。[1]低质量、多分辨率、多尺度遥感、医学、文字图像应用型研究[2]大数据、文本、语音、图像工程化应用型研究[3]传统算法+数据结构的基础研究[4]深度学习head、neck、loss、优化、并行方面应用研究[5]算法设计与芯片架构及操作系统可重组方案优化理论研究** 简介部分知名方向性会议NIPSCVPRECCVICCVICLRSIG

量子计算中通过非线性差分实现多重分形构造混沌的超分图像解决了计算机图形学和计算机摄影学中光线追踪模拟信号转换。

论文地址论文动机：传统方法最大的问题在于效率低下，昂贵且耗时，因此，基于AI的新方法加快对蛋白质的改造，能够大大降低研发成本，对于开发基于蛋白质的药物（例如抗体和疫苗）以及工业酶非常重要。论文实验：ProteinGAN使用生成式对抗网络生成蛋白质变体，加速药物研发。该模型之前因用于生成以假乱真的照片和视频而闻名。但是在这项研究中，研究团队尝试用GAN产生具有类似天然蛋白质的物理特性的高度多样化的蛋白质变体，并对这些蛋白质进行测试。...

论文地址论文源码论文动机：帮助盲人通过将视觉信息转化为声音模式来感知视觉环境。为了提高翻译质量，通常利用盲人的任务性能来评价不同的编码方案我们首先提出了两种不同的跨模态感知模型w.r.t.即晚期盲和先天盲，目的是根据翻译的声音生成具体的视觉内容。为了验证所提出的模型的功能，提出了两种新的优化策略w.r.t.主要编码方案。此外，我们进行了一系列基于人的实验来评估和比较跨模态生成任务中基于机器的评估。不同编码方案的实验结果具有高度的一致性，表明利用机器模型加速优化评价和降低实验成本在一定程度上是可行的，

论文地址基于端到端预训练模型的视觉语言表征学习** （VLP 和VQA本论文个人认为是继文字识别领域后融合计算机视觉与自然语言最大的技术突破）论文动机当前大多数文章都是先抽取出图像中的显著性区域，再将其与文字一一对齐。由于基于区域的视觉特征通常代表图像的一部分，因此现有的视觉语言模型要充分理解配对自然语言的语义是一项挑战。由于基于区域的视觉特征通常代表图像的一部分，现有的视觉语言模型很难完全理解成对自然语言的语义。论文方法本文提出SOHO“开箱即看”的概念，将完整的图像为输入，以一种端到端的方式

https://julialang.org/https://github.com/JuliaLang/julia由于个人从事深度学习视觉算法工程开发，很久前学习这门语言，现在就朝花夕拾提一下这么语言从语言层解决并行的问题，所以它是未来支持科学计算和认知计算、人工智能等多领域的支柱型语言。近期非常看好的就是julia语言和jittor深度学习计算框架。...

https://github.com/google/differential-privacy/

百度确认在这个框架上很良心，个人一直关注国产深度学习框架（主要是底层架构和软硬件的结合方向）。最近学习了量子计算编程，发展微软和百度的相关项目里面，百度这个更有意思。

计算机数学基础特征值特征向量相似矩阵Jordan标准形Hamilton-Cayley定理多维数组向量内积Hermite正定矩阵向量范数矩阵范数矩阵谱半径矩阵序列收敛矩阵级数矩阵函数矩阵微分矩阵积分矩阵满秩矩阵三角分解矩阵QR分解矩阵奇异值分解《矩阵论》《数理统计》《数值分析》《优化理论》《概率论》《随机过程》《系统工程》基础矩阵本质矩阵单应矩阵仿射矩阵透射矩阵本质矩阵E：秩=2，只依赖相机的外参R,t基础矩阵F：秩=2，依赖相机内参矩阵K和外

github.com/blue-blue272/fewshot-CAN从注意力方面的进展来看自然语言已经和图像在算法底层通用以下方法可能对小样本有帮助：

模型压缩、模型加速模型压缩方法： 能够有效降低参数冗余减少存储占用、通信带宽、计算复杂度利部署线性或非线性量化：1/2bits, int8 和 fp16等；结构或非结构剪枝：deep compression, channel pruning 和 network slimming等；网络结构搜索 (NAS: Network Architecture Search)：DARTS, DetNAS、NAS-FCOS、Proxyless NAS和NetAdapt等；其他：权重矩阵的低秩分解，知识蒸馏与网络结

算子解释广义的讲，对任何函数进行某一项操作都可以认为是一个算子，甚至包括求幂次，开方都可以认为是一个算子，只是有的算子我们用了一个符号来代替他所要进行的运算罢了，所以大家看到算子就不要纠结，他和 的 没区别，它甚至和加减乘除的基本运算符号都没有区别，只是他可以对单对象操作罢了(有的符号比如大于、小于号要对多对象操作)。又比如取概率P{X<x}，概率是集合{X<x}(他是属于实数集的子集)对[0,1]区间的一个映射，我们知道实数域和[0,1]区间是可以一一映射的(这个后面再说)，所以取概率符号P