- 博客(2)
- 资源 (149)
- 收藏
- 关注
RSS订阅原创 关于“没有可用软件包 devtoolset-9-gcc-c++”的解决办法
本想使用llama.cpp对模型量化，结果对包进行make的时候出现“stdatomic.h：没有那个文件或目录”的bug，搜索发现是gcc版本太低了，gcc -v发现版本是4.8.5。
2023-10-19 22:22:33
10738
7
数据驱动科学与工程:机器学习，动态系统与控制，第2版
数据驱动的发现正在彻底改变我们建模、预测和控制复杂系统的方式。现在有了Python和MATLAB，这本教科书通过提供数据驱动方法、机器学习、应用优化和工程数学和数学物理的经典领域日益增长的交叉领域的广泛概述，为下一代的科学发现培训数学科学家和工程师。重点是将动态系统建模和控制与应用机器学习中的现代方法集成，本文包括因其相关性、简便性和通用性而选择的方法。主题范围从入门到研究水平的材料，使工程和物理科学的高级本科生和刚开始的研究生可访问。第二版的特点是关于强化学习和物理机器学习的新章节，重要的新章节贯穿，和章练习。在线补充材料-包括每个部分的讲座视频、家庭作业、数据和MATLA、Python、Julia和R中的代码-可在databookuw.com上获得。
2023-03-22
Convex Optimization for Machine Learning.pdf
绍了凸优化，这是一个可以在计算机上高效解决的强大且易于处理的优化问题。本书的目标是帮助读者理解什么是凸优化，以及如何将其应用于更广泛的实际场景，特别是机器学习。
2022-12-18
Recent Advances in Pre-trained Language Models Why Do They Work
预训练语言模型(PLMs)是在大规模语料库上以自监督方式进行预训练的语言模型。在过去的几年中，这些PLM从根本上改变了自然语言处理社区。在本教程中，我们旨在从两个角度提供广泛而全面的介绍:为什么这些PLM有效，以及如何在NLP任务中使用它们。本教程的第一部分对PLM进行了一些有见地的分析，部分解释了PLM出色的下游性能。第二部分首先关注如何将对比学习应用于PLM，以改进由PLM提取的表示，然后说明如何在不同情况下将这些PLM应用于下游任务。这些情况包括在数据稀缺的情况下对PLM进行微调，以及使用具有参数效率的PLM。我们相信，不同背景的与会者会发现本教程内容丰富和有用。
2022-12-18
Introduction to Machine Learning with Applications in Informatio
第二版介绍了各种各样的机器学习和深度学习算法和技术，通过现实应用加强。这本书通俗易懂，不证明定理，也不详述数学理论。我们的目标是在直观的层次上呈现主题，并有足够的细节来阐明底层的概念。这本书深入地涵盖了核心的经典机器学习主题，包括隐藏马尔可夫模型(HMM)，支持向量机(SVM)和聚类。其他机器学习主题包括k-最近邻(k-NN)、boosting、随机森林和线性判别分析(LDA)。基本的深度学习主题的反向传播，卷积神经网络(CNN)，多层感知器(MLP)，和循环神经网络(RNN)的深度覆盖。此外，还提出了一系列先进的深度学习架构，包括长短期记忆(LSTM)、生成对抗网络(GAN)、极限学习机(ELM)、残差网络(ResNet)、深度信任网络(DBN)、变形Transformers 双向编码器表示(BERT)和Word2Vec。最后，讨论了一些前沿的深度学习主题，包括退出正则化、注意力、可解释性和对抗性攻击。书中的大多数例子都来自信息安全领域，其中很多机器学习和深度学习应用都集中在恶意软件上。本文提供的应用程序通过说明在简单的场景中使用各种学习技术来揭开主题的神秘面纱。本书中的一些练习需要
2022-08-27
自动化机器学习.rar
自动化机器学习为非机器学习专家提供了机器学习的方法和过程，以提高机器学习的效率和加速机器学习的研究。
机器学习(ML)近年来取得了相当大的成功，越来越多的学科依赖于它。然而，这一成功关键依赖于人类机器学习专家执行以下任务:
对数据进行预处理和清理。 选择并构建适当的特性 选择一个合适的模型族。 hyperparameters优化模型。 设计神经网络的拓扑结构(如果使用深度学习)。 后处理机器学习模型。 严格分析得到的结果。
由于这些任务的复杂性往往超出了非ml专家的能力，机器学习应用程序的快速增长创造了对现成的机器学习方法的需求，这些方法可以轻松使用，不需要专家知识。我们将这一以渐进机器学习自动化为目标的研究领域称为AutoML
2022-08-26
A course in Time Series Analysis.pdf
时间序列是一段时间内的一系列观察结果xt。通常情况下，观测可以在整个时间间隔内进行，在一个时间间隔或固定的时间点随机采样。不同类型的时间采样需要不同的数据分析方法。
2022-08-25
Process Mining Data Science in Action.pdf
近年来，深度学习已经彻底改变了许多机器学习任务，从图像分类和视频处理到语音识别和自然语言理解。这些任务中的数据通常用欧几里得空间表示。然而，越来越多的应用从非欧几里得域生成数据，并表示为对象之间具有复杂关系和相互依赖关系的图。图数据的复杂性给现有的机器学习算法带来了巨大的挑战。近年来，许多关于图数据扩展深度学习方法的研究已经出现。在八报告中，提供了一个简明的图神经网络(GNNs)在数据挖掘和机器学习领域的概述。我们提出了一种新的分类方法，将最先进的图神经网络分为四类，即递归图神经网络、卷积图神经网络、图自编码器和时空图神经网络。我们进一步讨论了图神经网络在各个领域的应用，并总结了图神经网络的开源代码、基准数据集和模型评估。最后，我们提出了这一快速发展领域的潜在研究方向。
2022-08-25
Online clustering：algorithms, evaluation, metrics, application a
在线聚类算法在数据科学中发挥着至关重要的作用，尤其是在时间、内存使用和复杂性方面的优势，同时与传统聚类方法相比保持了较高的性能。本教程服务于，首先，作为在线机器学习的调查，特别是数据流聚类方法。在本教程中，最先进的算法和相关的核心研究线程将通过识别不同的类别基于距离，密度网格和隐藏的统计模型。聚类有效性指标作为聚类过程中的一个重要组成部分，通常被忽略或被分类指标所取代，导致对最终结果的误解，也将被深入研究。
然后，本文将介绍River，一个由Creme和scikit-multiflow合并而成的go-to Python库。它也是第一个包含在线集群模块的开源项目，该模块可以促进可重复性，并允许直接进一步改进。在此基础上，我们提出了基于现实问题和数据集的聚类配置、应用程序和基准设置的方法。
2022-08-22
Conversational Recommender Systems.pdf
个性化推荐已经成为我们在线用户体验中无处不在的一部分。今天，推荐通常被实现为从系统到用户的单向通信。然而，近年来，我们发现人们对对话式推荐系统(CRS)越来越感兴趣。这些系统能够与用户进行交互式对话，通常使用自然语言，目标是根据用户观察到的需求和偏好提供合适的建议。虽然会话推荐不是一个新的领域，但最近自然语言处理技术和深度学习的发展显著地刺激了这一领域的新研究。
在本教程中，我们将对对话式推荐系统领域的现有研究进行多方面的调研。我们将首先讨论CRS的典型技术架构和可能的交互模式。然后，我们将专注于这些系统可以依赖的各种类型的知识，并详细说明这些系统通常必须支持的计算任务。在本教程的最后一部分中，我们将强调当前的方法以及在评估复杂的交互式软件解决方案(如对话式推荐系统)时面临的公开挑战。
2022-07-28
Language Models：Past, Present, and Future.pdf
本文描述了语言模型的发展历史，指出未来可能的发展方向。近年来，自然语言处理 (NLP) 领域发生了革命性的变化。由于预训练语言模型的开发和应用，NLP 在许多应用领域取得了显著的成就。预训练语言模型有两个主要优点。一、它们可以显著提高许多自然语言处理任务的准确性。例如，可以利用 BERT 模型来实现比人类更高的语言理解性能。我们还可以利用 GPT-3 模型生成类似人类写的文章。预训练语言模型的第二个优点是它们是通用的语言处理工具。在传统的自然语言处理中，为了执行机器学习任务，必须标记大量数据来训练模型。相比之下，目前只需要标记少量数据来微调预训练语言模型，因为它已经获得了语言处理所需的大量知识。
本文从计算机科学的发展历史和未来趋势的角度简要介绍语言建模，特别是预训练语言模型，对 NLP 领域的基本概念、直观解释、技术成就和面临的挑战展开了综述，为初学者提供了关于预训练语言模型的参考文献。
自然语言处理是计算机科学（CS）、人工智能（AI）和语言学的一个交叉领域，包括机器翻译、阅读理解、对话系统、文本摘要、文本生成等应用。近年来，深度学习已成为自然语言处理的基础技术。 借助数学知识
2022-07-24
Modeling Continuous-time Event Data with Neural Temporal Point P
Modeling Continuous-time Event Data with Neural Temporal Point Processes
事件数据是机器学习许多高影响力应用的核心。电子健康记录中的医院访问，地震学中的地震目录，以及神经科学中的高峰列车——所有这些都可以用连续时间中可变长度的事件序列来表示。时间点流程(TPPs)为此类数据建模提供了一个自然的框架。然而，传统的TPP模型缺乏捕捉现实事件数据中呈现的复杂模式的能力。神经TPP旨在通过将神经网络与点过程文献中的基本思想相结合来解决这一限制。本论文的两个主要主题是(1) 设计灵活、可处理和高效的神经TPP模型，(2)它们在现实问题中的应用。我们的第一个贡献是TPP和神经密度估计领域之间的联系。这使得我们能够开发第一个神经TPP模型，其中的可能性计算、采样和预测都可以以封闭的形式有效地完成。接下来，我们提出了TriTPP——一种新的表达性TPP模型，与现有方法不同，该模型中所有操作都可以并行完成。快速平行采样为TPP模式开启了新的应用。我们通过推导连续时间离散状态系统的变分推断方案来证明这一点。最后，我们将拟合优度测试方
2022-07-16
Graph Neural networks：explainability.pdf
图神经网络(GNNs)已被广泛应用于图表示学习的各个领域。然而，与所有其他神经网络模型一样，GNN也存在黑盒问题，因为人们无法理解其机制。为了解决这一问题，人们提出了几种解释GNN决策的方法。在本报告中，Simone Scardapane概述了最先进的GNN解释方法和如何评估它们
2022-07-16
《因果推理》课程！杜克大学Fan Li教程.rar
来自杜克大学Fan Li的简明《因果推理》课程！
Chapter 1. Introduction 引言 Chapter 2. Randomized experiments 随机实验 Chapter 2.1: Fisher's and Neyman's mode of inference Chapter 2.2: Covariate adjustment in RCT Chapter 3. Observational studies with ignorable assignments: single-time treatments Chapter 3.1. Outcome regression Chapter 3.2. Covariate balance, matching, stratification Chapter 3.3. Propensity score Chapter 3.4. Propensity score weighting: inverse probability weighting and overlap weighting Chapter 3.5. Augme
2022-07-12
Contrastive Data and Learning for Natural Language Processing.pd
目前的自然语言处理模型严重依赖有效的表示学习算法。对比学习就是这样一种学习嵌入空间的技术，它使相似的数据样本对具有相近的表示，而不同的样本彼此相距遥远。它可以用于监督或非监督设置，使用不同的损失函数来产生特定于任务的或通用的表示。虽然它最初使视觉任务的成功成为可能，但近年来，关于对比NLP的工作越来越多。这一第一行的工作不仅在各种NLP任务中提供了有前景的性能改进，而且还提供了所需的特性，如任务不可知的句子表示、忠实的文本生成、零样本和少样本设置下的数据高效学习和可解释性。
在本教程中，我们将温柔地介绍对比学习方法的基本原理及其背后的理论。然后，我们调研了对比学习对各种下游NLP应用的好处和最佳实践，包括文本分类、问题回答、摘要、文本生成、可解释性和可解释性、常识知识和推理、视觉和语言。
本教程旨在帮助自然语言处理和计算语言学领域的研究人员理解这一新兴主题，并推动将对比学习用于自然语言处理应用的未来研究方向。
2022-07-10
数字信息创新发展，医疗智能下一十年.pdf
需求不断提升。国家分级诊疗和社区医疗浪潮下的远程问诊、慢病管理和医疗AI的需求不断提升，加之新冠疫情爆发以来，对上述需求及公共卫生疾控领域数字化解决方案的需求及渗透率迅速提升，推动了数字医疗解决方案渗透率的迅速提升。
2022-07-08
Causality.pdf
最近大多数机器学习都专注于纯预测性能，这是其实际成功背后的驱动力。因果关系的问题(理解预测为什么有效)在某种程度上被抛在了后面。这种模式非常重要，因为它可以帮助理解哪些基因导致了哪些疾病，哪些政策影响了哪些经济指标。
在因果关系领域，我们希望了解系统在干预(如基因敲除实验)下的反应。这些问题超出了统计上的依赖，因此不能用标准的回归或分类技术来回答。在本教程中，你将学习因果推理的有趣问题和该领域的最新发展。不需要事先了解因果关系。
第一部分: 我们介绍了结构性因果模型和正式的介入性分布。我们定义因果效应，并展示如何计算它们，如果因果结构是已知的。
第二部分: 我们提出了三种可以用来从数据中推断因果结构的想法:(1)发现数据中的(条件)独立性，(2)限制结构方程模型，(3)利用因果模型在不同环境中保持不变的事实。
第三部分:我们展示了因果概念如何在更经典的机器学习问题中使用。
第四部分: 机器学习的应用
2022-07-07
Causal inference in online systems：Methods, pitfalls and best pr
从推荐买什么，看什么电影，到选择看什么新闻，关注什么人，申请什么工作，在线系统已经成为我们日常生活的重要组成部分。一个自然要问的问题是这些社会技术系统如何影响我们的行为。然而，由于这些系统的输出和人的行为之间的复杂的相互作用，确定它们对人的行为的影响是不容易的。
幸运的是，有大量关于因果推理的研究可供我们借鉴。在本教程的第一部分中，我将展示反事实推理对研究社会技术系统的价值，通过展示基于相关性的预测建模如何可能适得其反。然后，我们将讨论因果推断的不同方法，包括随机实验，自然实验，如工具变量和回归不连续，以及观察方法，如分层和匹配。在整个过程中，我们将尝试与图形模型、机器学习和过去在社会科学中的工作联系起来。
下半场将会有更多的实践。我们将通过一个实际的例子来估计一个推荐系统的因果影响，从简单到复杂的方法开始。实践练习的目标是了解不同因果推理方法的缺陷，并获得用混乱的真实世界数据进行因果推理的最佳实践。
2022-07-02
Attention Mechanisms in Deep Learning.pdf
Seq2Seq模型中的第一个注意力机制 图像描述注意力机制 序列分类的注意力机制 注意力机制A(Q, K, V)的一般形式化 多头注意力 Self-Attention Vs Cross-Attention 注意力机制的多样性 注意力机制
2022-06-30
100 Lectures on Machine Learning.rar
UBC Mark Schmidt讲授
这是Mark Schmidt在UBC教机器学习的各种课程的课程材料的集合，包括100多个讲座的材料，涵盖了大量与机器学习相关的主题。
这是在 UBC 教授的有关机器学习的各种课程的课程资料合集，其中包括来自 100 多场讲座的资料，涵盖了大量与机器学习相关的主题。主题的符号相当一致，这使得更容易看到关系，并且主题应该按顺序进行（难度慢慢增加，概念在第一次出现时就被定义）。
2022-06-28
Molecular Graph Representation Learning and Generation for Drug
机器学习方法已经广泛应用于药物发现领域，使得更强大和高效的模型成为可能。在深度模型出现之前，建模分子在很大程度上是由专家知识驱动的;为了表现分子结构的复杂性，这些手工设计的规则被证明是不够的。深度学习模型是强大的，因为它们可以学习问题的重要统计特征——但只有正确的归纳偏差。我们在两个分子问题的背景下解决这个重要的问题:表征和生成。深度学习的典型成功在于它能够将输入域映射到有意义的表示空间。这对于分子问题尤其尖锐，分子之间的“正确”关系微妙而复杂。本论文的第一部分将重点讨论分子表征，特别是性质和反应预测。在这里，我们探索了一种用于分子表示的Transformer式架构，提供了将这些模型应用于图形结构对象的新工具。抛开传统的图神经网络范式，我们展示了分子表示原型网络的有效性，它允许我们对分子的学习性质原型进行推理。最后，我们在改进反应预测的背景下研究分子表示。本论文的第二部分将集中在分子生成，这是至关重要的药物发现作为一种手段，提出有前途的药物候选人。我们开发了一种新的多性质分子生成方法，通过首先学习分子片段的分布词汇。然后，利用这个词汇，我们调查了化学空间的有效探索方法。
2022-06-28
Scalable Deep Gaussian Markov Random Fields for General Graphs.p
图上的机器学习方法在许多应用中已经被证明是有用的，因为它们能够处理一般结构化数据。高斯马尔可夫随机场(GMRFs)框架提供了一种原则性的方法，利用图的稀疏性结构来定义高斯模型。本文在深度GMRF的多层结构基础上，针对一般图提出了一种灵活的GMRF模型，该模型最初只针对格点图提出。通过设计一种新型的层，我们使模型能够缩放到大的图。该层的构造允许使用变分推理和现有的软件框架的图神经网络进行有效的训练。对于高斯似然，潜在场可用接近精确的贝叶斯推断。这允许进行预测，并伴随不确定性估计。在大量的合成和真实数据集上的实验验证了所提出的模型的有效性，在这些实验中，它比其他贝叶斯和深度学习方法都要好。
2022-06-27
Training Efficiency and Robustness in Deep Learning.pdf
深度学习彻底改变了机器学习和人工智能，在几个标准基准上取得了超人的表现。众所周知，深度学习模型训练效率低;它们通过多次处理数以百万计的训练数据来学习，并且需要强大的计算资源来同时并行处理大量数据，而不是顺序处理。深度学习模型也存在非预期失效模式;他们可能会被愚弄，做出错误的预测。
在本文中，我们研究了提高深度学习模型训练效率和鲁棒性的方法。在学习视觉语义嵌入的背景下，我们发现优先学习更多的信息训练数据可以提高收敛速度和提高测试数据的泛化性能。我们形式化了一个简单的技巧，称为硬负挖掘，作为学习目标函数的修改，没有计算开销。接下来，我们在深度学习的通用优化方法中寻求优化速度的改进。我们展示了对训练数据采样的冗余感知修改提高了训练速度，并开发了一种检测训练信号多样性的有效方法，即梯度聚类。最后，我们研究了深度学习中的对抗鲁棒性，以及在不使用额外数据训练的情况下实现最大对抗鲁棒性的方法。对于线性模型，我们证明保证最大的鲁棒性实现只有通过适当的选择优化器，正则化，或架构。
2022-06-27
Precision Medicine, AI, and the Future of Personalized Health C
人工智能(AI)和精准医疗的融合有望给医疗健康带来一场革命。精准医学方法识别出对治疗不太常见的反应或有独特医疗需求的患者表型。人工智能利用复杂的计算和推理来产生见解，使系统能够推理和学习，并通过增强智能使临床医生做出决策。最近的文献表明，探索这种融合的转化研究将有助于解决精准医疗面临的最困难的挑战，尤其是那些非基因组和基因组决定因素，结合来自患者症状、临床历史和生活方式的信息，将有助于个性化诊断和预后。
在美国国家医学院(National Academy of Medicine)最近发布的一份关于人工智能(AI)在医疗保健领域当前和未来状态的报告中，作者指出，人工智能在应对人类现实(包括疲劳和注意力不集中)和机器出错风险方面提供了“前所未有的机会”，以增强专家的护理和人工智能提供的帮助。重要的是，报告指出，尽管在使用这些技术时必须谨慎，但仍有很大的希望。健康相关数据的数字化和技术的快速吸收正在推动医疗领域AI开发和使用的变革和进步。然而，多模态数据集成、安全、联邦学习(这需要在隐私、大规模机器学习和分布式优化等领域取得根本性进展)、模型性能和偏差可能会对人工智能在医疗保健中的使用构成
2022-06-25
【CVPR2022】CMU《多模态机器学习》教程.rar
CVPR 2022 线下会议将于 2022 年 6 月 21 日-24 日在美国新奥尔良举行。而今年投稿量创新高超过了一万，其中 2067 篇论文被接收。各位学者带来了一系列教程。来自卡内基梅隆大学研究学者讲述了《多模态机器学习》教程，200+页ppt值得关注。
多模态机器学习是一个充满活力的多学科研究领域，通过设计计算机agent来实现人工智能的一些原始目标，这些计算机agent能够通过集成和建模多种通信模态(包括语言、声学和视觉信息)来展示智能能力，如理解、推理和规划。随着视听语音识别的初步研究，以及最近的语言和视觉项目，如图像和视频字幕、视觉问题回答和语言引导强化学习，该研究领域给多模态研究人员带来了一些独特的挑战，因为数据的异质性和通常发现的模态之间的偶然性。
本教程建立在卡内基梅隆大学教授的多模态机器学习年度课程的基础上，是CVPR、ACL和ICMI会议上多模态学习以前教程的一个完全修订版本。本教程基于多模态机器学习中存在的核心技术挑战的修订分类，围绕这六个核心挑战: 表示、对齐、推理、迁移、生成和量化。最近的技术成果将通过这种多模态核心挑战的分类法来展示，使研究人员
2022-06-22
Equilibrium Approaches to Modern Deep Learning.pdf
深度学习(Deep learning, DL)已经成为现代人工智能中最成功和被广泛采用的方法之一。与这些成功相伴而来的是越来越复杂和昂贵的架构设计，其基础是一个核心概念:层。本文对层次的这一基本作用提出了挑战，并深入介绍了一种新的、无层次的深度学习范式，将输出计算为动态系统的不动点:深度均衡(DEQ)模型。
首先，我们介绍深度均衡模型的一般公式。我们讨论了这些模型如何表达“无限级”的神经网络，向前和向后解耦传递，但与传统层的成本和设计复杂性-即使在一些最具竞争力的设置(例如，语言建模，语义分割等)。
其次，我们进一步讨论了这种均衡方式带来的挑战和机遇。我们表明，DEQ公式揭示了深度学习的许多新特性，这些特性长期以来被传统的层-堆叠方案所掩盖。利用它们，我们可以训练和部署这些新的轻量级均衡算法，大大补充了深度学习的现有发展，并使我们能够在最先进的水平上改善多个现有结果(例如，光流估计)。
DEQ方法已经在理论和实证两方面引领了社区内隐深度学习的新研究领域(例如，NeurIPS 2020教程)。因此，我们通过讨论未来的工作如何进一步利用这一平衡视角来构建更可扩展、高效和准确的下一代D
2022-06-16
AlphaFold overview and recent developments.pdf
AlphaFold是DeepMind开发的一个人工智能系统，可以根据蛋白质的氨基酸序列预测蛋白质的3D结构。AlphaFold软件和“AlphaFold蛋白质结构数据库”(AlphaFold Protein Structure Database)向公众开放已经一年了，用户可以探索和研究他们感兴趣的蛋白质。
机器学习模型有潜力成为生物学的核心工具，正如最近在蛋白质结构预测方面的进展所表明的那样。在这次网络研讨会中，我将概述AlphaFold:该系统如何工作，如何获得蛋白质结构预测，以及如何分析它们。然后，我将回顾构建系统的一些方法，并将讨论如何为新应用程序评估AlphaFold。
近年来，蛋白质结构的计算模型的能力和准确性显著提高，结构生物学的一些领域没有受到影响。这些变化已经在当前版本的AlphaFold中实现，RoseTTAFold也不远了。实验结构生物学仍然需要解决预测结构中的歧异，并验证细节，但高质量模型的可用性正在消除实验中的许多瓶颈。即使没有实验结构，新的模型也足以产生有趣的假设，可以通过实验来验证，比如评估与遗传疾病相关的变异是如何导致疾病的。通过在当前算法中使用的模式
2022-06-16
Low-Dimensional Models for High-Dimensional Data From Linear to
我们目前正处于一场数据革命之中。在科学、健康甚至日常生活中产生的海量和不断增长的数据集将影响社会的许多领域。许多这样的数据集不仅大，而且是高维的，每个数据点可能包含数百万甚至数十亿个数字。以成像为例，一张图像可能包含数百万个或更多的像素;一段视频可能很容易包含10亿个“体素”。为什么在高维空间学习具有挑战性，这是有根本原因的(“维度诅咒”)。跨越信号处理、统计和优化的一个基本挑战是在高维数据集中利用低维结构。低维信号建模推动了理论和应用领域的发展，从医学和科学成像，到低功耗传感器，再到生物信息学数据集的建模和解释，这只是其中的一小部分。然而，大量的现代数据集带来了额外的挑战:随着数据集的增长，数据收集技术变得越来越不受控制，经常会遇到严重错误或恶意破坏，以及非线性。传统的技术在这种情况下完全崩溃，需要新的理论和算法。
为了应对这些挑战，在过去的二十年里，高维空间中低维结构的研究取得了爆炸性的发展。在很大程度上，代表性低维模型的几何和统计性质(如稀疏和低秩及其变体和扩展)现在已经被很好地理解。在何种条件下，这些模型可以有效地和高效地从(最小数量的抽样)数据恢复已经明确的特征。为了从高维
2022-06-12
2022年中国智慧医疗行业概览.pdf
智慧医疗通过打造健康档案区域医疗信息平台，利用最先进的物联网技术，实现患者与医务人员、医疗机构、医疗设备之间的互动，逐步达到信息化
中国医疗信息化建设始于上世纪80年代，至今经历了四个发展阶段，即医完管理信息化（HIS）阶段、以电子病历系统为核心的临床信息化建设阶段、区域医疗信息化建设阶段、临床诊疗数据的智慧医疗、智慧应用阶段。中国医疗信息化建设的终极目标是智慧医疗，由智慧医院、区域医疗和家庭健康构成的全方位、全覆盖且应用场景广泛的医疗系统
中国医疗信息化建设始于上世纪80年代，至今经历了四个发展阶段，即医院管理信息化、以电子病历系统为核心的临床信息化建设、区域医疗信息化建设、临床诊疗数据的智慧医疗、智慧应用阶段头豹
2018年以来，新一代信息技术激发电子病历数据应用价值的创新发展阶段。该阶段以大数据及AI技术的发展及海量临床电子病历数据的积累为前提建设智慧诊疗应用体系，包含管理决策、健康管理、智慧养老、医药研发、慢病管理、诊疗决策、科研分析等多种应用场景，逐步构建服务于医生、患者的智能健康、智慧医疗生态系统
政策引导、资本入场等外部因素推动行业发展，中国智慧医
2022-06-11
图注意力网络attention.pdf
注意力机制(AttentionMechanism)最初在机器翻译模型中被引入并使用,现在已经成 为自然语 言 处 理 (NaturalLanguageProcessing,NLP)、计 算 机 视 觉 (ComputerVision, CV)、语音识别(SpeechRecognition,SR)领域中神经网络模型的重要组成部分。近年来,有 些研究人员将注意力机制应用到图神经网络模型中,取得了很好的效果。本章聚焦于图注意力网络模型,依次介绍注意力机制的概念、图注意力网络的分类,以及四个典型的注意力模型: 图注意力 网 络 模 型(GraphAttentionNetworks,GAT)、异 质 图 注 意 力 网 络(Heterogeneous GraphAttentionNetworks,HAN)、门控注意力网络(GatedAttentionNetworks,GaAN)和层 次图注意力网络(HierarchicalGraphAttentionNetworks,HGAT)
2022-06-06
Multivariate Statistics and Machine Learning.pdf
科学用实验来验证关于世界的假设。统计学提供了量化这一过程的工具，并提供了将数据(实验)与概率模型(假设)联系起来的方法。因为世界是复杂的，我们需要复杂的模型和复杂的数据，因此需要多元统计和机器学习。具体来说，多元统计(与单变量统计相反)涉及随机向量和随机矩阵的方法和模型，而不仅仅是随机单变量(标量)变量。因此，在多元统计中，我们经常使用矩阵表示法。与多元统计(传统统计学的一个分支)密切相关的是机器学习(ML)，它传统上是计算机科学的一个分支。过去机器学习主要集中在算法上，而不是概率建模，但现在大多数机器学习方法都完全基于统计多元方法，因此这两个领域正在收敛。多变量模型提供了一种方法来学习随机变量组成部分之间的依赖关系和相互作用，这反过来使我们能够得出有关兴趣的潜在机制的结论(如生物或医学)。
两个主要任务: 无监督学习(寻找结构，聚类) 监督学习(从标记数据进行训练，然后进行预测)
挑战: 模型的复杂性需要适合问题和可用数据， 高维使估计和推断困难 计算问题。
2022-06-05
Recent Advances in Nonnegative Matrix Factorization.pdf
【IEEE ICASSP 2022教程】非负矩阵分解的最新进展，266页ppt
自Paatero & Tapper(1994)和Lee & Seung(1999)的开创性著作引入非负矩阵分解(NMF)以来，已经过去了二十多年。此后，NMF在音频源分离、高光谱解混、用户推荐、文本信息检索、生物识别、网络分析等多个领域产生了重大影响。虽然更复杂的体系结构，比如神经网络，在一些有监督的情况下可以胜过因子分解模型，但是NMF是基于一种生成和可解释的模型，在许多情况下，这仍然是一种流行的选择，特别是对于不需要或只需要很少的训练数据的任务(例如:在无监督设置)。本教程旨在回顾过去十年在NMF方面的一些最重要的进展，重点关注NMF优化方面的最新进展(包括最先进的算法，如最大化-最小化，收敛特性，大规模实现，稀疏和时间正则化)，NMF的模型选择(包括选择合适的拟合测度、秩估计)和最近的NMF扩展(包括存在异常值时的稳健NMF、可分离的NMF、正半定矩阵分解、基于NMF的排序模型)。本教程将针对没有NMF经验的初学者和在其更高级的材料中更有知识的从业者。
2022-05-28
【MIT干货课程】医疗健康领域的机器学习
本课程向学生介绍医疗健康领域的机器学习，包括临床数据的性质和机器学习在风险分层、疾病进展建模、精准医疗、诊断、亚型发现和改善临床工作流程方面的使用。
2022-05-26
Theory of Graph Neural Networks：Representation and Learning.pdf
神经网络(GNNs)是一种针对学习图表示的神经网络结构，已经成为一种流行的学习模型，用于预测节点、图和点的构型的任务，并在实践中获得了广泛的成功。本文选取了广泛应用的消息传递神经网络和高阶神经网络的逼近和学习特性的新兴理论成果，重点从表示、概括和外推三个方面进行了综述。本文总结了数学上的联系。
2022-05-21
Recent Advances in Reinforcement Learning Theory.pdf
强化学习(RL)通过与复杂环境的交互，推动机器学习从基础数据拟合到学习和规划的新时代。RL具有深度学习功能，在自动驾驶、推荐系统、无线通信、机器人、游戏等领域取得了巨大的成功。RL的成功很大程度上是基于RL算法的基础发展，直到最近才被彻底理解，特别是它们的有限时间收敛速度和样本复杂性。本教程将全面概述基础RL算法的理论理解的最新进展，利用随机近似/优化理论和利用RL问题的马尔可夫结构。本教程还将介绍一些高级的RL算法及其最近的发展。
2022-05-20
Explainable Deep Learning Methods in Medical Diagnosis：A Survey.
深度学习的显著成功引发了人们对其在医学诊断中的应用的兴趣。即使最先进的深度学习模型在对不同类型的医疗数据进行分类时达到了人类水平的准确性，但这些模型在临床工作流程中很难被采用，主要是因为它们缺乏可解释性。深度学习模型的黑盒性提出了设计策略来解释这些模型的决策过程的需要，这导致了可解释人工智能(XAI)这个话题的产生。在此背景下，我们提供了XAI应用于医疗诊断的全面综述，包括可视化、文本和基于示例的解释方法。此外，这项工作回顾了现有的医学成像数据集和现有的指标，以评估解释的质量。作为对大多数现有综述的补充，我们包含了一组基于报告生成方法之间的性能比较。最后，还讨论了XAI在医学影像应用中的主要挑战。 https://www.zhuanzhi.ai/paper/f6e90091666dbcaa5b40c1ab82e9703b
引言
人工智能(AI)领域在过去十年取得的进展，支持了大多数计算机视觉应用的准确性的显著提高。医学图像分析是在对不同类型的医学数据(如胸部X光片[80]、角膜图像[147])进行分类时取得人类水平精确度的应用之一。然而，尽管有这些进展，自动化医学成像在临床实践中很少
2022-05-15
Enhancing preclinical drug discovery with artificial intellige
人工智能(AI)正在成为药物发现的重要组成部分。它具有跨越药物发现和开发价值链的潜力，从目标识别到临床开发。这篇综述，我们提供了当前人工智能技术的概述，并通过突出人工智能对临床前药物发现产生实际影响的例子，对人工智能如何重塑临床前药物发现进行了综述。通过对人工智能在药物发现过程中所带来的基于，我们希望通过讨论人工智能在药物发现过程中所带来的机遇和挑战来提出一个现实的观点。
药物发现是一个漫长、复杂和高风险的过程。开发一种新药通常需要惊人的10-15年时间，平均成本高达28亿美元，其中有惊人比例(80-90%)的药物在临床中失败，其中第二期概念验证(PoC)试验占临床失败的比例最高。尽管在过去10年(2010-2019年)，美国食品和药物管理局(FDA)等监管机构批准的新分子实体(NMEs)数量与前10年相比有所增加，但将一种新药推向市场的成本却急剧上升。1-3导致药物创新成本增加的主要驱动因素包括:后期临床自然损耗的投资损失、日益严格的监管体系设置了较高的审批门槛，以及更高的临床试验成本，特别是关键试验。鉴于这些现实，制药和生物技术公司被鼓励创新和采用新技术，以提高生产率，降低成本，
2022-05-11
Model-Based Deep Learning：On the Intersection of Deep Learning a
决策算法在许多不同的应用中被使用。传统的设计决策算法的方法采用原则和简化的建模，在此基础上，人们可以通过易于处理的优化来确定决策。最近，深度学习方法正在变得越来越流行，这种方法使用从数据调整的高度参数架构，而不依赖于数学模型。基于模型的优化和以数据为中心的深度学习通常被认为是不同的学科。在这里，我们将它们描述为一个在特异性和参数化方面不断变化的连续光谱的边缘，并为位于这个光谱中间的方法提供一个教程式的展示，称为基于模型的深度学习。在我们的演示中，我们还附带了超分辨率和随机控制方面的运行示例，并展示了如何使用所提供的特性和每种详细方法来表示它们。将基于模型的优化和深度学习结合在一起，在生物医学成像和数字通信等各种应用中使用实验结果，证明了这种结合的好处。
2022-05-10
Statistical Machine Learning (Summer term 2022).pdf
该讲座主要面向机器学习、计算机科学或相关学位的硕士学生，但也可能吸引其他学科的学生，如数学、物理、语言学、经济学等。如果有疑问，请参加第一堂课并与我们交谈。
该报告的重点是机器学习的算法和理论两个方面。我们将介绍许多标准算法，并了解构建良好机器学习算法的一般原理和理论结果。主题范围从已经确立的结果到最近的结果。
贝叶斯决策理论，没有免费的午餐定理。
监督学习问题(回归，分类): 简单基线(最近邻，随机森林);线性方法;正则化; 支持向量机，非线性核方法及其背后的理论
无监督学习问题:PCA降维到流形方法从k-means到谱聚类和谱图理论，从MDS到t-SNE的嵌入算法
统计学习理论:一致性和泛化界限
社会背景下的机器学习:公平、可解释性等
低秩矩阵完成，压缩感知
排序
2022-05-08
Knowledge Graph Representation Learning and NLP Applications.pdf
来自阿尔托大学计算机科学系博士研究生Shaoxiong Ji的《知识图谱表示学习与NLP应用》。
2022-05-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人