Matrix Profile, 时间分析“利”器~

最新推荐文章于 2025-06-10 09:16:16 发布
最新推荐文章于 2025-06-10 09:16:16 发布
阅读量1.5k 收藏 15
点赞数 2
CC 4.0 BY-SA版权
文章标签： 算法 python 机器学习 java 人工智能
原文链接：https://mp.weixin.qq.com/s?__biz=MzU5Mjg2OTQ1MA==&mid=2247505971&idx=2&sn=020fa3d71674b881ae6aaaa2f9116be0&chksm=fe1bb916c96c3000b9886351d0dae315f8daab40f75272e93cc83fa3a6e49894dcac20dac4b8&scene=126&&sessionid=0
本文介绍了MatrixProfile在时序分析中的应用，特别是其在异常检测方面的优势。通过模拟数据，展示了MatrixProfile如何准确识别异常点，无论是在单一异常还是多重异常的情况下。此外，还探讨了使用外部时序作为匹配对象的可能性，以及在离线和在线分析中的表现。MatrixProfile以其快速、无参数和广泛应用性成为时序分析的有效工具。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

时序分析是一个很流行的话题，因为很多领域都可以存在时序数据。应用最广泛也是最经典的应该属于金融领域，常见的就是各种股票或者价格预测。

今天介绍一个在时序分析中有一定地位的经典模型：Matrix Profile。

Matrix Profile 是什么呢? 其实不是一种算法名称，更确切的讲是一种数据结构。

这里引用官方动图：

a0b77f602ffa9d9d2ffb15df4423c2d9.gif

一个滑动窗口m，不断与时序进行匹配，计算他们的（欧式）距离，并且记录距离的最小值。

换句话说，Matrix Profile可以测出每个时序窗口是不是整个时序亲生的。如果是亲生的，那么距离很小。如果不是亲生的，那么距离很远。

亲生的称为Motifs，就是重复的片段。

非亲生的称为discord或者anomaly，也就是异常。

这就是Matrix Profile 的全部，原理很简单，实施很难，只要是计算量太大（穷举）。所以大部分研究人员都花时间去研究如何快速计算MP。

“算法”特点

这里看看官方的介绍，有三个特点：

1. 快。上亿个时间序列，每个时序100年的长度，分辨率为1s，一天就计算了完了。

2. 无参数，没有什么超参数，开箱即用。

3. 无应用壁垒，只要是时序都行。

cd2338abc359309e3b6ad19393fa768b.png

看样子是个利器，我们来实测一下效果。

牛刀小试

首先我们虚拟一段数据，采用波形图外加随机噪声，异常部分我们模拟数据丢失。

89209b2b1e5c766b3abf08e434b109b6.png

我们采用官方的代码来进行分析，matrixprofile 提供了analyze，可以快速分析不同m对应的分析结果。

from matplotlib import pyplot as plt
import numpy as np
import matrixprofile as mp
profile, figures = mp.analyze(ts)

可以看到分析的结果很全面：里面包含了不同窗口的计算的结果，对应的最佳窗口长度，分析出的Motif和异常点。

4e71862b7cd23649841f37b77d89b08b.png

9bc9e5e1532cdf263ce82a8b1f4bbfc4.png

d48872c45f2c7569d26f8ef66720ab67.png

我们最关心的是异常点，可以看出Matrix profile还是很准确的点出了异常所在问题。

可以看到m值为8 和276分析的结果完全不同，m值很关键，几乎决定了模型是否可用。但是贴心的是，这个包提供的函数能分析出最佳的m值，这就是所谓的“无参数”模型。

看样子很不错。

加大难度

我们可以尝试一下MP是否可以测出多个异常点，这次模拟的异常点包括多种：有的幅值过高，有的过低，有的直接是“躺平”。

404033fbe12a0a00eb38b9b6b3896f09.png

这次代码略有不同，这里采用固定的window 长度，因为我们没必要再分析一次数据。然后，我们调用discover里面的函数去发掘异常点。

需要说明的是，这种代码和上面的代码的效果是一致的，不过是更加灵活而已。

window_size = 297
profile = mp.compute(ts,window_size )
profile = mp.discover.discords(profile, k=5)
figures = mp.visualize(profile)
profile['discords']
plt.figure(figsize=(20, 7))
plt.plot(np.arange(ts.shape[0]), ts)
plt.scatter(sorted(profile['discords']), ts[sorted(profile['discords'])],c='r', marker='*',s=100)

3c49321be228be8e4aaddf0cc94bfed4.png

同样的，我们可以在MP 曲线上看到异常点的位置都明显格格不入。也就是说，还是有可能设置阈值他们筛选出来的。

新玩法

既然MP是计算整个时序与其他片段的距离，那么我们是否可以采用“外部”时序作为匹配的对象呢？很常见的案例：我们知道这种心跳曲线是正常，凡是和他匹配距离小的，就是正常的。距离大的，就是异常。

这个思路是可行的！

profile = mp.compute(ts,query=ts2,windows = window_size,sample_pct=1)
profile = mp.discover.discords(profile, k=10)
figures = mp.visualize(profile)
profile['discords']
plt.figure(figsize=(20, 7))
plt.plot(np.arange(ts.shape[0]), ts)
plt.scatter(sorted(profile['discords']), ts[sorted(profile['discords'])],c='r', marker='*',s=100)

我们模拟新的数据，并且知道这段数据最开始部分是正常的，所以我们把这部分数据作为固定的时间片段，然后让其他数据滚动匹配。

6452d4e979a4173b6001c4f5fad8711c.png

87b4cc0c6f4de42aca1de94d2d10a8c9.png

效果还依然不错。

Bonus

看样子MP在离线数据分析上效果还可以，尤其是针对周期型数据。对于在线呢？这里我们可以实时计算MP，并且设定阈值来查看检测的结果。可以看到，MP能检测到异常的起始点，但是需要合理的阈值。

bc3dc91dde0cc1e6dd52b8a7d143c2bf.gif

总结

本文介绍了经典的matrix profile的使用，它可以用于时序的异常检测，但是会有一些局限性。最适合的场景是离线分析，而不是在线分析。对于时序分析来说，开箱即用，简单粗暴，最重要的是：快！算是一把利器。

14071db07bcb29f678045f9654ffa40d.gif

●适婚农村青年找对象有多难？
●品牌知名度分析

                

                

        

    

    
  



    



                



	

		

			

				
					
HDＲ / WCG  关键技术分析及标准化进展

				
			

			

				

					相见不如怀念
				

				

					11-02
					
					2610
					
				

			

		

		

			
				
冯  宁，宋  利，解  蓉
( 上海交通大学 图像通信与网络工程研究所，上海  200240)摘要: 为了提升对 HDＲ 技术整体认知以及其发展情况的整体把握，本文介绍了 HDＲ 相关的特点及基本知识，然后具体介 绍了 HDＲ 相关的转换函数及兼容性等关键技术，并对现有的主流 HDＲ 编解码进行了详细介绍和对比，最后总结了 HDＲ 最新的标准化进展情况。关键词: 高动态范围; 宽色域; 转换函数; HDＲ 编解码; HDＲ 兼容性

The analyses of key ...

			
		

	



                

            
              



	

		

			

				
					
[转]高负载并发网站架构分析

					
热门推荐

				
			

			

				

					bluehire的专栏
				

				

					12-23
					
					2万+
					
				

			

		

		

			
				
由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。希望能和大家交流 msn: defender_ios@hotmail.com ——————————————————————————————————————— ? 初创网站与开源软件 6 ? 谈谈大型高负载网站服务器的优化心得! 8 ? Lighttpd+Squid+Apach

			
		

	



              


  
              

                


	

		

			

				
					
matrixprofile:一个Python 3库，利用矩阵配置文件算法进行时间序列数据挖掘任务，每个人都可以使用

				
			

			

				

					05-06
				

			

		

		

			
				
MatrixProfile
 MatrixProfile是Matrix Profile Foundation为您提供的Python 3库，用于挖掘时间序列数据。 Matrix Profile是一种新颖的数据结构，具有由UC-Riverside的Keogh和Mueen研究小组和新墨西哥大学开发的相应算法（踩踏，体制，主题等）。 该库的目的是通过标准化核心概念，简化的API和合理的默认参数值，使新手和专家都可以使用这些算法。
 除了此Python库之外，Matrix Profile Foundation还提供了其他语言的实现。 这些语言具有相当一致的API，使您可以轻松地在它们之间进行切换，而无需花费大量学习时间。
 tsmp -R实现
go-matrixprofile -Golang实现
 Python支持
当前，我们支持以下版本的Python：
 3.5
 3.6
 3.7
 3.8
 3

			
		

	





	

		

			

				
					
STUMPY项目中的矩阵剖面(Matrix Profile)技术详解

					
最新发布

				
			

			

				

					gitblog_00446的博客
				

				

					06-10
					
					268
					
				

			

		

		

			
				
STUMPY项目中的矩阵剖面(Matrix Profile)技术详解
引言：时间序列分析的挑战
在时间序列分析领域，我们经常面临一个核心问题：如何高效地发现序列中的重复模式并识别异常点？传统方法如ARIMA模型或简单的统计指标往往复杂度高且效果有限。STUMPY项目提供的矩阵剖面(Matrix Profile)技术为解决这一问题提供了创新思路。
矩阵剖面的核心概念
矩阵剖面本质上是一个向量，它存储...

			
		

	



		

			
		



	

		

			

				
					
一、介绍matrix-profile

				
			

			

				

					m0_46946913的博客
				

				

					09-22
					
					992
					
				

			

		

		

			
				
介绍了用于时间序列的matrix-profile原理、代码等

			
		

	





	

		

			

				
					
Matrix Profile，时间序列分析的强有力工具

				
			

			

				

					记录学习的过程
				

				

					05-30
					
					1083
					
				

			

		

		

			
				
介绍了一种分析时间序列的方法 Matrix Profile，具有简单性、易用性、普适性等优点，另外介绍了MP的具体应用，展示了如何利用MP去分析时间序列。

			
		

	





	

		

			

				
					
Matrix Profile

				
			

			

				

					小蚂蚁与大象
				

				

					11-12
					
					151
					
				

			

		

		

			
				
对于异常大的数据集，该算法可以简单地转换为任意时间算法，并在合理的时间内产生高质量的近似解。精确相似性连接算法计算了时间序列motif和时间序列不一致问题的答案，该算法顺便提供了这两个广泛研究的问题的最快的已知算法。虽然发现Time series discords 的蛮力算法在时间序列长度上是二次的，但本文展示了一个简单的算法，比蛮力快3到4个数量级，同时保证产生相同的结果。然而，在真正的探索性数据挖掘中，这个参数的糟糕选择可能导致无法在数据中发现意想不到的和可利用的规律。

			
		

	





	

		

			

				
					
Python面试基础篇 - 50道经典面试题（附答案及多种解答）_python面试题

				
			

			

				

					2401_84139728的博客
				

				

					05-06
					
					2953
					
				

			

		

		

			
				
鸭子类型是动态类型语言判断一个对象是不是某种类型时使用的方法，也叫做鸭子判定法。简单的说，鸭子类型是指判断一只鸟是不是鸭子，我们只关心它游泳像不像鸭子、叫起来像不像鸭子、走路像不像鸭子就足够了。换言之，如果对象的行为跟我们的预期是一致的（能够接受某些消息），我们就认定它是某种类型的对象。bytesbytearraymemoryviewStringIOBytesIOGzipFilesocketstrbytes），其中file-like对象都能支持read和write。

			
		

	





	

		

			

				
					
计算机系统类词汇

				
			

			

				

					
				

				

					08-02
					
					2528
					
				

			

		

		

			
				
abbreviate vt.缩写，省略 abbreviation n.缩短，省略，简称 abend 异常结束abnormal 异常abort 异常中止aboveboard ad.照直，公开的absence n.缺少，没有absolute 绝对absorption 吸收abstract 抽象acceleration 加速度accelerator n.加速装置，加速剂accent 强调accept 接

			
		

	





	

		

			

				
					
【VSCode性能王道】

				
			

			

				

					
				

			

		

		

			
				
!...# 1. VSCode的环境配置与插件选择  ## 1.1 安装与界面布局 在开始使用VSCode之前，首先要进行安装。访问官方站点下载适用于你操作系统的版本，完成安装后打开VSCode，你会...初学者应熟悉各个面板的作用，以便有效利

			
		

	





	

		

			

				
					
【Matrix Profile XV】

				
			

			

				

					qq_41307208的博客
				

				

					03-22
					
					625
					
				

			

		

		

			
				
Matrix Profile XV一、文献相关信息二 、重要定义三、论文拟解决的主要问题四、论文的主要研究内容五、论文使用的算法六、实验评估七、论文的创新点
一、文献相关信息

文献名：
《Matrix Profile XV: Exploiting Time Series Consensus
Motifs to Find Structure in Time Series Sets》
作者：
Kaveh Kamgar, Shaghayegh Gharghabi, Eamonn Keogh
发表会议
ICDM


			
		

	





	

		

			

				
					
【Matrix Profile VII】

				
			

			

				

					qq_41307208的博客
				

				

					03-03
					
					658
					
				

			

		

		

			
				
Matrix Profile VII一、文献相关信息二、论文拟解决的主要问题三、论文的主要研究内容四、论文使用的所有理论方法/算法五、STOMP和LRSTOMP六、时间序列链和motif的区别七、论文的创新点八、时间序列链和motif的区别七、论文的结论
一、文献相关信息

文献名：
《Matrix Profile VII: Time Series Chains: A New Primitive for Time Series Data Mining》
作者：
Yan Zhu,Makoto Imamura,

			
		

	





	

		

			

				
					
c\c++ matrix profile

				
			

			

				

					daad777的专栏
				

				

					01-29
					
					332
					
				

			

		

		

			
				
Elem 是 complex 也就是複數

計算 vector<32> A matrix<32,32> B

calc AH dot B dot A

import numpy as np
np.set_printoptions(suppress=True)
import time

def time_me(fn):
  def _wrapper(*args, **kwargs):
    start = time.clock()
    fn(*args, *...

			
		

	





	

		

			

				
					
基于 Matrix Profile 的时间序列分割技术改进----论文笔记

				
			

			

				

					qq_41998917的博客
				

				

					09-25
					
					376
					
				

			

		

		

			
				
基于内核的 Hilbert-Schmidt 独立性准则的检测度量以检测变化点；利用关键点压缩方法表示时间序列, 基于动态时间规整距离完成分割；此外, 基于递归神经网络和时序数据符号化也可判别活动 起止时刻；基于序列形状的特征分割, 形状是用于时间序列分段的另一个独特属性, 利用时间序列形状的模式变化点作为分段的边界；LAC-FLOSS: 改进的基于矩阵轮廓的时间序列分割算法,CAC 序列提取分割点算法的改进研究。相对皮尔逊散度估计的变化点检测算法；

			
		

	





	

		

			

				
					
探索时间序列数据的新维度：MatrixProfile-TS

				
			

			

				

					gitblog_00091的博客
				

				

					04-13
					
					427
					
				

			

		

		

			
				
探索时间序列数据的新维度：MatrixProfile-TS
是一个开源的Python库，专注于高效地计算和可视化时间序列数据的矩阵剖面（Matrix Profile）。这个项目源自于Matrix Profile Foundation的工作，并且在社区中得到了广泛的推广和支持。它提供了一整套工具，帮助用户发现、理解和解释时间序列模式，从而在众多领域，如金融、生物医学、工业物联网和社交媒体等，发挥重要...

			
		

	





	

		

			

				
					
Tubi 时间序列 KPI 的异常值检测

				
			

			

				

					weixin_49193714的博客
				

				

					07-07
					
					440
					
				

			

		

		

			
				
作为全球最大的流媒体服务之一，Tubi 保持稳定增长，并始终关注对业务发展至关重要的前沿趋势。基于此，Tubi 数据科学团队创建了一套全新警报系统，对 Key Performance Indicators（KPIs) 的异常值和趋势进行检测。

			
		

	





	

		

			

				
					
一文教你如何轻松实战Python时间序列数据挖掘

				
			

			

				

					AI课工场
				

				

					05-22
					
					1823
					
				

			

		

		

			
				
前言

随着云计算和物联网（IoT）的急速发展，我们无时无刻都被时间序列数据包围着。从经济管理再到工程领域，时间序列数据挖掘有着广泛应用。例如证券市场中股票的交易价格与交易量、外汇市场上的汇率、期货和黄金的交易价格以及各种类型的指数等，这些数据都形成一个持续不断的时间序列。利用时间序列数据挖掘，可以获得数据中蕴含的与时间相关的有用信息，实现知识的提取。时间序列数据挖掘是大数据挖掘研究领域里的一个重要方向之一。

众所周知，时间序列数据本身所具备的高维性、复杂性、动态性、高噪声特性以及容易达到大规模的特性。因

			
		

	





	

		

			

				
					
使用Matrix Profile

				
			

			

				

					04-01
				

			

		

		

			
				
<think>好的，我现在需要帮助用户了解如何使用Matrix Profile算法进行时间序列分析。首先，我应该先回顾一下用户提供的引用内容，确保回答准确并正确引用来源。用户提到了四个引用，其中引用[1]和[4]提到了Matrix Profile的简介、应用场景和优缺点，引用[2]给出了使用STUMPY库的示例，引用[3]详细说明了其原理和计算步骤。

首先，我需要确定回答的结构。按照用户的要求，回答需要结构清晰，分步骤解决问题。所以可能需要分成几个部分：算法简介、应用步骤、优缺点、示例代码和相关问题。

第一步，算法简介。根据引用[1]和[3]，Matrix Profile是2016年提出的，用于时间序列分析，具有速度快、精确、参数少的优点。可以用于异常检测、模式发现等。这部分需要简要说明，并引用对应的来源。

第二步，应用步骤。根据引用[3]，计算Matrix Profile的步骤包括定义子序列长度、计算距离矩阵、生成Matrix Profile。需要详细说明每个步骤，并可能结合引用中的内容，比如计算每个子序列与其他子序列的最小距离，形成Profile。这部分要分点列出，保持清晰。

第三步，具体应用场景。引用[3]和[4]提到异常检测、模式发现、趋势分析等。需要举例说明，比如心电图分析、商品销量异常检测，并指出适合离线分析，如引用[4]所述。

第四步，代码示例。引用[2]中使用了STUMPY库的stump函数，生成随机时间序列并绘图。需要展示代码，并解释关键步骤，比如生成数据、计算Matrix Profile、可视化结果。同时要提到优缺点，如引用[2]和[4]中的内容，比如速度快但可能对噪声敏感。

第五步，优缺点总结。引用[1]和[4]指出优点是快速、简单、普适性强，缺点可能是在线分析不适用，对参数敏感。需要分点列出，让用户一目了然。

最后，生成相关问题。根据用户提供的示例，可能需要提出关于参数选择、与其他算法对比、实时处理、多维扩展以及实际案例的问题，这样可以帮助用户进一步探索。

需要确保所有数学公式使用正确的LaTeX格式，比如子序列长度$n$，公式用$$...$$包裹。同时检查引用标记是否正确添加在对应的位置，例如计算步骤部分引用[3]，代码部分引用[2]，优缺点引用[2]和[4]等。

可能需要注意的地方：确保每个引用只在相关的地方被提及，避免重复引用或不正确的关联。例如，在计算步骤中提到原理时引用[3]，在代码部分引用[2]，优缺点部分结合引用[2]和[4]。

另外，要使用中文回答，保持语言流畅，避免专业术语过于晦涩，必要时进行解释。例如，解释“Matrix Profile”时，可以说明它是一种数据结构，用于存储时间序列中子序列的最小距离，帮助发现异常或重复模式。

最后，检查LaTeX语法是否正确，所有行内公式用$...$，独立公式用$$...$$并单独成段。例如，子序列长度$n$，距离公式是否正确使用LaTeX的矩阵和函数表示。

总结整个思考过程，确保回答覆盖所有用户需求点，结构清晰，引用正确，并生成相关的后续问题，帮助用户深入理解Matrix Profile的应用。</think>### 如何使用 Matrix Profile 进行时间序列分析？

Matrix Profile 是一种用于时间序列分析的高效数据结构，能够快速识别序列中的异常、重复模式及趋势变化。其核心思想是通过计算子序列之间的最小欧氏距离，构建一个简洁的“特征指纹”用于分析[^3]。以下是具体步骤和应用方法：

---

#### **1. 算法核心步骤**
1. **定义子序列长度**  
   选择一个窗口长度$n$（如$n=30$），将时间序列分割为多个长度为$n$的连续子序列。例如，序列$T = [t_1, t_2, ..., t_m]$会被分割为$m-n+1$个子序列[^3]。

2. **计算距离矩阵**  
   对每个子序列$T_i$，计算其与序列中所有其他子序列$T_j$的欧氏距离，生成距离矩阵$D$。公式为：
   $$D_{i,j} = \sqrt{\sum_{k=0}^{n-1} (T_{i+k} - T_{j+k})^2}$$

3. **生成 Matrix Profile**  
   对每个子序列$T_i$，取距离矩阵中对应行的最小值，构成 Matrix Profile（记为$MP$）。同时记录最小值对应的索引位置（记为$Index$），用于定位相似子序列。

---

#### **2. 具体应用场景**
- **异常检测**：$MP$值显著高于周围的位置对应异常片段（如心电图中的异常心跳）[^4]。
- **模式发现**：通过$Index$找到重复出现的相似子序列（如周期性销售高峰）。
- **趋势分析**：观察$MP$的整体分布，判断序列是否稳定或有突变。

---

#### **3. 代码实现示例**
使用 Python 的 `stumpy` 库实现经典 Matrix Profile 计算[^2]：
```python
import stumpy
import numpy as np
import matplotlib.pyplot as plt

# 生成随机时间序列
ts = np.random.rand(1000)

# 计算 Matrix Profile（窗口长度n=50）
n = 50
mp = stumpy.stump(ts, n)

# 可视化结果
plt.figure(figsize=(12, 6))
plt.subplot(2, 1, 1)
plt.plot(ts)
plt.title("原始时间序列")

plt.subplot(2, 1, 2)
plt.plot(mp[:, 0])
plt.title("Matrix Profile")
plt.tight_layout()
plt.show()
```

---

#### **4. 优缺点总结**
- **优点**  
  - **速度快**：复杂度为$O(m^2 \log m)$，适合大规模数据[^1]。
  - **无需复杂参数**：仅需窗口长度$n$。
  - **直观**：通过$MP$直接定位异常或模式[^4]。

- **缺点**  
  - **对噪声敏感**：需预处理平滑数据。
  - **离线分析为主**：在线实时计算效率较低。

---

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值