建网站书籍,海口旅游类网站建设,南京网站开发南京乐识好,外贸公司年终总结文章目录 day12时序分解STL#xff08;季节性趋势分解法#xff09;奇异谱分析#xff08;SSA#xff09;经验模态分解#xff08;EMD#xff09; 时序分割ChangpointTreeSplitAutoplait有价值的辅助 时序再表征 day12
今天是第12天#xff0c;昨天主要是针对信号处理算… 文章目录 day12时序分解STL季节性趋势分解法奇异谱分析SSA经验模态分解EMD 时序分割ChangpointTreeSplitAutoplait有价值的辅助 时序再表征 day12
今天是第12天昨天主要是针对信号处理算法可以提取出设备时序数据的时频特征为主今日主要针对之前提到的8种算法中的时序分解、时序分割、时序再表征进行阐述
时序分解
工业上大多数设备通常都是呈现多尺度的效应不同时间颗粒度上的规律和驱动因素各不相同有些变化只在部分尺度上有所体现比如常见的电力负荷预测多半会将其分解为趋势项宏观经济和市场相关、周期项日历周期相关、残余项可以用天气、自回归项去拟合。常见的时序分解的算法又STL、奇异谱分析SSA、经验模态分解EMD、小波分析分解、SuperSmooth、传统的线性滤波等
STL季节性趋势分解法
核心功能STL方法通过分解时间序列为 趋势Trend、季节性Seasonal 和 残差Remainder帮助我们理解数据的长期变化趋势、周期性波动以及随机噪声部分。这个方法特别适合季节性变化明显的时间序列。
算法流程
平滑趋势成分使用局部加权回归Loess方法平滑时间序列得到数据的 长期趋势。提取季节性将趋势成分从原始数据中去除然后通过计算季节性成分的平均值来提取 周期性的季节性波动。计算残差将趋势和季节性成分从原始数据中减去剩下的部分是 残差通常是一些随机噪声或其他未捕捉到的模式。
举例假设你在分析一年中每日的温度数据。STL可以帮助你分解出
一年内温度的 长期上升或下降趋势如全球变暖趋势每年季节性波动的 周期性波动例如夏季高温、冬季低温余下的 异常波动和噪声如某些天气突变。
奇异谱分析SSA
核心功能奇异谱分析SSA通过将时间序列转换为矩阵利用矩阵的 奇异值分解SVD 技术提取出时间序列中的趋势和周期成分。SSA适合从复杂的信号中提取出周期性成分广泛应用于信号处理、降噪等领域。
算法流程
构造轨迹矩阵将时间序列切分为多个重叠的小窗口每个窗口包含一段时间的数据。将这些窗口按列组成一个矩阵。 比如你有一个长度为10的时间序列你选择一个长度为5的窗口构造一个包含5列的矩阵。 奇异值分解SVD对矩阵进行奇异值分解SVD得到奇异值和奇异向量。 奇异值代表了不同时间成分的重要性奇异向量代表了这些成分的模式。 重构信号选择主要的奇异值和对应的奇异向量重构出信号的 趋势 和 周期性成分 例如提取出信号的 低频成分长期趋势和 高频成分周期波动。 选择有用成分根据需要选择最能反映数据特征的成分去除无关噪声。
举例假设你在分析股票价格的波动。SSA可以帮助你从复杂的股市波动中提取出
长期趋势例如股市上涨或下跌的趋势周期性波动例如股市在某个周期内的涨跌波动以及 随机噪声例如股市的突发性变化。
经验模态分解EMD
核心功能EMD是一种 自适应 的时序分解方法通过不断提取时间序列中的 本征模态函数IMF 和 趋势项分解出多尺度的信号成分。EMD特别适用于非线性和非平稳的数据能够动态适应数据的频率变化。
算法流程
局部极值提取首先从时间序列中提取局部的极大值和极小值然后通过这两个极值拟合出上下包络线。计算局部均值上下包络线的平均值即为当前信号的局部均值。去除均值将当前信号减去局部均值得到 本征模态函数IMF这部分信号是频率较高的成分。迭代过程从原始数据中去除该IMF后剩下的部分继续进行同样的过程直到剩余部分为一个趋势项即频率较低的成分。分解完成最终会得到若干个本征模态函数IMF和一个趋势项。
举例假设你正在分析海洋波浪的数据。EMD能够帮助你将波浪信号分解成多个 频率不同的成分其中
高频部分可能代表了快速波动例如海面的小波动低频部分代表了较大的趋势变化如潮汐的变化。
方法核心功能适用场景优点缺点STL基于Loess回归分解为趋势、季节性、残差。季节性明显的时间序列如气温、销售数据。对非线性趋势和季节性变化自适应灵活。对噪声敏感可能导致过拟合。SSA通过奇异值分解提取周期性和趋势成分。存在周期性波动的时间序列。对周期性信号提取强大有较好去噪效果。对窗口选择敏感计算复杂度高。EMD自适应分解为多个本征模态函数IMF和趋势项。非线性、非平稳信号如复杂的自然现象。可以处理复杂的非线性信号灵活。计算复杂可能存在伪模态和端点效应。
时序分割
一般就常识而言每个设备都有好几种运行的工况在不同工况下其数据特点可能是明显不同的有的时候是存在明确的划分规则的但是有的却没有细分或者就是自然运行产生的为此希望通过数据中找到一定的规律自动挖掘其阶段变化的分割点这里会阐述3种经典的分割方式Changpoint、TreeSplit、Autoplait
Changpoint
核心功能Changpoint 方法主要用于时间序列数据的变化点检测。它的目标是找出时间序列中存在的结构变化点例如数据分布、趋势或周期的变化这些变化点通常表示系统运行状态的改变。在许多工程和物理系统中不同的运行工况可能导致数据的统计特性发生变化Changpoint 就是帮助识别这些变化点。
实现流程
数据预处理首先对原始时间序列进行预处理包括去噪、平滑等操作。变化点检测通过统计方法检测序列中潜在的变化点。常见的方法包括 AMOC (Adaptive Monitoring of Change): AMOC 基于滑动窗口和统计检验来检测数据中的突变点适用于实时监控。SegNeigh基于邻域分割的策略通过对时间序列数据进行分段找出变化点的位置。 优化与验证通常通过最小化误差或通过交叉验证来优化模型确保所找到的变化点能够有效分割不同工况阶段。
举例假设有一个生产设备的振动数据随着工况的变化振动频率会发生明显的改变。使用 Changpoint 方法系统可以自动识别出不同的运行工况变化点。例如在设备启动时振动数据波动较大而当设备稳定运行时波动幅度明显减小系统会通过 AMOC 方法发现这些变化并自动划分为不同的阶段。
TreeSplit
核心功能TreeSplit 方法通过对数据进行符号化处理将连续的时间序列数据转化为离散的符号序列然后利用特征提取和聚类算法识别不同的阶段。其主要优势是能够在数据具有复杂变化模式的情况下自动从中提取出潜在的阶段性结构。
实现流程
数据符号化首先通过 HOGHistogram of Oriented Gradients方向梯度直方图方法将时间序列的每个时间点转换为一个符号或类别。这一过程将连续的信号转换为离散的特征符号简化数据的表示。窗口特征提取然后将时间序列按窗口划分提取每个窗口中的特征。例如可以提取每个窗口内的统计量如均值、方差等。聚类基于窗口特征使用聚类算法如GMM对窗口进行聚类从而确定时间序列中的不同阶段。聚类结果将帮助标定不同的运行阶段或工况。
举例假设有一个电机的电流信号电流信号在不同工况下会呈现不同的变化模式。通过 TreeSplit 方法首先将电流信号的每个数据点用 HOG 方法转化为一个符号然后按时间窗口提取出每个窗口内的特征如均值、最大值等再通过聚类算法发现电流信号的不同模式。最终系统将自动将整个电流信号分割为多个阶段例如启动阶段、稳态阶段和关停阶段。
Autoplait
核心功能Autoplait 方法通过隐马尔可夫模型HMM 和 最小描述长度MDL 准则自动分割时间序列数据。它的核心思想是使用隐马尔可夫模型建模时间序列的不同阶段并通过最小描述长度原则选择最优的分割点使得模型在描述数据时的复杂度最小。
实现流程
HMM 建模首先使用隐马尔可夫模型HMM对时间序列进行建模。HMM 可以用来描述不同阶段之间的转移关系每个隐状态代表时间序列的一个阶段。最小描述长度MDL在模型训练过程中Autoplait 通过最小描述长度原则来选择合适的模型参数。MDL 旨在寻找能够有效描述数据的模型同时避免过拟合。通过对比不同分割方案的描述长度选择最能描述数据结构的分割点。自动分割根据 HMM 模型和 MDL 原则系统自动识别并分割时间序列中的不同阶段。
举例假设我们有一个设备的温度监测数据目标是根据这些数据自动分割出设备的不同工作阶段例如启动、运行、关停等。数据如下
时间温度025130250360458540630
在这个例子中设备温度在时间 t2 时发生了变化假设在 t0-2 是启动阶段t3-5 是运行阶段t6 是关停阶段。
步骤 1HMM 建模
Autoplait 会基于温度数据假设有三个隐状态S1启动S2运行S3关停。对于每个状态HMM 会估计对应的温度分布例如高斯分布并且会估计隐状态之间的转移概率。
步骤 2MDL 评估分割点
Autoplait 会尝试不同的分割点假设试验以下两种分割 方案 1将数据分为两个阶段分别是S1启动阶段和 S2运行阶段。从 S2 到 S3 的转移发生在 t5。方案 2将数据分为三个阶段分别是S1启动阶段S2运行阶段S3关停阶段。从 S1 到 S2 的转移发生在 t2从 S2 到 S3 的转移发生在 t5。 Autoplait 会为每种分割方案计算其 模型复杂度和 数据拟合误差 方案 1模型较简单只有两个阶段转移较少但拟合误差可能较大。方案 2模型较复杂有三个阶段拟合误差可能较小但模型复杂度较高。
步骤 3选择最佳分割点
计算每种分割方案的 描述长度包含模型复杂度和拟合误差。描述长度较小的方案会被选为最终的分割方案。
最终Autoplait 会选择 描述长度最小的分割点假设是方案 2即在 t2 和 t5 进行分割那么它就会将时间序列分为 启动、运行、关停 三个阶段。
有价值的辅助
时序分割实则属于无监督学习聚类结果依赖于样本分布和距离函数定义若产生有意义的结果一般会有以下5种方法
提供手工标记针对一个典型数据集合人工打标模式典型模式样本库算法根据其匹配相似度进行发掘改变样本分布多提供感兴趣的区域样本业务知识粗分区在每个分区进行细分聚类信号分解算法将原始的时序数据进行分解对主要成分进行模式聚类
时序再表征
对于高维数据中间混杂着噪声和无关紧要的数据为数据挖掘算法带来了一定的干扰因此需要将原始数据进行再表征并降低维度。下图是一些时序再表征的方法最上面第一个曲线是原始曲线第二个曲线是时序再表征后的曲线而下面陈列的是不同特征组成的曲线。 再表征算法的介绍和示例
算法核心功能示例PAA (Piecewise Aggregate Approximation)PAA通过将时间序列划分为若干等长段每段取该段的平均值来简化序列达到数据降维的效果。这种方法可以有效减少数据点的数量从而降低计算复杂度适用于大规模数据分析和快速处理。将温度传感器数据每5分钟取一次温度按每小时的数据段取平均值表示得到简化后的时间序列。PLA (Piecewise Linear Approximation)PLA通过将时间序列分成若干段并用线性段来逼近每段数据保留数据的趋势变化。相比PAAPLA能够更好地近似数据的变化模式但计算复杂度较高。用直线段拟合股票价格的波动趋势每个线段对应价格变化的一部分捕捉价格波动的走向。PIP (Piecewise Information Preserving)PIP方法通过分段每段选择具有代表性的信息点从而最大限度地保留时间序列中的关键信息。它能更精确地保留数据的特征适用于对数据精度有较高要求的任务。对心电图(ECG)信号进行分段每段选取最具代表性的数据点以保留信号的关键信息。SMA (Simple Moving Average)SMA通过滑动窗口计算时间序列中每个数据点及其周围点的平均值起到平滑波动的作用。它主要用于去除噪声并突出长期趋势适用于稳定的数据。对每日气温数据使用3天滑动平均进行平滑去除短期波动显示长期趋势。Auto EncoderAuto Encoder是基于神经网络的模型通过编码器将输入数据压缩到低维空间再通过解码器重建原始数据。它能够学习数据中的潜在特征广泛用于复杂数据的降维和异常检测。对手写数字图像数据进行降维通过自编码器提取低维特征并重建图像进行数字识别。
