制造过程中如何检测未知异常

制造过程中无监督异常检测的新方法

检测异常是非常困难的;

当你不知道什么是“异常”时，这就更难了。

什么是异常检测？

异常检测是一种识别数据点的过程，这些数据点位于“标准”之外，并且很少发生。在制造业中，异常通常是，或强烈地表明，生产中的缺陷将导致制造商的损失。

传统异常检测技术(如聚类技术、隔离决策树和其他统计方法)严重依赖于两个假设:

• 所有数据点都是独立的。
• 什么构成异常是未知的，因此可以标记异常。

但如果这不再是真的呢?

当数据点不是独立的时会发生什么?

时不变性意味着无论我们现在还是T秒后对系统施加一个输入，输出都是相同的，除了T秒的延时。——维基百科

当数据点不是独立的时候，一个数据点既可以是“正常”也可以是“异常”，而之前的数据起到了区分的作用。这种依赖性使得对异常量级进行分类的任务更加困难。当数据点不是独立的时候，从线性代数中推导出来的算法将不再适用(没有提到收敛是远远不能保证的)，排除了使用最常见的方法。

在机器学习中，这个问题甚至一个更大的问题。没有固有的数据的时间依赖性时间序列(即，随着时间的推移，从单个过程中产生的一系列值)引入了通常与数据漂移相关的问题，这是生产级模型的一个重要问题。ML-Ops——一个快速发展的新行业——负责检测和警告用户数据漂移，标准响应是停止模型，并替换它。具有讽刺意味的是，在处理依赖时间的异常检测时，这种行为是规范而不是异常。

当'异常'课程没有明确定义时会发生什么？

在监督学习环境中，我们可以很容易地将数据分成“正常”和“异常”类别。事实上，数据集将非常不平衡(在一些极端情况下，>97%将是“正常”)。然而，与随机选择相比，传统技术仍然能够提供显著的提升(或“提升”)。

然而，如果我们不能清楚地定义或识别训练阶段的异常，我们就会发现自己处于一个无监督的学习环境中。无监督学习适用于聚类技术(如KNN或DBScan)。从本质上说，聚类技术估计一个或多个质量中心，许多数据点围绕这个质量中心分组，方法是找到距离的总体总和达到最小值的点。虽然许多不同的距离度量可以证明是有用的，但它们的工作原理是相似的。任何数据点，其距离所有质心高于某个阈值被认为是异常(或离群)。

无监督学习对性能的影响引入了一个性能权衡。用户可以选择阈值以满足假正或假阴性 - 但是从来没有两者。

结合两种效果

当数据同时是时变且没有标记时，我们可以将问题分类为“依赖时间的无监督异常检测。”简单地说，这是一个无监督分类问题，其结果依赖于以前的状态。就技术挑战而言，这两个问题所带来的困难因另一个问题而加剧，否定了传统方法在无监督分类方面的效力，并限制了时间序列方法的能力。

在排除了无监督分类技术和时间序列技术之后，解空间的交集留下了一个空白集，或者为“半满”的读者留下了很多创新空间。

一个新颖的方法

这里提出的方法是一种迭代-强化学习类型-体系结构，利用时间依赖性来不断提高整体性能。

步骤# 1- 时间t的网络在时间t分类数据快照

编码（这里的顺序编码器 - 解码器良好概述）

编码器是在输入数据中的网络，并将其转换为在不同的特征空间（潜在空间）中表示的新数据集 - 通常小于原始特征空间，尚未封装初始输入的所有信息。

在这种方法中，我们操纵编码器，使得编码器空间中表示的数据在“普通”和“异常”类之间提供更好的分离。编码网络的智能构造基于编码空间的距离的度量来执行此操作。

步骤# 2-后验成本函数估计时间T的性能

在定义性能成本函数的监督学习环境中，估计将直截了当，因为计算错误的误差（误报和假阴性）。在无监督的学习中，错误是未知的，需要考虑各种技术进行性能评估。

一种可能的技术是测量聚类(或类)之间的分离程度，理由是如果聚类分离得很好，那么分类精度将是可接受的。对于这种方法，有几点需要注意:

• 良好的集群分离并不一定能确保集群是“正常”和“异常”的。
• 距离度量——两个星团(或它们的质心)之间的欧几里得距离是“标尺距离”，并假定变量独立(在数学术语中，轴之间有一个直角)。然而，如果变量是相关的，一个更合适的度量是马氏距离。对于不相关的变量，欧氏距离等于MD。

这 Mahalanobis距离 是在1936年由P.C.Mahalanobis引入的点P和分布D之间的距离。 ［1］ 这是一个多维度的概括，衡量有多少个标准差的概念-维基百科

另一种方法是使用制造商(或用户)作为注释服务(或决策后)。假设延迟是可以容忍的，分类结果将继续通过制造商的生产线，错误最终浮出水面。这种方法只在最终用户能够容忍收敛时间和成本的情况下有效。

另一种方法是使用自动编码器网络的解码器的一半。解码器对编码器执行互补作用，并将转换还原为潜在空间表示。解码器可以将分类后的点转换为原始特征空间;那些返回的点与原来的位置“太不一样”的点被认为是异常的。比较译码器标记的异常和分类器标记的异常可以提供有用的性能估计。

第三步- 优化策略优化编码器构建参数

在强化学习(RL -为一个好的概述，单击在这里)，代理会不断更新针对环境的行动或策略，通过更高的奖励来提高表现。

类似地，使用步骤＃3中定义的成本函数，优化代理可以探索各种编码策略以降低整体成本。在所提出的方法中，编码器根据优化代理推荐的“策略”来改变编码器架构。

这种方法的奖金正在引入一个事实上的性能跟踪器;对编码器的自动更新策略类似于PLL（锁相环）。数据的变化降低性能;这是由优化器感测的，他们更新编码器以将整体精度恢复到最佳水平。

第四步—时间T+1的网络对时间T+1的数据快照进行分类

清洗和重复。

结果

我们考虑以下方案来评估性能：

• 制造商每1秒提供一条生产线的真实数据观察
• 数据中的错误率（=异常率）平均为1％〜1％
• 制造商没有提供异常的标签
• 制造商提供了基于未公开的方法读取错误率

该算法将总体错误率基线从1%降低到~0.3%，收敛时间为~2分钟。

在大约3分钟的时候，操作员停止了算法，错误率回到了1%。

在大约7分钟的标记，算法被重新引入，并让运行直到收敛在~0.3%的错误率-比之前的3倍。

总结

在今天的数据科学中，检测异常是一项更具挑战性的任务，而当异常的构成因素未知时，则更具有挑战性。

以下目前是沿基准结果的Vanti专有方法的高级概要，在苛刻的条件下在异常检测中实现3倍。

要了解vanti如何提供级别的异常检测，请随时与我们联系。