异常值是指样本中的个别值，其数值明显偏离它所属样本集的其余观测值。
异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，对结果会产生不良影响；重视异常值的出现，分析其产生的原因，常常成为发现问题进而改进决策的契机。异常值也称为离群点，异常值的分析也称为离群点分析。
就是简单的画图看数据，计算方差、标准差查看数据的波动程度，另外查看均值大小、众数、最大值最小值、分位数值，结合这些来看就可以了。比如 如果方差标准差很大，然后最小值很小，那可能是有异常值问题了。
这个原则有个条件：数据需要服从正态分布。 使用K-S检验一个数列是否服从正态分布、两个数列是否服从相同的分布。值得一提的是，如果有些特征不符合高斯分布，可以通过一些函数变换（Z-score、Box-Cox），使其符合正态分布，再使用基于统计的方法。
在3∂原则下，异常值如超过3倍标准差，那么可以将其视为异常值。正负3∂的概率是99.7%，那么距离平均值3∂之外的值出现的概率为P(|x-u| 3∂) = 0.003，属于极个别的小概率事件。一组测定值中与平均值的偏差超过两倍标准差的测定值 。与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。在处理数据时，应剔除高度异常的异常值。如果数据不服从正态分布，也可以用远离平均值的多少倍标准差来描述。
3σ原则：
其中，μ为平均值，σ为标准差。一般可以认为，数据Y的取值几乎全部集中在（μ-3σ,μ+3σ)区间内，超出这个范围的可能性仅占不到0.3%，这些超出该范围的数据可以认为是异常值。 步骤如下：
箱型图提供了识别异常值的一个标准：异常值通常被定义为小于QL－1.5IQR或大于QU＋1.5IQR的值。
箱型图依据实际数据绘制，没有对数据作任何限制性要求（如服从某种特定的分布形式），它只是真实直观地表现数据分布的本来面貌；另一方面，箱型图判断异常值的标准以四分位数和四分位距为基础，四分位数具有一定的鲁棒性：多达25%的数据可以变得任意远而不会很大地扰动四分位数，所以异常值不能对这个标准施加影响。由此可见，箱型图识别异常值的结果比较客观，在识别异常值方面有一定的优越性。
箱线图绘制：【具体百度】
绘制单个箱线图：
绘制多个箱线图：
DBScan 是一种用于把数据聚成组的聚类算法。它同样也被用于单维或多维数据的基于密度的异常检测。其它聚类算法比如 k 均值和层次聚类也可用于检测离群点。
基于DBSCAN聚类方法，DBSCAN是一维或多维特征空间中的非参数，基于密度的离群值检测方法。在DBSCAN聚类技术中，所有数据点都被定义为核心点（Core Points）、边界点（Border Points）或噪声点（Noise Points）。核心点是在距离内至少具有最小包含点数（minPTs）的数据点；边界点是核心点的距离内邻近点，但包含的点数小于最小包含点数（minPTs）；所有的其他数据点都是噪声点，也被标识为异常值；从而，异常检测取决于所要求的最小包含点数、距离和所选择的距离度量，比如欧几里得或曼哈顿距离。
以每个点为中心，设定邻域及邻域内需要有多少个点，如果样本点大于指定要求，则认为该点与邻域内的点属于同一类，如果小于指定值，若该点位于其它点的邻域内，则属于边界点。设定两个参数，eps表示聚类点为中心划定邻域，min_samples表示每个邻域内需要多少个样本点。
该方法是一维或多维特征空间中 大数据集 的非参数方法，其中的一个重要概念是孤立数。孤立数是孤立数据点所需的拆分数。
通过以下步骤确定此分割数：随机选择要分离的点“a”；选择在最小值和最大值之间的随机数据点“b”，并且与“a”不同；如果“b”的值低于“a”的值，则“b”的值变为新的下限；如果“b”的值大于“a”的值，则“b”的值变为新的上限；只要在上限和下限之间存在除“a”之外的数据点，就重复该过程；与孤立非异常值相比，它需要更少的分裂来孤立异常值，即异常值与非异常点相比具有更低的孤立数。因此，如果数据点的孤立数低于阈值，则将数据点定义为异常值。阈值是基于数据中异常值的估计百分比来定义的，这是异常值检测算法的起点。
孤立森林是一个基于Ensemble的快速离群点检测方法，适用于连续数据的异常检测，通过对样本点的孤立来检测异常值。具体来说，该算法利用孤立树（iTree）的二叉搜索树结构来孤立样本。由于异常值的数量较少且与大部分样本的疏离性，因此，异常值会被更早的孤立出来，也即异常值会距离iTree的根节点更近，而正常值则会距离根节点有更远的距离。此外，相较于LOF，K-means等传统算法，孤立森林算法对高纬数据有较好的鲁棒性。
举例说明工作步骤：
读取数据：
定义了模型之后，就可以在数据上拟合模型并返回x的标签。这个任务是使用函数fit_predict完成的：
以使用函数decision_function找到异常分数，同时我们可以存储在预测中获得的标签。当标签等于-1时，它表示我们有异常。如果标签是1，就是正常的。
为了突出异常分数与通过预测得到的标签之间的这种关系，可以显示直方图。在创建直方图之前，我添加了一个表示异常状态的列:
sklearn中提供了one-class SVM和EllipticEnvelope两种方法用于异常检测，前者基于libsvm实现的非监督式异常检测方法，可用于做高维度分布的评估；后者只能做基于高斯分布数据集的异常检测。
一个样本点周围的样本点所处位置的平均密度比上该样本点所在位置的密度。比值越大于1，则该点所在位置的密度越小于其周围样本所在位置的密度。
整个算法，最主要的是下面四个概念：
K-邻近距离（k-distance）：在距离数据点 p 最近的几个点中，第 k 个最近的点跟点 p 之间的距离称为点 p 的 K-邻近距离，记为 k-distance § 。
可达距离（rechability distance）：可达距离的定义跟K-邻近距离是相关的，给定参数k时， 数据点 p 到 数据点 o 的可达距离 reach-dist（p, o）为数据点 o 的K-邻近距离 和 数据点p与点o之间的直接距离的最大值。即：
局部异常因子（local outlier factor）：根据局部可达密度的定义，如果一个数据点跟其他点比较疏远的话，那么显然它的局部可达密度就小。但LOF算法衡量一个数据点的异常程度，并不是看它的绝对局部密度，而是看它跟周围邻近的数据点的相对密度。这样做的好处是可以允许数据分布不均匀、密度不同的情况。局部异常因子即是用局部相对密度来定义的。数据点 p 的局部相对密度（局部异常因子）为点p的邻居们的平均局部可达密度跟数据点p的局部可达密度的比值，即：
根据局部异常因子的定义，如果数据点 p 的 LOF 得分在1附近，表明数据点p的局部密度跟它的邻居们差不多；如果数据点 p 的 LOF 得分小于1，表明数据点p处在一个相对密集的区域，不像是一个异常点；如果数据点 p 的 LOF 得分远大于1，表明数据点p跟其他点比较疏远，很有可能是一个异常点。来自 Wikipedia 的 LOF 词条，展示了一个二维的例子。上面的数字标明了相应点的LOF得分，可以让人对LOF有一个直观的印象：
了解了 LOF 的定义，整个算法也就显而易见了：
异常点也是数据分布的一部分，也许它在客观现实中就是那样的，所以为了让模型学到这种知识，有时候不应该去改变它或者删除它。
如果数据的样本量很小的话，也可用前后两个观测值的平均值来修正该异常值。这其实是一种比较折中的方法，大部分的参数方法是针对均值来建模的，用平均值来修正，优点是能克服了丢失样本的缺陷，缺点是丢失了样本“特色”。
将连续变量等级化之后，不同的分位数的数据就会变成不同的等级数据，连续变量离散化了，消除了极值的影响。
分箱法通过考察数据的“近邻”来光滑有序数据的值。有序值分布到一些桶或箱中。包括等深分箱：每个分箱中的样本量一致；等宽分箱：每个分箱中的取值范围一致。‘
’发现两个相关的变量之间的变化模式，通过使数据适合一个函数来平滑数据。若是变量之间存在依赖关系，也就是y=f(x)，那么就可以设法求出依赖关系f，再根据x来预测y，这也是回归问题的实质。实际问题中更常为见的假设是p(y)=N(f(x))，N为正态分布。假设y是观测值并且存在噪声数据，根据我们求出的x和y之间的依赖关系，再根据x来更新y的值，这样就能去除其中的随机噪声，这就是回归去噪的原理 。
多重插补的处理有两个要点：先删除Y变量的缺失值然后插补。
盖帽法将某连续变量 均值上下三倍标准差 范围外的记录替换为 均值上下三倍标准差值，即盖帽处理。当然，这里的分位数可以依据数据业务含义自己定义，比如，可以将小于3%分位数的值 和 大于97%分位数的值 被 3%分位数 和 97%分位数 分别替代。
如果一个置信区间左右两边各有3个标准差，即区间置信度为99%时，一般建议三倍标准差以外删除； 而如果一个置信区间左右两边各有2个标准差，即区间置信度为95%时，此时到底取两个还是三个标准差则取决于模型对于异常的敏感程度。
摘要随着大数据时代的到来，传统的日志管理和监控手段已经难以满足现代应用的需求。本文将探讨如何使用Python结合机器学习技术进行智能的日志分析和异常检测，以自动识别潜在问题并预测未来趋势。我们将介绍关键的机器学习算法、常用工具及其Python实现方法，并通过具体案例展示如何构建智能化的日志管理系统。目录引言机器学习在日志管理中的应用关键机器学习算法介绍使用Python开发智能日志分析系统实战案例：
图像处理与机器学习1.北京交通大学图像处理与机器学习（√）图像处理与机器学习_中国大学MOOC(慕课)第一章绪论一、基本概念视觉与图像成像1.视觉：人类得以感知和理解周边的世界。光作用于视觉器官，产生信号。经过神经系统，大脑形成视觉2.人类视觉特点：多义性(多种含义)、错觉、Mach带3.图像：图像是具有视觉效果的画面。图像是人类社会活动中最常用的信息载体图像感知与获取
1.缺失值产生的原因失值的产生的原因多种多样，主要分为机械原因和人为原因。机械原因是由于机械原因导致的数据收集或保存的失败造成的数据缺失
1.什么是AutoML?自动机器学习（AutoML）是将机器学习应用于现实问题的端到端流程自动化的过程。
scikit-learn 中异常值检测算法的比较。LocalOutlier Factor （LOF） 不会以黑色显示决策边界，因为当用于异常值检测时，它没有可
1.似然函数2.极大似然估计 - MLE简述MLE含义：利用已知的样本结果信息，反推最具有
1.解释方差期望值与真实值之间的波动程度，衡量的是稳定性。2.解释偏差期望值与真实值之间、
1.生成模型与判别模型（1）判别模型别方法由数据直接学习决策函数 f（x） 或者条件概率
大纲你的数据一般存哪呢？（个人访问）网盘：百度网盘、天翼网盘、阿里云、坚果云、WPS云移动硬盘、U盘（usb type-c）：2.5寸SSD、HDD、nvme，3.1gen2 u盘本地知道企业的数据一般存哪里吗？（集中访问）企业的读写IO高，企业的数据量大。以上的存储肯定是满足不了的。基础知识硬盘传统存储分布式存储Server SAN多个独立服务器组成一个存储资源池缺点：机头瓶颈、缓存瓶颈、可扩展
1.特征工程特征选择是特征工程里的一个重要问题，其目标是寻找最优特征子集。
此篇主要介绍DNS的概念、DNS层次体系、服务器端的解析方式。 DNS 是域名系统 (Domain Name System) 的缩写，该系统用于命名组织到域层次结构中的计算机和网络服务。在Internet上域名与IP地址之间是一对一（或者一对多）的，域名虽然便于人们记忆，但机器之间只能互相认识IP地址，它们之间的转换工作称为域名解析，域名解析需要由专门的域名解析服
1.数据不平衡数据不平衡也可称作数据倾斜。在实际应用中，数据集的样本特别是分类问题上，不同标签的样本比例很可能是不均衡的。因此，如果直接使
一、消费模式的选择 kafka常见的消费模式有两种： 单播模式：一条消息只能被某一个消费者消费的模式。 多播模式：一条消息能被多个消费者组中的消费者消费的模式。 PS：记录消费偏移量是以组为单位进行的，增删消费者不影响。【会在下面进行说明】 单播模式 定义：一条消息只能被某一个消费者消费的模式，类似
本文介绍了数据科学家必备的五种检测异常值的方法。无论是通过识别错误还是主动预防，检测异常值对任何业务都是重要的。本文将讨论五种检测异常值的方法。 文章目录什么是异常值？为什么我们要关注异常值？技术提升方法1——标准差方法2——箱线图：方法3——DBScan集群方法4——孤立森林方法5——Robust Random Cut Forest结论 什么是异常值？在统计学中，异常值是指不属于某一特定群体的数
异常检测算法概述（全） ——序列数据异常检测1、异常的一些概念及异常检测的挑战2、异常检测问题的不同方面3、基于分类的异常检测算法4、基于最近邻的异常检测技术5、基于聚类的异常检测技术6、统计异常检测技术7、信息理论异常检测技术8、谱异常检测技术9、上下文异常处理10、处理集合异常11、琐碎点1、异常的一些概念及异常检测的挑战1.1 异常和噪声、奇异点 的区别1、噪声的处理分为两种： noise
异常值是指数据中个别值的数值明显偏离其余的数值，有时也称为离群点，检测异常值就是检验数据中是否有录入错误以及是否含有不合理的数据。 异常值的存在对数据分析十分危险，如果计算分析过程的数据有异常值，那么会对结果会产生不良影响，从而导致分析结果产生偏差乃至错误。比如在分析银行欺诈案例时，核心就是要发现异常值，这个时候异常值对我们是有用的。再比如，在统计某个城市的平均收入的时候，有人月收入是好几个
时间序列知识整理系列时间序列统计分析时间序列聚类时间序列预测时间序列回归时间序列特征工程时间序列补缺时间序列异常检测异常检测（Anomaly detection）是目前时序数据分析最成熟的应用之一，定义是从正常的时间序列中识别不正常的事件或行为的过程。有效的异常检测被广泛用于现实世界的很多领域，例如量化交易，网络安全检测、自动驾驶汽车和大型工业设备的日常维护。以在轨航天器为例，由于航天器昂贵且系统
typora基本语法
在近日举行的火山引擎AI创新巡展中，火山引擎在“Data+AI闭门会”上正式发布《2025数据智能体实践指南——回归商业本质：数据智能体价值主张与务实路径》，系统阐述数据智能体的定义、能力框架、评测标准与实施。面对各供应商自定义标准导致企业难以横向对比的行业困境，以及AI概率性输出与企业确定性决策需求之间的根本矛盾，该评测体系覆盖了基础能力、复杂任务处理、可靠性及工具使用效率的多层评估框架，通过多维量化指标帮助企业精准评估智能体能力边界与潜在风险，将数据智能体从“实验项目”转化为“工程系统”。
除了 JVM 提供的内置事件之外，我们还可以自定义 JFR 事件来收集应用程序特定的性能数据。