• 異常檢測

    編輯
    本詞條由“匿名用戶” 建檔。

    異常檢測

    編輯

    數據分析中,異常檢測(也被稱為離群點檢測,有時也被稱為新穎性檢測)通常被理解為識別罕見的項目、事件或觀察結果,這些項目、事件或觀察結果明顯偏離大多數數據,不符合定義好的正常行為的概念。這樣的例子可能會讓人懷疑是由不同的機制產生的,或者看起來與該組數據的其余部分不一致。異常檢測在許多領域都有應用,包括網絡安全、醫學、機器視覺、統計學、神經科學、執法和金融欺詐等,僅舉幾例。異常現象最初被搜索,以明確拒絕或遺漏數據,以幫助統計分析,例如計算平均值或標準偏差。它們也被移除,以更好地預測模型,如線性回歸,最近,它們的移除也有助于機器學習算法的性能。然而,在許多應用中,異常點本身是有意義的,是整個數據集中最希望得到的觀察結果,需要將其與噪聲或不相關的離群點區分開。存在三大類異常檢測技術。有監督的異常檢測技術需要一個已經被標記為正常和異常的數據集,并涉及訓練一個分類器。然而,這種方法很少用于異常檢測,因為一般來說無法獲得標記的數據,而且類的本質是不平衡的。半監督的異常檢測技術假定數據的某些部分被標記了。這可能是正常或異常數據的任何組合,但更常見的是,該技術從給定的正常訓練數據集中構建一個代表正常行為的模型,然后測試由該模型產生的測試實例的可能性。無監督的異常檢測技術假定數據是無標簽的,并且由于其更廣泛和相關的應用,到目前為止是最常用的。

    異常檢測的定義

    編輯

    在統計學和計算機科學界,已經有許多人嘗試定義異常現象。最普遍的包括。異常值是指與其他觀測值相差甚遠的觀測值,以至于讓人懷疑它是由不同的機制產生的。異常值是指在數據集中極少出現的實例或數據集合,其特征與大多數數據有明顯的不同。異常值是指與該數據集的其余部分似乎不一致的觀測值(或觀測值的子集)。異常值是指在特征的多維空間中與其他點相對遙遠的一個點或點集合。異常點是數據中不符合定義好的正常行為概念的模式。讓T是單變量高斯分布中的觀測值,O是T中的一個點。當且僅當O是一個異常點時,O的z分數大于預先選擇的閾值。應用異常檢測適用于大量和多種領域,是無監督機器學習的一個重要子領域。因此,它在網絡安全入侵檢測、欺詐檢測、故障檢測、系統健康監測、傳感器網絡中的事件檢測、檢測生態系統的干擾、使用機器視覺的圖像缺陷檢測、醫療診斷和執法方面都有應用。

    離群點檢測

    異常檢測是由DorothyDenning在1986年為入侵檢測系統(IDS)提出的。IDS的異常檢測通常是通過閾值和統計學完成的,但也可以通過軟計算和歸納學習完成。1999年提出的統計類型包括用戶工作站、網絡、遠程主機、用戶組以及基于頻率、平均值、方差、協方差和標準偏差的程序的概況。與入侵檢測中的異常檢測相對應的是誤用檢測。它經常被用于預處理,以從數據集中刪除異常數據。這樣做的原因有很多。去除異常數據后,平均數和標準差等數據的統計數字更加準確,而且數據的可視化也可以得到改善。在監督學習中,從數據集中去除異常數據往往會使統計學上的準確度大幅提高。異常數據也常常是要找到的數據中最重要的觀察點,比如在入侵檢測或檢測醫療圖像中的異常情況。

    內容由匿名用戶提供,本內容不代表www.gelinmeiz.com立場,內容投訴舉報請聯系www.gelinmeiz.com客服。如若轉載,請注明出處:http://www.gelinmeiz.com/175451/

    (1)
    詞條目錄
    1. 異常檢測
    2. 異常檢測的定義

    輕觸這里

    關閉目錄

    目錄
    91麻精品国产91久久久久