在有兩個類別的統計分類問題中，決策邊界或決策面是一個超曲面，它將基礎向量空間劃分為兩個集合，每個類別一個。分類器將把決策邊界一側的所有點歸為一類，把另一側的所有點歸為另一類。決策邊界是一個問題空間的區域，在這個區域中，分類器的輸出標簽是模糊的。如果決策面是一個超平面，那么分類問題就是線性的，而且各類是線性可分離的。決策邊界并不總是清晰的。也就是說，從特征空間的一個類過渡到另一個類不是不連續的，而是漸進的。這種效果在基于模糊邏輯的分類算法中很常見，在這種算法中，一個類或另一個類的成員資格是模糊的。在神經網絡和支持向量模型中在基于反向傳播的人工神經網絡或感知器的情況下，網絡可以學習的決策邊界類型由網絡的隱藏層數量決定。如果它沒有隱藏層，那么它只能學習線性問題。

如果它有一個隱藏層，那么它可以學習Rn的緊湊子集上的任何連續函數，如通用近似定理所示，因此它可以有一個任意的決策邊界。特別是，支持向量機找到一個超平面，以xxx的余量將特征空間分成兩類。如果問題最初不是線性可分離的，可以用內核技巧將其變成線性可分離的問題，方法是增加維數。因此，一個小維空間中的一般超曲面被轉化為一個大得多的空間中的超平面。神經網絡試圖學習使經驗誤差最小化的決策邊界，而支持向量機則試圖學習使決策邊界和數據點之間的經驗余量最大化的決策邊界。