原因分析是一種統計方法，用于描述觀察到的相關變量之間的可變性，即潛在的較少數量的未觀察到的變量（稱為因子）。 例如，六個觀察變量的變化可能主要反映了兩個未觀察（基礎）變量的變化。 因素分析搜索此類聯合變化以響應未觀察到的潛在變量。 觀察到的變量被建模為潛在因素加上誤差項的線性組合，因此因素分析可以被認為是變量誤差模型的一個特例。

簡單地說，變量的因子載荷量化變量與給定因子的相關程度。

因子分析方法背后的一個共同原理是，獲得的有關觀察到的變量之間相互依賴性的信息可以在以后用于減少數據集中的變量集。 原因分析常用于心理測量學、人格心理學、生物學、市場營銷、產品管理、運籌學、金融和機器學習。 它可能有助于處理數據集，其中有大量觀察到的變量被認為反映了較少數量的潛在/潛在變量。 它是最常用的相互依賴性技術之一，當相關變量集顯示出系統的相互依賴性并且目的是找出產生共性的潛在因素時使用。

該模型試圖用一組 k {\displaystyle k} 公因子（ f i , j {\displaystyle f_{ i,j}} ），其中每單位的因子少于每單位的觀測值（ k < p {\displaystyle k<p} ）。 每個人都有 k {\displaystyle k} 個自己的公因數，這些公因數通過因子加載矩陣 ( L ∈ R p × k {\displaystyle L\in \mathbb {R} {p \times k}} ), 對于單次觀察

由此

• x i , m {\displaystyle x_{i,m}} 是第 i {\displaystyle i} 對第 m {\displaystyle m} 個體的觀察值，
• μ i {\displaystyle \mu _{i}} 是第 i {\displaystyle i} 個觀測值的觀測平均值，
• l i , j {\displaystyle l_{i,j}} 是第 j {\displaystyle j} 個因子的第 i {\displaystyle i} 個觀測值的載荷，
• f j , m {\displaystyle f_{j,m}} 是第 m {\displaystyle m} 個體的第 j {\displaystyle j} 個因子的值，而
• ε i , m {\displaystyle \varepsilon _{i,m}} 是 ( i , m ) {\displaystyle (i,m)} 均值為零且方差有限的未觀測隨機誤差項。

我們還將對 F {\displaystyle F} 強加以下假設：

• F {\displaystyle F} 和 ε {\displaystyle \varepsilon } 是獨立的。
• E ( F ) = 0 {\displaystyle \mathrm {E} (F)=0} ; 其中 E {\displaystyle \mathrm {E} } 是期望
• C o v ( F ) = I {\displaystyle \mathrm {Cov} (F)=I} 其中 C o v {\displaystyle \mathrm {Cov} } 是協方差矩陣，以確保 因子不相關，I {\displaystyle I} 是單位矩陣。

因此，根據上面施加在 F {\displaystyle F} 上的條件，

請注意，對于任何正交矩陣 Q {\displaystyle Q} ，如果我們設置 L ′ = L Q {\displaystyle L{\prime }=\ LQ} 和 F ′ = Q T F {\displaystyle F{\prime }=Q{T}F} ，作為因子和因子載荷的標準仍然成立。