計算機視覺研究是由標準的評估實踐驅動的。目前的系統是通過其對物體檢測、分割和定位等任務的準確性來測試的。像卷積神經網絡這樣的方法在這些任務中似乎做得很好，但目前的系統仍然沒有接近解決像人類那樣理解圖像的最終問題。

正如其中所描述的，它是"一個由操作者協助的設備，從一個給定的測試圖像中產生一個隨機的二進制問題序列"。該測試只涉及視覺，不需要任何自然語言處理。人類操作員的工作是為問題提供正確的答案，或將其作為模棱兩可的問題拒絕。

這種復雜性與人類的視覺系統是一致的。大約50%的人腦用于處理視覺，這清楚地表明，這是一個困難的問題。后來，有人試圖用受人腦啟發的模型來解決這些問題。

這些簡單的神經網絡不能滿足他們的期望，并有一定的局限性，因此在未來的研究中沒有考慮它們。后來，隨著硬件和一些處理能力的出現，研究轉向了涉及像素級操作的圖像處理，如尋找邊緣、對圖像進行去噪或應用過濾器等等。在這個領域有一些很大的進展，但視覺問題，即讓機器理解圖像的問題仍然沒有得到解決。在這一時期，神經網絡也再次出現，因為它表明多層感知器可以克服感知器的限制。

特征與已經存在的機器學習算法一起被用來檢測、定位和分割圖像中的物體。在所有這些進展的同時，社區認為需要有標準化的數據集和評估指標，以便對性能進行比較標準評估指標的出現和公開挑戰為研究提供了方向。更好的算法被引入到特定的任務中，如物體檢測和分類。視覺圖靈測試旨在為計算機視覺研究提供一個新的方向，這將導致引入的系統更接近于像人類那樣理解圖像。

大量的數據集已經被注釋和概括為不同類別算法的基準性能，以評估一些圖像領域的不同視覺任務。計算機視覺中最著名的數據集之一是ImageNet，它被用來評估對象層面的圖像分類問題。ImageNet是目前xxx的注釋數據集之一，擁有超過一百萬張圖像。另一個重要的視覺任務是物體檢測和定位，指的是檢測圖像中的物體實例，并提供物體實例周圍的邊界盒坐標或分割物體。這個任務最流行的數據集是帕斯卡數據集。同樣，還有其他用于特定任務的數據集，如用于人體姿勢檢測的H3D數據集，用于評估檢測物體屬性質量的Core數據集，如顏色、方向和活動。擁有這些標準數據集有助于視覺界為所有這些任務提出性能極佳的算法。