微軟近期在人工智能領域再次邁出重要一步，推出了OmniParser V2.0，這是一款基于純視覺技術的GUI智能體解析工具，能夠精準識別并解析屏幕上的可交互圖標。此前，該工具與GPT-4V的結合已顯著提升了其識別能力。
在2月12日，微軟官方網站上正式發布了OmniParser的最新版本。這一版本不僅延續了前代產品的優勢，還實現了與多個先進AI模型的兼容，包括OpenAI的多個版本（4o、o1、o3-mini）、DeepSeek R1、Qwen 2.5VL以及Anthropic的Sonnet等。這意味著這些模型在OmniParser的助力下，能夠轉變為操控計算機的AI智能體。
相較于V1版本，OmniParser V2.0在訓練數據上進行了大幅升級，采用了更大規模的交互元素檢測數據和圖標功能標題數據。這一改進使得V2.0在檢測較小的可交互UI元素時，準確率有了顯著提升，同時推理速度也更快，延遲降低了60%。
在高分辨率Agent基準測試ScreenSpot Pro中，OmniParser V2.0與GPT-4o的結合展現出了驚人的效果。測試結果顯示，V2.0+GPT-4o的準確率高達39.6%，而GPT-4o單獨使用時，準確率僅為0.8%。這一對比充分展示了OmniParser V2.0在提升AI模型性能方面的巨大潛力。
為了加速不同智能體設置的實驗進程，微軟還推出了OmniTool這一開源工具。OmniTool是一個集成了屏幕理解、定位、動作規劃和執行等基本功能的Docker化Windows系統。這一工具為將大模型轉變為智能體提供了關鍵支持，極大地簡化了實驗過程。
對于對OmniParser和OmniTool感興趣的開發者而言，微軟已經提供了開源地址，方便他們獲取并使用這些工具，以進一步推動人工智能技術的發展。
