微軟對Win11進(jìn)行升級，推出語音、視覺和任務(wù)執(zhí)行三大AI功能。

10月17日，微軟宣布要讓每一臺Windows 11電腦都成為“真正的AI PC”。通過全面升級Copilot功能，使人機(jī)交互更自然，AI表現(xiàn)更聰明。

微軟此次升級包含三大核心功能：

●新的“Hey, Copilot”語音喚醒功能，用戶可直接通過語音下達(dá)指令。

●全球上線Copilot Vision，讓AI能夠“看見”并理解屏幕上的內(nèi)容，并提供幫助。

●預(yù)覽階段的Copilot Actions，支持AI助手直接在PC上執(zhí)行任務(wù)。

這次重大升級標(biāo)志著微軟的戰(zhàn)略轉(zhuǎn)變：從單純追求處理性能，轉(zhuǎn)向打造智能化的對話式交互體驗(yàn)。微軟希望讓每一臺Windows 11設(shè)備都成為這一新范式的載體，同時通過Copilot連接器整合Gmail等第三方服務(wù)。

01 無需動手，語音成為核心交互方式

微軟官宣全面接入Copilot，Windows 11 PC將化身AI助手中心。

微軟官方表示，正努力推動語音成為繼鍵盤、鼠標(biāo)之后的核心PC交互方式。隨著“Hey, Copilot”喚醒功能的全面開放，用戶無需點(diǎn)擊圖標(biāo)，直接說出喚醒詞就能開啟與AI的對話。系統(tǒng)會以麥克風(fēng)圖標(biāo)和提示音回應(yīng)，確認(rèn)處于聆聽狀態(tài)。結(jié)束對話也很簡單，說“再見”或停止說話即可。

微軟認(rèn)為，這一設(shè)計降低了傳統(tǒng)語音助手的使用門檻，是將AI帶給更廣泛用戶的關(guān)鍵舉措。雖然不是首次涉足語音交互領(lǐng)域，但微軟相信，基于現(xiàn)代AI技術(shù)的智能助手能打破用戶與電腦對話的心理障礙，變革使用習(xí)慣。微軟內(nèi)部數(shù)據(jù)顯示，使用語音與Copilot交互的頻率是純文本輸入的兩倍。

02 一個能“看懂”屏幕的AI助手，安全性能也高了

Windows 11有新亮點(diǎn)，任務(wù)欄新增Copilot，喊一聲就能召喚AI外掛。

微軟正在為其AI未來圖景增添關(guān)鍵組件——能夠“看懂”屏幕的Copilot Vision。該功能已全面上線，讓AI具備了真正的視覺能力，可實(shí)時分析和理解用戶屏幕上的內(nèi)容，并在任何應(yīng)用程序中提供精準(zhǔn)的上下文幫助。

微軟此前推出的Recall功能，通過持續(xù)截屏記錄用戶操作以幫助回溯內(nèi)容，但自發(fā)布后就陷入隱私爭議。因?yàn)橛脩魺o法精細(xì)篩選或控制截圖內(nèi)容，所有操作都被默認(rèn)記錄，被認(rèn)為是“監(jiān)視工具”。

此次微軟吸取教訓(xùn)，Vision采取了更謹(jǐn)慎的隱私保護(hù)策略。該功能默認(rèn)關(guān)閉，用戶需在每個會話中主動點(diǎn)擊獨(dú)特的“眼鏡”圖標(biāo)授權(quán)，才能啟動屏幕共享，類似于Teams會議中的視圖共享，確保用戶對隱私的完全掌控。

啟用Vision功能后，系統(tǒng)能實(shí)時分析屏幕內(nèi)容，可提供軟件操作指引、協(xié)助排查系統(tǒng)問題，并針對屏幕顯示內(nèi)容進(jìn)行解答。

而且，Vision的應(yīng)用范圍從早期的單一程序支持?jǐn)U展為“桌面共享”模式，能識別并理解用戶跨多個應(yīng)用程序窗口的完整操作流程。

微軟Copilot團(tuán)隊描述其工作原理：“當(dāng)你共享桌面或特定窗口時，Copilot就能看到你所看到的一切，并實(shí)時與你討論其中的內(nèi)容?！?/p>

這項(xiàng)技術(shù)應(yīng)用場景豐富，如為創(chuàng)意項(xiàng)目提建議、優(yōu)化簡歷內(nèi)容、指導(dǎo)玩家掌握新游戲技巧等。其“高光指引”功能很實(shí)用，能在屏幕上用視覺方式標(biāo)出點(diǎn)擊位置。

需要注意的是，Vision目前僅具備“觀察”和“建議”能力，無法直接代表用戶操作系統(tǒng)，執(zhí)行操作由Copilot Actions負(fù)責(zé)。為滿足不同用戶習(xí)慣，微軟還在開發(fā)純文本交互模式。

03 向“智能體”演進(jìn)：Copilot Actions開始接管PC

微軟推出Copilot Actions模式，讓AI幫忙處理單調(diào)乏味的工作。

在本次更新中，面向本地文件的Copilot Actions功能具有革命性意義，它讓AI首次能在用戶PC上直接執(zhí)行多步驟操作任務(wù)。這標(biāo)志著AI正從被動的“助手”向主動的“智能體”演進(jìn)，它不再只是響應(yīng)用戶指令，而是能主動為用戶完成工作。

這一突破讓Copilot成為微軟所稱的“通用智能體”?，F(xiàn)在的Copilot不僅能回答問題，還具備實(shí)際操作能力，如打開應(yīng)用、輸入文字、滾動頁面，甚至執(zhí)行復(fù)雜的多步驟任務(wù)。

用戶只需用日常語言描述需求，如“幫我整理上個月度假的照片”或“從這份PDF里提取所有數(shù)據(jù)”，智能體就會嘗試通過與桌面和網(wǎng)絡(luò)應(yīng)用的交互來完成任務(wù)。

當(dāng)智能體在后臺工作時，用戶可繼續(xù)專注于其他事務(wù)。更重要的是，用戶始終掌握控制權(quán)，可隨時查看任務(wù)進(jìn)度、審查具體操作，或在任意時刻中斷任務(wù)、親自接管。

04 當(dāng)Xbox遇見AI游戲伙伴 升級娛樂體驗(yàn)

微軟此次升級不僅涉及辦公或提高生產(chǎn)力領(lǐng)域，也在探索AI融入娛樂體驗(yàn)的方式。

例如在手持游戲設(shè)備領(lǐng)域，通過ROG Xbox Ally和ROG Xbox Ally X，微軟將便攜游戲與人工智能助手巧妙融合。

除了能快速訪問Xbox、PC Game Pass及其他主流游戲商店的內(nèi)容，用戶現(xiàn)在還能直接與Copilot對話。

只需長按設(shè)備上的“庫”按鈕，就能喚出微軟的個人游戲助手——Gaming Copilot。它能在游戲過程中實(shí)時提供攻略推薦、操作技巧與場景解讀，玩家無需退出當(dāng)前游戲或切換屏幕。

總之，微軟正在將其AI PC定位為值得信賴的助手和伙伴。微軟執(zhí)行副總裁尤素夫·梅赫迪(Yusuf Mehdi) 表示：“我們希望每位用戶都能體驗(yàn)到，擁有一臺不僅僅是工具，而是真正伙伴的PC意味著什么?！?/p>

本文來自“騰訊科技”，作者：金鹿，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com