一窺 Copilot 設計幕後

fin
11 min readApr 27, 2023

打造下一代用戶體驗:當系統即是產品

原文 Behind-the-Design: Meet Copilot by Jon Friedman & Kurtis Beavers

A look at the new Copilot experience across Microsoft 365 apps

經歷了多年的穩定且逐步的創新,我們正在見證一些具有革命性影響的技術的誕生。乍看之下,大型語言模型,如 OpenAI 的 ChatGPT 和 DALL-E 等前沿 AI 技術,似乎正在成為用戶界面能真正適應人類需求的關鍵要素。這是一個令人驚嘆的新興領域,充滿著無限的可能性。然而,與現在已經在各個領域廣泛應用的自動完成式的 AI (如個人化推薦、廣告等)不同,新興的 AI 技術使我們從自動駕駛形式的 AI 轉向 AI 成為副駕駛。這需要一種全新的思維模式和互動方式,我們的設計和研究社群一直在深入探索,以便在這個關鍵時刻吸收和理解更多的知識。

對於 Microsoft Design,我們意識到這需要建立一種新觀點,用來建立一個新的設計系統,讓技術以一種有益於人類、提升人類能力和促進協作的方式應用。在面對如此新穎的技術,隨著客戶反饋與不斷學習過程中,我們需要創建敏捷且靈活的設計和工程流程來進行持續迭代。

2023年3月16日,我們推出了 Microsoft 365 Copilot — — 您的工作助手。Copilot 將大型語言模型(LLM)的強大功能與 Microsoft Graph 和 Microsoft 365 應用程序中的數據相結合,包括您的日曆、電子郵件、聊天、文檔、會議等,將您的文字轉化為地球上最強大的生產力工具。

Copilot 是會話式用戶體驗(UX)的先鋒,它標誌著用戶界面設計的新篇章,具有與第一代觸控螢幕相同的劃時代意義。我們相信它有潛力改變人們與技術的互動方式以及使用技術的方法,讓事物變得更簡單,並開創新的可能性。然而,發揮其潛力的同時,也必須透過基於道德考量、簡單且強大的用戶體驗來加以引導。在 Copilot 中,從視覺識別到互動設計,我們對所有面向重新思考,以創建一個具有價值的用戶體驗。

Copilot’s UX across various Microsoft 365 experiences

為了真正釋放這項技術的潛力,我們需要挑戰我們現有的對技術的認知。我們對 AI 的許多認知都受到電影和書籍的影響,這些作品通常呈現出人類與機器之間的二元選擇,在這想像的世界中機器會全自動化的我們做所有的事情。然而,真實世界的下一代 AI 的真正價值在於它能夠透過與人類協作以提升人類的潛力 — — 本質上來說,AI 的角色從自動駕駛轉變為副駕駛。這是我們 Copilot 體驗的核心原則,透過與 AI 的協同互動,確保您始終能夠掌控一切,引領 Copilot 實現您的個人目標。作為設計師,我們所創造的用戶體驗必須促進對這種關係的理解,幫助人們接受新的心智模型,以積極、有效且合乎道德的方式推動每個人向前。

這些新的心智模型必須基於所謂的『適度信任』,即當人們瞭解技術的局限和能力時,能夠以負責任的方式使用它。雖然 Copilot 在協助產生內容或促進團隊協作等任務方面表現出色,但它也可能產生不完美或需要改進的答案。人們對這些情況的了解越多,就越能善用它。

就我個人而言,我發現 Copilot 不僅幫助我更清楚地溝通,而且在適當地與它合作的過程中,它還教會了我如何更好地溝通。它讓我在成為一名更出色的設計師的過程中成長,並通過它的動態媒介特性重新激發了我的創造力。即使在它出錯的時候 — — 它確實且常常會出錯,強調這一點非常重要 — — 閱讀和改進輸出結果的過程也可能激發新的想法,確認和驗證我所知道的正確之處。這就是為什麼我們致力於確保人們始終感受到充分的自主權和掌控能力。

在 Microsoft,我們經常討論開放設計,而且你很難找到一個比這更具挑戰性的題目。隨著這項新技術的出現,新功能和應用不斷涌現;隨著各行業開始使用它打造產品,分享構建 Copilot 的過程和框架,對於共同學習、成長和演變變得至關重要。

AI 應對不同工作需求

Copilot 能夠滿足各種用戶需求,無論是在高層次策略制定中還是在具體細節中。現今的工作和生活的需求往往超過了我們的認知能力 — — 產生壓力、焦慮和生產力損失 — — 這就是為什麼 Copilot 釋放人們的創造力、精力和時間的能力是如此的吸引人。LLM 能力與人類認知能力的對映下,我們發想了一個三督腳的框架:沉浸式、輔助式以及嵌入式體驗,為使用者帶來全方位的生產力提升。

沉浸式體驗是針對那些涉及多種工具,需要深入的內容處理的工作,並可能結合創建、協作和/或理解的需求。全螢幕體驗讓人不受既有應用程式的邊界限制,LLM 與您的業務數據及內文相結合,可以提升技能、釋放生產力。從建立投影片或商業提案、到幫助您為重要會議做準備,Copilot 將根據您在工作和生活中的需求提供相對應的幫助。

相對的,輔助式和嵌入式體驗適用於那些您希望提高特定應用程式中特定任務所需工作的速度和品質的時候。當您希望在單一類型的工作中需要更專注更多支持,比如說在 Word 中更有創意,Excel 中更有分析力,PowerPoint 中更有表達力,Outlook 中更有生產力,或在 Teams 中更具協作性。

這些元件會以自適應組件或模塊的形式呈現,從查找到指令,它們為 Copilot 的整體互動帶來一致性。而且,它們始終您的當前任務流程中內工作,了解螢幕上的內容並可提供熟悉的圖形介面功能。

結合起來,這三種體驗讓不僅對任務有幫助,甚至工作流程上可以達到跨應用程式、跨平台的效果 — — 這在對數位環境和多人協作場景中是個非常艱鉅的挑戰。無論在 Microsoft 365 生態系統中與的任何位置,業務數據都可以順暢的在組織中流動,並自動執行繁瑣或重複的任務,讓您可以更輕鬆順暢地保持工作流程之中。

以賦權為目標的 UX 基礎設計

在設計 Copilot 體驗時,將每個設計和工程決策植根於強調人類主動性的道德框架對我們至關重要。從介面模式到 Copilot 的視覺識別,我們都希望表達這些價值觀。以下每一點都可以輕鬆延伸為一篇文章深入探討,但我們先來概括性的看看這些核心的基礎要素。

讓用戶掌握控制權

我們針對要提供使用者多少程度的控制和指引的問題上進行了深入的討論。是否應該完全隱藏 AI,只給使用者一個寫著『摘要』的按鈕?是否應該給他們一個開放的文字輸入框,但提供一些建議?隨著使用者控制權的提高,使用者的責任也會提高。因此,如果我們讓客戶掌握方向盤,我們不能把模型隱藏在按鈕後面 — — 它的功能必須被了解和掌握。這讓產品端有責任對潛在有害案例設定足夠的限制,但最終會賦予客戶更大的控制權,而不僅僅是給他們一堆可以按的按鈕來實現幾個有限的功能。

那要如何進行?自然語言在這成了釋放模型潛能的好方法,但前提是您能理解對話式互動的本質和重要性。現在大多數技術產品都是確定性的;相同的核心互動以精確且可重複的方式發生。LLMs 讓我們轉向為機率性產品,這些互動是不精確且不可重複的。甚至無法將模型的回應寫死,因為它們在每次互動中都會重新展開。在設計會話式 UX 時,我們認為來回對話的互動模式允許您探索模型的功能,同時在需要時將其導回預期的使用情境。

教育為先

Customer education is a critical when designing next-gen AI experiences, and we used everything from loading times to zero state design to explain the technology, request feedback, and suggest best practices.

空白狀態設計、容錯通知、範例分享、提示建議 — 教導是我們優化設計的首要任務。因為與 LLM 互動是一種全新、獨特且可能令人生畏的過程,因此我們希望在您首次接觸時就能清楚地了解它們的功能和侷限性。這是負責任地使用 AI 的關鍵;如果道德原則未被融入介面,則它們將失去意義。因此,在空白狀態設計(即在進行任何類型互動之前,人們在螢幕上看到的內容)中,我們如何利用這些空間來教導用戶關於模型可能犯的錯誤以及核實輸出的必要性?我們還在探索一個名為『AI 標章』的功能,它將伴隨所有 Copilot 產出,讓您隨時點擊或觸碰它以了解更多底層技術。

同理,只有在您的輸入提示足夠好時,模型輸出的內容才會有用,而提示撰寫是一項需要時間掌握的新技能。更長、更詳細的提示通常能帶來更好的結果,這就是為什麼我們創建了一個提示功能菜單,其中包括帶有提示建議的範例。隨著人們對這項技術越來越熟悉和自信,我們的設計可能會逐步減少對此的強調,但目前這仍然至關重要。

讓等待變得值得

自從撥號上網的日子以來,對技術速度的期望已經發生了變化。如今,我們經常期待立即或接近立即的反應。然而,在 LLM 上,由於處理的訊息規模龐大,生成回應所需的時間有時可能比我們預期的要長。但如果這多花的幾秒鐘可以為您節省一個小時,那麼這是值得的。設計師可以利用這段等待時間來創造透明度,就像我們使用空白狀態進行教育一樣。這可以包括從提醒人們核實回應的對話框,到分享有關模型如何生成答案的訊息。我們希望思考如何利用延遲時間來強化對模型侷限性的了解,以及如何創意地營造愉悅感,將等待的片刻轉變為熱切的期待。

有目的性的設立斷點

在確保人類主體性方面,最大的風險之一是對模型過度依賴。Copilot 並不是自動駕駛,它需要人類的監督和協作,因為它有可能產生不準確或錯誤的答案,而且最有力的結果是通過反覆互動創建的,每一次互動中都會進行調整。當與他人共享 Copilot 的結果時(例如,某一財政年度的 OKR 總結、入職文件或活動回顧),這尤為關鍵。Copilot 的結果鏈接到引用資料,並在某些情況下,如果您將滑鼠懸停其上,它會分享更多關於來源的信息。然而,這些仍應由人類審查,作為設計師,我們可以刻意的製造斷點來幫助這一過程。例如,在某人準備分享某些內容之前,我們可以詢問您是否已經核實過它,或者是否有人類監督。內容設計師在這樣的互動中扮演著重要角色,因為我們用詞的方式可能會影響某人是否關注所提出的要求。

通過視覺識別進行溝通

在視覺層面上,我們希望使用顏色和圖標等元素,以在 Microsoft 產品中建立並加強對 AI 時刻的認知。利用品牌顏色和鮮豔的重點色彩,使產品在與 AI 功能互動時更加生動,清晰地表明模型在延遲時刻處於活動狀態,並將其與周圍的介面區分開來。視覺識別還清楚地顯示出 Copilot 何時在使用以及是否生成了內容,我們的目標是通過讓您在評價輸出內容方面更加信任自己的判斷,從而建立信任。

帶著學習型心態向前邁進

像現在這樣的時刻對產品人來說是天賜良機。史上只有幾次技術會改變遊戲規則的發展,而在所有領域,我們都非常清楚 LLM 的力量和影響。而對於 Copilot 來說,這不僅僅是關於 LLM 作為一種媒介,還包括它所在的生態系統。Microsoft 365 是世界上最強大的生產力套件之一,它的廣泛能力使政府、醫院和學校等都能運行在它之上。當您將 LLM 的力量置於其中時,有獨特而顯著的潛力來提高人類能力並支持人類需求。

這對設計社群來說是令人興奮、謙卑且具有重大責任的時刻,我們選擇的默認設置、設計原則和用戶體驗框架至關重要。同樣重要的是,我們應該圍繞新興技術擁抱的過程。在接下來的六個月到一年內,可能會出現新的模型,我們需要敏捷、靈活的設計和工程流程,為整合新的研究見解和客戶反饋留出充足的空間。這就是為什麼我們要預覽這些新設計,以便在安全的預覽環境中向企業客戶學習。我們不能在封閉的門後、與日常生活中的普通人脫節的技術真空或泡沫中進行設計。我們必須積極尋求反饋,擁抱全方位學習的態度,並通過公開設計來分享學習成果。我們還必須努力將我們的構建植根於道德考慮和普世人類需求;技術本身可能會改變,但這些需求遠比技術更持久。

關於微軟設計,我們將在今年進一步分享我們的學習成果、更新和設計,敬請關注,並請隨時公開分享您的反饋意見!

--

--