Block 的 Dessa 語音模型為本機 AI 對話注入近似人類的情感

目錄

• 你可能會想知道
• Block 的 Dessa 語音模型
• 重點摘要表
• 後續展望……

你可能會想知道

• Block 的 Dessa 模型如何讓與語音 AI 的對話聽起來更自然？
• 隨著模型持續開發，安全性與使用權限方面還有哪些問題尚待解答？

Block 的 Dessa 語音模型

由 Jack Dorsey 領導的公司 Block 推出了一款由其研究實驗室開發的語音模型，名為 Dessa。該模型設計為可在本機運行，根據該公司的說法，它產生的語音聽起來格外像真人。它的表達特色包括笑聲、停頓和哭泣，這些功能或許能讓 AI 語音聽起來更像對話對象，而非傳統的文字轉語音系統。

Block 表示，Dessa 完全以人類語音和單一 NVIDIA GPU 機架訓練而成。這項說明突顯了模型的訓練方式，以及開發時使用的硬體。該公司尚未宣布開放公眾使用 Dessa，因此外部使用者目前無法直接評估其效能。關於這套系統能力的現有資訊，因而僅限於該公司的說法與展示內容。

Dessa 被描述為全雙工模型。實際來說，這代表它能同時聆聽和說話，而不必嚴格輪流交談，也就是必須等一方說完，系統才能回應。原文將這項能力與 OpenAI 今年稍早推出的 GPT-Live 模型相提並論。同時聆聽和說話或許能帶來更即時的互動體驗，不過實際感受仍取決於系統如何處理打斷、對話時機和語境。

許多語音系統會搭配大型語言模型，以檢索資訊，或根據更廣泛的知識庫產生回應。Block 表示，Dessa 的知識來自它所擁有的對話資料。這項差異很重要：語音模型自然說話的能力，並不等同於準確回答問題的能力。系統或許能呈現語氣與對話流暢度，但仍取決於它可取得的資訊與具備的能力。

Block 認為，現有語音 AI 可能聽起來不自然或令人厭煩，因為在驅動語音生成的流程中加入了文字。許多系統會先生成書面回應，再將其轉換為語音。這種流程或許能保留文字內容，卻可能失去透過語速、語氣及其他聲音線索傳達的部分含意。該公司的核心觀點是，語音不只是把文字唸出來：一個人說話的方式能傳達單靠文字無法表達的資訊。

包括 ElevenLabs v4 和 Fish Audio Drama 3 在內的一些模型，會使用語音標籤來引導情緒表達。Block 則宣稱情緒是內建於 Dessa 之中的。不過，根據目前可得的資訊，尚不清楚模型的情緒特質是否受到某種標籤或其他引導機制影響。這項差異尚未獲得完整說明，因此應將公司的說法視為對其設計方式的描述，而不是對情緒如何生成的完整說明。

Block 在一篇部落格文章中談到對語音 AI 互動的顧慮：「和目前的語音 AI 互動，真的可能糟透了。它會把你的語音轉成文字，丟掉大量單靠文字無法承載的資訊。世界上最強大的 AI 也聽不出你的感受。我們認為這很荒謬，會導致更糟的體驗，而且可能很危險。」這番論述將情緒與語音脈絡置於核心，作為該公司開發不同類型語音系統的理由。

Block 的研究人員發布了幾段與 Dessa 對話的範例。在這些示範中，代理使用了不同的聲音、語調和情緒。其中一個範例裡，機器人說自己工作累了；此時，它的聲音也聽起來很疲憊。另一個範例則展示機器人談到某個人讓它感到自在，語氣聽起來情緒激動，幾乎要崩潰。還有一個範例呈現 Block 團隊成員和語音助理玩遊戲。這些片段旨在展示模型能呈現的各種對話行為，但僅憑示範，還無法證明系統在日常情境中都能穩定運作。

Block 表示，Dessa 可在 MacBook M4 Max 或更高規格等消費級電腦上本機運行。本機執行可能減少將每段語音互動傳送至遠端運算系統的需求。它也可能讓語音功能更容易整合至產品與服務，但仍須考量模型的硬體需求和實際部署細節。原文未提供效能、延遲或完整相容裝置範圍的進一步規格。

儘管已有示範，Dessa 目前仍未開放公眾使用。Block 改為呼籲安全研究人員測試該模型。其中一個可能的測試重點，是語音代理是否可能誤導或欺騙對話另一端的人。近似人類的語音或許能讓互動更輕鬆、更有表現力，但同樣的特質也可能讓聽者更難察覺自己正在與 AI 對話。因此，測試系統是否會出現欺騙或令人困惑的行為，是負責任評估這項技術的關鍵。

這項顧慮與 Block 的業務尤其相關。該公司經營金融業務，並向小型企業銷售解決方案。Square 已使用語音 AI 處理訂單，讓 Block 已具備語音客戶互動方面的既有基礎。專有且能在裝置上運行的模型，可能支援更多商業與消費者體驗，同時相較於依賴外部運算的方案降低成本。這些是可能的策略優勢，並非已確認的產品計畫或量化的成本節省。

整體而言，Dessa 集結了幾項目標：自然的語音、豐富的情緒表達、同時聆聽和說話，以及在消費級硬體上本機運行。Block 將這些功能定位為對現有系統限制的回應；現有系統會把語音轉成文字，再生成口語輸出。然而，模型情緒控制的原理、知識範圍、實際使用時的可靠性，以及如何防止濫用等重要問題仍待解答。目前，Dessa 仍是尚未開放公眾使用的研究模型，而 Block 正尋求安全研究人員協助評估。

重點摘要表

後續展望……

Dessa 展示了一種未來可能性：語音介面或許能保留更多情緒與對話脈絡，而這些資訊在語音被簡化為文字時可能消失。這種做法能否改善日常互動，不只取決於語音聽起來有多像真人，也取決於系統的準確性、透明度與安全防護。

Block 接下來的重要一步是進行評估。安全研究人員可以協助找出可能使使用者困惑、產生不當信任，或被用來誤導他人的情境。同時，進一步測試也能釐清模型在本機硬體上的運作表現，以及它在經過設計的示範之外，對話行為是否可靠。

如果 Block 能克服這些挑戰，本機運行的語音 AI 可能適用於更多服務，包括小型企業工具和消費者應用程式。目前，Dessa 是一項前景可期但尚未開放公眾使用的研究計畫；只有透過更廣泛的測試和負責任的部署，才能進一步了解它在真實世界中的價值。