在 ChatGPT-4o 的高級語音模式開始向少數 ChatGPT Plus 用戶推出 alpha 版本後不久，OpenAI 最近發布了適用於其 GPT-4o 型號的系統卡。
在 5 月初發布模型之前（沒有高級語音模式），OpenAI 使用了一個外部紅隊團隊來評估模型的風險（這是 AI 模型的常態），並在系統卡中發布了調查結果。
OpenAI 發現的風險之一包括未經授權的語音產生。在與讀隊成員交談時，GPT-4o 克隆了他們的聲音並開始以類似於紅隊成員的聲音說話，而用戶甚至沒有提出這樣的請求。在 OpenAI 分享的音訊片段中，可以聽到 GPT-4o 大喊“NO！”然後以類似紅隊隊員的聲音繼續輸出。
OpenAI 設有防護欄，透過僅允許某些預先批准的 GPT-4o 聲音來防止這種情況發生。 ChatGPT-4o 產生的任何語音輸出都會與系統訊息中的語音樣本進行匹配，作為基本語音。
為了進一步降低風險，如果偵測到無意的語音生成，模型會被指示停止對話。他們的語音輸出分類器在英語中的精確度為 0.96，在非英語中的精確度為 0.95（這就是為什麼 ChatGPT-4o 可能會過度拒絕非英語對話中的語音請求）。
但係統卡的研究結果確實表明了創建人工智慧聊天機器人所涉及的複雜性，該機器人只需一個簡短的樣本即可模擬某人的聲音，而無需對該樣本進行大量培訓。語音克隆可用於冒充某人並實施詐欺。不過，OpenAI 發現未經授權產生語音的風險很小。
即使您由於採取了適當的安全措施而排除了它被用於冒充和欺詐的風險，但當您與機器交談並且機器突然開始用您的聲音回复時，仍然會感到相當不安。 X 上的一位數據科學家稱其為“黑鏡下一季的情節”，感覺確實如此。另一位用戶在 X 上聲稱，這種情況在 ChatGPT-4o alpha 中發生在他們身上，但不知道這是否屬實。
不過，下次您與 ChatGPT-4o 交談時，這種情況仍有可能發生。這是公益廣告：如果發生了也不要驚慌，也不要驚慌太多。
OpenAI 還設置了防護欄，以確保 GPT-4o 拒絕識別人員並產生受版權保護的內容，這是評估過程中發現的其他風險。
該公司在該模型中發現的其他風險中，大部分都屬於低風險類別。其中包括網路安全、生物威脅和模型自主。然而，在說服方面，它發現風險為中等：這意味著 GPT-4o 產生的一些書寫樣本被證明比人類書寫的文本更有說服力，能夠左右人們的觀點。
發佈留言