部落格
什麼是說話者分離(Diarization)?運作原理
作者: Hushscript 發布: 最後審閱:
說話者分離(speaker diarization)是依說話者將錄音自動切分成多個片段的過程,在任何人閱讀逐字稿之前就先回答「誰在何時說話?」。ACL Anthology 上的說話者分離研究也針對多方對話描述了同樣的任務。它正是一大段文字與結構清楚的對話之間的差別,也是雙人訪談的逐字稿會呈現為易讀的對話,而不是一整段文字的原因。
簡單來說:您上傳錄音,分離引擎會找出聲音變換的位置,把聽起來像同一個人的片段歸為一組,再交還一份逐字稿,每個發言輪次一行,並以聲音標示。這篇文章會說明 diarization 的意思、運作的每個步驟、它與說話者辨識的差別、開發者使用的工具,以及哪裡容易出錯。
什麼是說話者分離?淺白說明 diarization 的意思
想像一下手動轉寫 90 分鐘的訪談。把語音轉成文字之後,接下來的工作是標明歸屬:「訪談者:」、「受訪者:」,每當聲音變換就來回標一次。判斷每一秒是誰在說話,正是說話者分離替您做的事。您也會看到它被稱為語音分離(speech diarization)。定義相同:為音訊的每個部分標上所屬的聲音。
輸出是對話格式的逐字稿:
說話者 A [00:00:12]:首先要明白的是,資料只存在一會兒。
說話者 B [00:00:27]:對,大多數人都沒有意識到這一點,直到為時已晚。
說話者 A [00:00:34]:沒錯。因此,真正的問題是您在那段時間內要做什麼。
每一段發言都對應一位說話者和一個時間戳記。接著您可以將說話者 A和說話者 B重新命名為真實姓名,每位說話者只需編輯一次,標籤就會在所有出現的地方一併更新。
另一種做法是沒有說話者分離的純逐字稿,那是一整塊連續的文字,您得重播音訊才能搞清楚誰說了什麼。超過幾分鐘、有兩個以上聲音的內容,這就是實打實的手動工作,而說話者分離這一步正是把這份工作省掉。
開始之前需要什麼
說話者分離是對錄音本身執行,所以唯一真正的前提是說話者的聲音要夠容易區分:
- 一份包含所有聲音的錄音。 說話者分離只在單一檔案內運作,因此所有說話者都必須出現在該檔案中。大家共用一支房間麥克風的圓桌會議可以;兩個人各自用自己的裝置錄音、存成兩個獨立檔案則不行。請先把它們合併成一個混音。
- 夠清晰的音訊。 不需要錄音室品質,只需要每個人都能輕鬆聽清楚,串音和背景噪音有限。聲音之間分得越乾淨,標籤就越乾淨。
- 大致知道有幾個人在說話。 您不必提供這項資訊,但知道人數有助於檢查結果是否合理:如果您錄的是三個人,逐字稿卻顯示六位說話者,您就知道該往哪裡查。
不需要麥克風註冊,不需要聲音樣本,也不需要為每位說話者做任何設定。
說話者分離如何運作
說話者分離分成幾個不同的階段。了解它們,輸出會更容易看懂,出錯時也更容易修正。下面這張說話者分離流程圖由左至右呈現從音訊檔案到標籤的流程:
音訊檔案 -> 影格 -> 聲音特徵 -> 變換點 -> 群組 -> 標籤
10-40 ms 音高、頻譜 A | B | A | C A, B, C 說話者 A、B、C
特徵擷取。 音訊會被切成短短的影格,通常每個影格 10 到 40 毫秒,引擎會測量每個影格中的聲學特徵。用來區分說話者的重要特徵位於頻域:音高、共振峰和頻譜模式,這些特徵在同一個人的聲音中往往保持一致,不同人之間則有差異。
分段。 引擎會尋找說話者變換點:也就是這些聲音特徵改變的時刻。這是最困難的部分。有人插話時,變換點可能落在句子中間,而噪音或重疊的語音可能掩蓋真正的邊界,或憑空造出錯誤的邊界。
分群。 聽起來像同一個聲音的片段會被歸為一組。引擎不會事先被告知房間裡有幾個人,而是從音訊推算說話者人數。如果您事先知道人數,有些設定可以讓您提供這個數字;否則引擎會自行估算,而「把一個人拆成兩個」和「把兩個人合成一個」的錯誤,大多就出在這一步。
標記。 每個群組會得到一個標籤:說話者 A、說話者 B、說話者 C,或 說話者 0、說話者 1。這些標籤只是任意的預留名稱,背後沒有身分,只是用來在整段錄音中穩定指向同一個聲音。
以上描述的是經典流程。較新的系統通常會訓練神經網路模型,一併處理其中數個階段。目標和輸出不變:一條記錄誰在何時說話的時間軸。在 Hushscript 中,整個過程是與轉錄一起進行的自動化步驟,因此您不必另外執行說話者標記作業。
說話者分離模型、Python 工具與 API
想自行執行說話者分離的開發者有幾種途徑。pyannote.audio 是建立在 PyTorch 上的開源 Python 說話者分離工具包,內建現成的分離流程。WhisperX 等專案則將轉錄模型與分離模型搭配,讓文字與說話者輪次對得上。自行執行任何一種,都意味著要設定模型、自備運算資源,並寫一些程式來串接。
API 是折衷的做法:傳入音訊,取回附有說話者輪次的文字。Hushscript 的公開 API 在轉錄任務中提供 speaker_detection 選項。使用方式請參閱開發者頁面。
如果您只想要結果,也就是從檔案取得標有說話者的逐字稿,那就不需要安裝任何東西。下一節會說明為什麼單靠說話者分離無法替任何人命名,再往後的章節則介紹免寫程式的做法。
說話者分離與說話者辨識的差別
這兩者經常被混為一談,但它們回答的是不同的問題。
說話者分離問的是:相較於這個檔案中的其他聲音,此刻是誰在說話? 它能區分不同聲音,卻不知道聲音屬於誰,也不需要任何事前資料。
說話者辨識,也稱為語音辨識,問的是:這個人是否與已知參考錄音中的人相同? 它需要已登錄的聲音樣本作為比對基準,也是「以聲音驗證身分」系統背後的技術。
Hushscript 使用的是說話者分離,不是語音辨識。它不會登錄聲音,也不會將您的錄音與任何其他人的錄音比對。說話者標籤純粹源自該檔案內部的聲音特徵。
這個差異正是說話者分離無法替您說出姓名的原因。它可以指出「同一個人在這一小時內說了 200 段話」,卻無法判斷那個人究竟是誰。這一步由您來完成。如果您要找的是能在逐字稿中標示說話者的軟體,而不是方法的說明,請參閱說話者辨識頁面,了解 Hushscript 如何從頭到尾處理多人錄音。
實際範例:三人會議
假設您錄下一場 40 分鐘的專案會議,三個人在同一個房間,共用一支筆記型電腦麥克風,存成單一的 .m4a 檔案。您把它拖進來,轉錄完成後的輸出如下:
說話者 A [00:00:04]:好的,讓我們從上線日期開始。進度到哪了?
說話者 B [00:00:09]:設計完成了。我們週一已經交付最終畫面。
說話者 C [00:00:14]:付款流程工程端還需要大約兩週。
說話者 A [00:00:21]:兩週的話,就超過我們向行銷承諾的日期了。
說話者 B [00:00:27]:我們能不能先不帶新的付款流程上線,之後再補?
說話者 C [00:00:33]:不太乾淨。舊流程在新定價上會出問題。
三個聲音,已分開並標好,每個輪次都有時間戳記。現在來重新標記:說話者 A 改成「Priya」(她主持會議),說話者 B 改成「Tom」,說話者 C 改成「Dana」。改完三次之後,每一行都帶有真實姓名,逐字稿可以直接貼進會議記錄,歸屬全程正確。
雙人訪談、四人 Podcast 或雙向電話,情況都是一樣:引擎把聽到的內容分開,名字由您來補上。
在 Hushscript 線上試用說話者分離
說話者偵測是上傳選項中的一個核取方塊,標籤不額外收費。流程如下:拖入檔案、貼上支援的音訊連結,或直接在瀏覽器中錄音,無需帳戶即可呈現最長 5 分鐘、附說話者標籤的預覽。預覽會把您自己音訊的每個輪次各列一行並附上標籤。註冊後即可轉錄其餘部分,然後開啟完成的逐字稿。接著:
- 在逐字稿編輯器中點擊任一說話者標籤,例如
說話者 B。 - 在開啟的選單中選擇編輯說話者名稱。
- 在對話框中輸入真實姓名,例如「Tom」,然後儲存。
- 該說話者的每一處都會立即更新,從第一行到最後一行。
重新命名是全域性的,因此您不必重複編輯同一個標籤。如果引擎把某個輪次歸到錯誤的說話者,請把該輪次重新指派給正確的標籤。之後您可以將逐字稿連同姓名,以 21 種格式(例如 TXT、SRT、DOCX、PDF 和 JSON)匯出,另外還有受密碼保護的 .husharchive。
說話者分離的常見問題與解決方法
說話者分離在乾淨的錄音上很可靠,音訊越雜亂就越困難。常見問題與處理方式如下:
重疊語音。 兩個人同時說話時,引擎必須把重疊的音訊指派給單一說話者,可能會錯標交疊處,或漏掉幾個字。軟體無法修正這一點,因為音訊在同一時刻確實包含兩個聲音。能下功夫的是預防:大家輪流發言的錄音,說話者分離的結果比充滿插話的錄音乾淨得多。確實出現重疊的地方,對照音訊快速看一遍,就能抓出少數受影響的行。
聲音相似。 音高和口音相近的兩位說話者(例如兩位年紀相仿的男性,或兄弟姊妹),比聲音差異明顯的組合更難區分,因為他們的聲音特徵確實有重疊。引擎偶爾可能會在兩人之間錯置某個輪次。請掃描逐字稿,找出對該說話者來說讀起來怪怪的行,再手動重新指派。
說話者很多。 準確度會隨人數增加而下降,因為每多一個聲音,就多一個要分開的群組,也多一分重疊的機會。Hushscript 對說話者人數沒有付費上限,但一支筆記型電腦麥克風錄下的十人通話,需要的檢查會比雙人訪談更多。
一個人被分成兩個標籤。 如果某人的音訊在錄音中途改變(靠近麥克風、從耳機切換到擴音,或連線品質變差),引擎可能把後半段判定為新的聲音,而多建一個標籤。請將多出來的標籤下的輪次重新指派給正確的說話者。
兩個人被合成一個標籤。 相反的情況發生在兩個安靜或距離較遠的聲音太像,引擎無法分開時。這種情況事後最難修復,所以值得預防:讓麥克風靠近說話者,避免在大房間的另一端錄音。在編輯器中,您可以拆分輪次並重新指派。
遠場或吵雜的音訊。 放在會議桌盡頭的筆記型電腦麥克風、群組聊天時擺在桌上的手機,或是嚴重的房間迴音,都會模糊聲音之間的界線。麥克風放得更近,對每位說話者都有幫助;減少背景噪音(風扇、車流、音樂)則能讓分離更清晰。說話者分離的品質與音訊品質密切相關。
通話被錄成兩個獨立檔案。 如果您的錄音工具把通話兩端各存成自己的單聲道檔案,只對其中一個檔案做說話者分離,只會看到一個聲音。請先把兩者合併成單一混音錄音,讓兩個聲音出現在同一個檔案中,再進行轉錄。
真正有效的準確度訣竅
幾個習慣就能讓說話者分離明顯變好,而且大多與錄音有關,而非軟體:
- 讓大家輪流發言。 串音是說話者分離錯誤的最大單一來源。有人主持的討論,勝過自由發言的混戰。
- 把麥克風拉近。 距離和房間迴音會讓聲音混在一起。每人一支近距離麥克風最理想;桌子中央的共用麥克風,勝過放在角落的那一支。
- 去除明顯的背景噪音。 音樂、運轉中的風扇或熱鬧的咖啡館,都會與人聲相互競爭,使邊界變得模糊。
- 把所有聲音放進您要轉錄的檔案。 說話者分離是在同一份錄音內比較說話者。如果錄音工具產生了各參與者獨立的音軌,請先混成一個檔案,讓分離步驟能聽到整場對話。
這些都不需要做到完美。清楚的輪次和合理的麥克風位置,就能讓大多數錄音得到乾淨的標籤,其餘交給編輯器處理。
說話者分離為何對訪談和會議很重要
沒有說話者分離,多人對話的逐字稿在最常見的用途上幾乎無法使用:
- 直接引述。 不知道哪幾行是誰說的,就無法引述。
- 摘要的歸屬。 沒有註明誰說了什麼的會議摘要,幾乎和沒有摘要差不多。
- 依說話者搜尋。 如果您想找某個人說過的話,在一整塊沒有區分的文字中是無法篩選的。
有了說話者分離,這些都變得簡單,逐字稿也從原始文字變成一份文件。對於要發表或引用的內容,無論是新聞、研究或 Podcast 節目筆記,準確的歸屬都不能馬虎。對會議記錄、訪談研究或人資紀錄等內部工作,標示過的結構同樣有價值:瀏覽對話遠比閱讀一整面文字快得多。
想看完整的實際流程,請參閱如何轉錄訪談,內容涵蓋新聞和研究用的錄音、轉錄與重新標記;另有如何將 Podcast 轉成逐字稿,說明如何在整集節目中標記主持人和來賓。
說話者標籤不額外收費
每份 Hushscript 逐字稿都包含說話者分離,無須額外付費。沒有說話者分離的附加功能,沒有另外的方案等級,錄音的說話者人數也沒有付費上限。Hushscript 本身是按需付費,無需訂閱。符合資格的個人帳戶可在信用卡驗證成功後獲得一次 30 分鐘免費額度;若尚未領取,也可隨首次購買取得。之後您只需為使用的分鐘數付費;詳情請參閱定價頁面。
自動產生的標籤可能出錯,因此在歸屬很重要時請自行檢查。放入錄音,取得標籤,重新命名,然後匯出結果。這一切如何串在一起,請見音檔轉文字頁面。
獨立來源與標準
Hushscript 參考了這些獨立且非競爭性的資料來源。它們用於說明研究、標準或平台運作方式,並不代表其為 Hushscript 背書。
來源審閱日期: