跳至主要內容

部落格

什麼是說話者分離(Diarization)?運作原理

作者: 發布: 最後審閱:

說話者分離(speaker diarization)是依說話者將錄音自動切分成多個片段的過程,在任何人閱讀逐字稿之前就先回答「誰在何時說話?」。ACL Anthology 上的說話者分離研究也針對多方對話描述了同樣的任務。它正是一大段文字與結構清楚的對話之間的差別,也是雙人訪談的逐字稿會呈現為易讀的對話,而不是一整段文字的原因。

簡單來說:您上傳錄音,分離引擎會找出聲音變換的位置,把聽起來像同一個人的片段歸為一組,再交還一份逐字稿,每個發言輪次一行,並以聲音標示。這篇文章會說明 diarization 的意思、運作的每個步驟、它與說話者辨識的差別、開發者使用的工具,以及哪裡容易出錯。

什麼是說話者分離?淺白說明 diarization 的意思

想像一下手動轉寫 90 分鐘的訪談。把語音轉成文字之後,接下來的工作是標明歸屬:「訪談者:」、「受訪者:」,每當聲音變換就來回標一次。判斷每一秒是誰在說話,正是說話者分離替您做的事。您也會看到它被稱為語音分離(speech diarization)。定義相同:為音訊的每個部分標上所屬的聲音。

輸出是對話格式的逐字稿:

說話者 A [00:00:12]:首先要明白的是,資料只存在一會兒。
說話者 B [00:00:27]:對,大多數人都沒有意識到這一點,直到為時已晚。
說話者 A [00:00:34]:沒錯。因此,真正的問題是您在那段時間內要做什麼。

每一段發言都對應一位說話者和一個時間戳記。接著您可以將說話者 A和說話者 B重新命名為真實姓名,每位說話者只需編輯一次,標籤就會在所有出現的地方一併更新。

另一種做法是沒有說話者分離的純逐字稿,那是一整塊連續的文字,您得重播音訊才能搞清楚誰說了什麼。超過幾分鐘、有兩個以上聲音的內容,這就是實打實的手動工作,而說話者分離這一步正是把這份工作省掉。

開始之前需要什麼

說話者分離是對錄音本身執行,所以唯一真正的前提是說話者的聲音要夠容易區分:

不需要麥克風註冊,不需要聲音樣本,也不需要為每位說話者做任何設定。

說話者分離如何運作

說話者分離分成幾個不同的階段。了解它們,輸出會更容易看懂,出錯時也更容易修正。下面這張說話者分離流程圖由左至右呈現從音訊檔案到標籤的流程:

音訊檔案  ->  影格  ->  聲音特徵  ->  變換點  ->  群組  ->  標籤
           10-40 ms   音高、頻譜    A | B | A | C   A, B, C   說話者 A、B、C

特徵擷取。 音訊會被切成短短的影格,通常每個影格 10 到 40 毫秒,引擎會測量每個影格中的聲學特徵。用來區分說話者的重要特徵位於頻域:音高、共振峰和頻譜模式,這些特徵在同一個人的聲音中往往保持一致,不同人之間則有差異。

分段。 引擎會尋找說話者變換點:也就是這些聲音特徵改變的時刻。這是最困難的部分。有人插話時,變換點可能落在句子中間,而噪音或重疊的語音可能掩蓋真正的邊界,或憑空造出錯誤的邊界。

分群。 聽起來像同一個聲音的片段會被歸為一組。引擎不會事先被告知房間裡有幾個人,而是從音訊推算說話者人數。如果您事先知道人數,有些設定可以讓您提供這個數字;否則引擎會自行估算,而「把一個人拆成兩個」和「把兩個人合成一個」的錯誤,大多就出在這一步。

標記。 每個群組會得到一個標籤:說話者 A、說話者 B、說話者 C,或 說話者 0、說話者 1。這些標籤只是任意的預留名稱,背後沒有身分,只是用來在整段錄音中穩定指向同一個聲音。

以上描述的是經典流程。較新的系統通常會訓練神經網路模型,一併處理其中數個階段。目標和輸出不變:一條記錄誰在何時說話的時間軸。在 Hushscript 中,整個過程是與轉錄一起進行的自動化步驟,因此您不必另外執行說話者標記作業。

說話者分離模型、Python 工具與 API

想自行執行說話者分離的開發者有幾種途徑。pyannote.audio 是建立在 PyTorch 上的開源 Python 說話者分離工具包,內建現成的分離流程。WhisperX 等專案則將轉錄模型與分離模型搭配,讓文字與說話者輪次對得上。自行執行任何一種,都意味著要設定模型、自備運算資源,並寫一些程式來串接。

API 是折衷的做法:傳入音訊,取回附有說話者輪次的文字。Hushscript 的公開 API 在轉錄任務中提供 speaker_detection 選項。使用方式請參閱開發者頁面。

如果您只想要結果,也就是從檔案取得標有說話者的逐字稿,那就不需要安裝任何東西。下一節會說明為什麼單靠說話者分離無法替任何人命名,再往後的章節則介紹免寫程式的做法。

說話者分離與說話者辨識的差別

這兩者經常被混為一談,但它們回答的是不同的問題。

說話者分離問的是:相較於這個檔案中的其他聲音,此刻是誰在說話? 它能區分不同聲音,卻不知道聲音屬於誰,也不需要任何事前資料。

說話者辨識,也稱為語音辨識,問的是:這個人是否與已知參考錄音中的人相同? 它需要已登錄的聲音樣本作為比對基準,也是「以聲音驗證身分」系統背後的技術。

Hushscript 使用的是說話者分離,不是語音辨識。它不會登錄聲音,也不會將您的錄音與任何其他人的錄音比對。說話者標籤純粹源自該檔案內部的聲音特徵。

這個差異正是說話者分離無法替您說出姓名的原因。它可以指出「同一個人在這一小時內說了 200 段話」,卻無法判斷那個人究竟是誰。這一步由您來完成。如果您要找的是能在逐字稿中標示說話者的軟體,而不是方法的說明,請參閱說話者辨識頁面,了解 Hushscript 如何從頭到尾處理多人錄音。

實際範例:三人會議

假設您錄下一場 40 分鐘的專案會議,三個人在同一個房間,共用一支筆記型電腦麥克風,存成單一的 .m4a 檔案。您把它拖進來,轉錄完成後的輸出如下:

說話者 A [00:00:04]:好的,讓我們從上線日期開始。進度到哪了?
說話者 B [00:00:09]:設計完成了。我們週一已經交付最終畫面。
說話者 C [00:00:14]:付款流程工程端還需要大約兩週。
說話者 A [00:00:21]:兩週的話,就超過我們向行銷承諾的日期了。
說話者 B [00:00:27]:我們能不能先不帶新的付款流程上線,之後再補?
說話者 C [00:00:33]:不太乾淨。舊流程在新定價上會出問題。

三個聲音,已分開並標好,每個輪次都有時間戳記。現在來重新標記:說話者 A 改成「Priya」(她主持會議),說話者 B 改成「Tom」,說話者 C 改成「Dana」。改完三次之後,每一行都帶有真實姓名,逐字稿可以直接貼進會議記錄,歸屬全程正確。

雙人訪談、四人 Podcast 或雙向電話,情況都是一樣:引擎把聽到的內容分開,名字由您來補上。

在 Hushscript 線上試用說話者分離

說話者偵測是上傳選項中的一個核取方塊,標籤不額外收費。流程如下:拖入檔案、貼上支援的音訊連結,或直接在瀏覽器中錄音,無需帳戶即可呈現最長 5 分鐘、附說話者標籤的預覽。預覽會把您自己音訊的每個輪次各列一行並附上標籤。註冊後即可轉錄其餘部分,然後開啟完成的逐字稿。接著:

  1. 在逐字稿編輯器中點擊任一說話者標籤,例如 說話者 B。
  2. 在開啟的選單中選擇編輯說話者名稱。
  3. 在對話框中輸入真實姓名,例如「Tom」,然後儲存。
  4. 該說話者的每一處都會立即更新,從第一行到最後一行。

重新命名是全域性的,因此您不必重複編輯同一個標籤。如果引擎把某個輪次歸到錯誤的說話者,請把該輪次重新指派給正確的標籤。之後您可以將逐字稿連同姓名,以 21 種格式(例如 TXT、SRT、DOCX、PDF 和 JSON)匯出,另外還有受密碼保護的 .husharchive。

說話者分離的常見問題與解決方法

說話者分離在乾淨的錄音上很可靠,音訊越雜亂就越困難。常見問題與處理方式如下:

重疊語音。 兩個人同時說話時,引擎必須把重疊的音訊指派給單一說話者,可能會錯標交疊處,或漏掉幾個字。軟體無法修正這一點,因為音訊在同一時刻確實包含兩個聲音。能下功夫的是預防:大家輪流發言的錄音,說話者分離的結果比充滿插話的錄音乾淨得多。確實出現重疊的地方,對照音訊快速看一遍,就能抓出少數受影響的行。

聲音相似。 音高和口音相近的兩位說話者(例如兩位年紀相仿的男性,或兄弟姊妹),比聲音差異明顯的組合更難區分,因為他們的聲音特徵確實有重疊。引擎偶爾可能會在兩人之間錯置某個輪次。請掃描逐字稿,找出對該說話者來說讀起來怪怪的行,再手動重新指派。

說話者很多。 準確度會隨人數增加而下降,因為每多一個聲音,就多一個要分開的群組,也多一分重疊的機會。Hushscript 對說話者人數沒有付費上限,但一支筆記型電腦麥克風錄下的十人通話,需要的檢查會比雙人訪談更多。

一個人被分成兩個標籤。 如果某人的音訊在錄音中途改變(靠近麥克風、從耳機切換到擴音,或連線品質變差),引擎可能把後半段判定為新的聲音,而多建一個標籤。請將多出來的標籤下的輪次重新指派給正確的說話者。

兩個人被合成一個標籤。 相反的情況發生在兩個安靜或距離較遠的聲音太像,引擎無法分開時。這種情況事後最難修復,所以值得預防:讓麥克風靠近說話者,避免在大房間的另一端錄音。在編輯器中,您可以拆分輪次並重新指派。

遠場或吵雜的音訊。 放在會議桌盡頭的筆記型電腦麥克風、群組聊天時擺在桌上的手機,或是嚴重的房間迴音,都會模糊聲音之間的界線。麥克風放得更近,對每位說話者都有幫助;減少背景噪音(風扇、車流、音樂)則能讓分離更清晰。說話者分離的品質與音訊品質密切相關。

通話被錄成兩個獨立檔案。 如果您的錄音工具把通話兩端各存成自己的單聲道檔案,只對其中一個檔案做說話者分離,只會看到一個聲音。請先把兩者合併成單一混音錄音,讓兩個聲音出現在同一個檔案中,再進行轉錄。

真正有效的準確度訣竅

幾個習慣就能讓說話者分離明顯變好,而且大多與錄音有關,而非軟體:

這些都不需要做到完美。清楚的輪次和合理的麥克風位置,就能讓大多數錄音得到乾淨的標籤,其餘交給編輯器處理。

說話者分離為何對訪談和會議很重要

沒有說話者分離,多人對話的逐字稿在最常見的用途上幾乎無法使用:

有了說話者分離,這些都變得簡單,逐字稿也從原始文字變成一份文件。對於要發表或引用的內容,無論是新聞、研究或 Podcast 節目筆記,準確的歸屬都不能馬虎。對會議記錄、訪談研究或人資紀錄等內部工作,標示過的結構同樣有價值:瀏覽對話遠比閱讀一整面文字快得多。

想看完整的實際流程,請參閱如何轉錄訪談,內容涵蓋新聞和研究用的錄音、轉錄與重新標記;另有如何將 Podcast 轉成逐字稿,說明如何在整集節目中標記主持人和來賓。

說話者標籤不額外收費

每份 Hushscript 逐字稿都包含說話者分離,無須額外付費。沒有說話者分離的附加功能,沒有另外的方案等級,錄音的說話者人數也沒有付費上限。Hushscript 本身是按需付費,無需訂閱。符合資格的個人帳戶可在信用卡驗證成功後獲得一次 30 分鐘免費額度;若尚未領取,也可隨首次購買取得。之後您只需為使用的分鐘數付費;詳情請參閱定價頁面。

自動產生的標籤可能出錯,因此在歸屬很重要時請自行檢查。放入錄音,取得標籤,重新命名,然後匯出結果。這一切如何串在一起,請見音檔轉文字頁面。

獨立來源與標準

Hushscript 參考了這些獨立且非競爭性的資料來源。它們用於說明研究、標準或平台運作方式,並不代表其為 Hushscript 背書。

來源審閱日期:

常見問題

什麼是說話者分離?

說話者分離是將音訊錄音依說話者切分成多個片段的過程。結果是一份逐字稿,每一行都標明是哪個聲音說的(「說話者 A 說了這句,說話者 B 說了那句」),而不是一整塊沒有區分的文字。它能在任何人閱讀逐字稿之前,自動回答「誰在何時說話?」。

diarization 是什麼意思?

在語音技術中,diarization(說話者分離)是指為錄音中的每一段標上所屬的說話者,讓逐字稿記錄誰在何時說話。標籤是通用的,例如說話者 A 和說話者 B,因為系統只是把聲音分組,並不會查出對方是誰。

說話者分離與說話者辨識或語音辨識相同嗎?

不相同。說話者分離會把同一段錄音中的聲音分開,並告訴您這幾段是同一個人說的,但它不知道那個人是誰。說話者辨識則是將聲音與已知的參考樣本比對,進而得出姓名。說話者分離不需要參考樣本,也不會建立聲紋檔案;所以它會標示為「說話者 A」和「說話者 B」,而不是姓名。

說話者分離可以處理多位說話者嗎?

可以,但人數越多,準確度越會下降。Hushscript 對說話者人數沒有付費上限,不過並不存在一個能讓說話者分離維持同樣準確度的通用人數。聲音重疊、音色相近、麥克風距離和環境噪音都有影響。乾淨的圓桌討論,分離效果可能比嘈雜的雙人通話更好,因此只要歸屬很重要,請檢查標籤。

為什麼逐字稿把一個人分成了兩位說話者?

通常是該人的聲音在中途出現明顯變化:靠近或遠離麥克風、從耳機切換到擴音,或是線路品質改變。引擎依聲音特徵分組,因此變化過大時可能被判定為新的聲音。請在編輯器中將受影響的段落重新指派給正確的說話者即可修正。

說話者分離可以告訴我說話者的姓名嗎?

不能。說話者分離只會區分說話者,不會以姓名辨識他們。它會標示為「說話者 A」、「說話者 B」等。逐字稿產生後,您可以在編輯器中自行指定真實姓名,每次重新命名都會套用到該說話者說的每一行。

pyannote 就是說話者分離嗎?

不是。Pyannote.audio 是開源的 Python 工具包,內含說話者分離流程,WhisperX 等工具則將它與轉錄模型結合。說話者分離是任務,pyannote 是自行執行它的方式之一。如果您想要的是附有說話者標籤的完整逐字稿,而且不想寫程式,請改為將檔案上傳到轉錄服務。

我可以線上試用說話者分離嗎?

可以。在 Hushscript 中,您拖入檔案、連結或錄音,登入前即可取得最長 5 分鐘、附說話者標籤的預覽。完整轉錄需要帳戶及足夠的可用分鐘數。符合資格的個人帳戶可在信用卡驗證後,或首次購買時,一次性獲得 30 分鐘免費額度。

說話者分離適用於電話錄音嗎?

適用,前提是通話雙方都有被錄到。如果錄音是包含兩個聲音的單一混合音軌,說話者分離會像處理其他雙人檔案一樣將它們分開。如果通話兩端分別存成各自的單聲道檔案,請先把它們合併成一個混音,讓兩個聲音出現在同一份錄音中。

每份 Hushscript 逐字稿都包含說話者分離嗎?

說話者標籤不額外收費:沒有附加功能,也不需要更高的方案。說話者偵測是上傳選項中的一個核取方塊,轉錄後您可以將標籤重新命名為真實姓名,新名稱會在整份逐字稿中更新。

從 30 分鐘免費額度開始

建立帳戶前即可預覽最長 5 分鐘,新的個人帳戶還可在應用程式中免費預覽首次上傳的檔案。完整轉錄需要帳戶及分鐘數;符合資格的個人帳戶可獲得一次 30 分鐘免費額度,於信用卡驗證後或首次購買時發放。無訂閱。

開始––30 分鐘免費