ブログ
話者分離(ダイアライゼーション)とは?仕組みと使い方
著者: Hushscript 公開日: 最終確認日:
話者分離(ダイアライゼーション)とは、録音を話者ごとの区間に分け、人が文字起こしを読む前に「誰がいつ話したか」を自動で割り出す処理です。ACL Anthologyの話者分離に関する最新の研究でも、複数人の会話を対象に同じ課題が扱われています。文字がずらりと並んだだけの文章と、構造のある会話記録を分けるのがこの処理で、2人のインタビューの文字起こしが1つの長い段落ではなく、読みやすい対話として返ってくるのはそのためです。
簡単にいうと、録音をアップロードすると、話者分離エンジンが声の切り替わるポイントを見つけ、同じ人に聞こえる区間をまとめ、声ごとにラベルを付けた、1ターン1行の文字起こしを返します。この記事では、話者分離の意味、仕組みを順を追って、話者識別との違い、開発者向けのツール、うまくいかない場面を取り上げます。
話者分離(ダイアライゼーション)とは?意味をやさしく解説
90分のインタビューを手作業で文字に起こす場面を想像してください。音声をテキストにしたあとの次の作業は、声が変わるたびに「聞き手:」「話し手:」と発言者を書き分けていくことです。いま誰が話しているのかを1秒ごとに判断する、この作業を代わりにやってくれるのが話者分離です。「音声の話者分離」と呼ばれることもあり、定義は同じで、音声の各部分がどの声のものかをラベルで示します。
出力は、対話形式の文字起こしです。
話者 A [00:00:12]: まず理解しておきたいのは、このデータは一瞬しか存在しないということです。
話者 B [00:00:27]: そうなんです。ほとんどの人は、手遅れになるまでそこに気づきません。
話者 A [00:00:34]: その通りです。だから本当の問題は、その短い時間に何をするかになります。
発言ごとに話者とタイムスタンプが結び付いています。話者 Aと話者 Bは、話者ごとに1回の編集で実名に変更でき、表示されているすべての箇所でラベルが更新されます。
話者分離のない単純な文字起こしは、ひとかたまりの文章です。誰の発言かを知るには、音声を聞き直すしかありません。2人以上の声が入った数分を超える録音では、これは本物の手作業になります。話者分離は、その手間をなくしてくれます。
始める前に必要なもの
話者分離は録音そのものに対して実行されるため、前提条件は、話者の声がある程度聞き分けられる音声であることだけです。
- すべての声が入った1つの録音。 話者分離は1つのファイルの中で動くため、全員の声がそのファイルに入っている必要があります。全員が1台の会議用マイクを囲むラウンドテーブルなら問題ありません。2人がそれぞれ別の端末で録音し、2つのファイルとして保存した場合は対象外です。先に1つのミックスにまとめてください。
- 十分にクリアな音声。 スタジオ品質は不要です。それぞれの声が無理なく聞き取れて、クロストークや背景ノイズが少なければ十分です。声の分離がはっきりしているほど、ラベルもきれいになります。
- 話している人数のおおよその見当。 入力する必要はありませんが、結果を確かめるときに役立ちます。3人で録音したのに6人の話者が出ていたら、どこを見直せばよいかが分かります。
マイクの登録も、声のサンプルも、話者ごとの設定も不要です。
話者分離の仕組み
話者分離は、いくつかの段階に分かれています。段階を知っておくと、出力が読みやすくなり、間違いがあったときも直しやすくなります。音声ファイルからラベルまでの流れを、左から右へ読む話者分離の図で示します。
音声 -> フレーム -> 声の特徴 -> 変化点 -> クラスタ -> ラベル
ファイル 10-40 ms ピッチ、スペクトル A | B | A | C A, B, C 話者 A、B、C
特徴抽出:音声を通常10〜40ミリ秒の短いフレームに区切り、エンジンがフレームごとに音響的な特徴を測ります。話者の区別に役立つ特徴は周波数領域にあり、ピッチ、フォルマント、スペクトルのパターンなどです。これらは同じ人の声の中では安定していて、人が違えば異なる傾向があります。
セグメンテーション:エンジンは、これらの声の特徴が切り替わる地点、つまり話者の変化点を探します。ここが難所です。誰かが割り込めば文の途中で切り替わることもあり、ノイズや発言の重なりのせいで、本当の境目を見逃したり、ありもしない境目を作ったりします。
クラスタリング:同じ声に聞こえる区間をまとめます。エンジンは部屋に何人いるかを教えられておらず、音声から話者の数を推定します。事前に人数が分かっている場合は、指定できる環境もあります。指定しなければエンジンが推定するため、「1人が2人に分かれる」「2人が1人にまとまる」といった間違いの多くは、ここで起こります。
ラベル付け:各クラスタにラベルを付けます。話者 A、話者 B、話者 C、あるいは話者 0、話者 1といった形です。ラベルは仮の目印にすぎません。背後に個人の特定はなく、録音全体を通して1つの声を指し示す一貫した呼び名があるだけです。
ここまでが従来型のパイプラインです。新しいシステムでは、これらの段階の複数をまとめて処理するニューラルモデルが使われることも多くなっています。目的と出力は変わらず、誰がいつ話したかのタイムラインです。Hushscriptでは、文字起こしと並行して全体が自動で処理されるので、話者ラベル付けの作業を別に実行する必要はありません。
話者分離のモデル、Pythonツール、API
話者分離を自分で動かしたい開発者には、いくつかの方法があります。pyannote.audioは、PyTorchをベースにした話者分離用のオープンソースPythonツールキットで、すぐ使えるパイプラインが用意されています。WhisperXのようなプロジェクトは、文字起こしモデルと話者分離モデルを組み合わせて、テキストと話者のターンを対応させます。どちらも自分で動かす場合は、モデルのセットアップ、計算資源の用意、周辺のコードの記述が必要です。
その中間がAPIで、音声を送ると、話者のターン付きのテキストが返ってきます。Hushscriptの公開APIでは、文字起こしジョブにspeaker_detectionオプションを指定できます。使い方は開発者向けページをご覧ください。
ファイルから話者ラベル付きの文字起こしを得ることだけが目的なら、インストールするものは何もありません。次のセクションでは、話者分離だけでは名前までは分からない理由を説明し、そのあとのセクションでコード不要の手順を紹介します。
話者分離と話者識別の違い
この2つはよく混同されますが、答える問いが異なります。
話者分離が問うのは、このファイルの中の他の声と比べて、いま話しているのは誰かです。声は分けますが、それぞれが誰の声かは分かりません。事前の知識は不要です。
話者識別は声紋認証とも呼ばれ、この声は、既知の参照録音の人と同じかを問います。比較には登録済みの声のサンプルが必要で、「声で本人確認する」システムの土台になっている技術です。
Hushscriptが使うのは話者分離で、声紋認証ではありません。声を登録することも、録音をほかの誰かの声と照合することもありません。話者ラベルは、そのファイルの中の声の特徴だけから作られます。
この違いが、話者分離で人の名前を付けられない理由です。「同じ人が1時間のうちに200回話した」とは言えても、その人が誰かは言えません。その作業はご自身で行います。話者ラベルのつくソフトを探していて、手法の解説は必要ない場合は、話者識別のページで、Hushscriptが複数話者の録音をどう扱うかを最初から最後まで説明しています。
具体例:3人の会議
3人が1つの部屋でノートパソコンのマイクを共有し、40分のプロジェクト会議を録音して、1つの.m4aファイルとして保存したとします。そのファイルを追加すると、文字起こしのあと、出力は次のようになります。
話者 A [00:00:04]: では、リリース日の話から始めましょう。今どんな状況ですか?
話者 B [00:00:09]: デザインは完了しています。月曜日に最終画面を渡しました。
話者 C [00:00:14]: 開発側は、決済フローにあと2週間ほど必要です。
話者 A [00:00:21]: 2週間かかると、マーケティングに約束した日を過ぎてしまいます。
話者 B [00:00:27]: 新しい決済フローなしで出して、あとから追加できませんか?
話者 C [00:00:33]: きれいにはいきません。古いフローは新しい料金体系で動かなくなります。
3人の声が分けられてラベルが付き、すべてのターンにタイムスタンプが入っています。ここでラベルを変更します。話者 Aは「Priya」(会議の進行役)、話者 Bは「Tom」、話者 Cは「Dana」にします。3回の変更で、すべての行に実名が入り、全体を通して発言者が正しく示された文字起こしを、そのまま議事録に貼り付けられます。
2人のインタビューでも、4人のポッドキャストでも、双方向の電話でも同じです。エンジンが聞こえたとおりに声を分け、名前はご自身で付けます。
Hushscriptで話者分離をオンラインで試す
話者検出はアップロードオプションのチェックボックスで選べて、ラベルに追加料金はかかりません。流れは次のとおりです。ファイルをドロップするか、対応する音声のリンクを貼り付けるか、ブラウザーで録音すると、アカウントなしで最長5分の話者ラベル付きプレビューが表示されます。プレビューには、お手元の音声の発言が、ラベル付きで1ターンずつ1行に並びます。続きを文字起こしするにはサインアップし、完成した文字起こしを開きます。そこから先は次の手順です。
- 文字起こしエディターで、
話者 Bなどの話者ラベルをクリックします。 - 開いたメニューから話者名を編集を選びます。
- ダイアログに「Tom」などの実名を入力して保存します。
- その話者のすべての発言が、最初の行から最後まで一度に更新されます。
名前の変更は全体に適用されるので、同じラベルを2回編集する必要はありません。エンジンが発言を違う話者に分類していた場合は、その発言を正しいラベルに付け替えます。名前を反映した文字起こしは、TXT、SRT、DOCX、PDF、JSONなど21形式のいずれかでエクスポートでき、パスワード保護付きの.husharchiveも選べます。
話者分離でつまずきやすい点と対処法
話者分離は、きれいな録音では信頼できますが、音声が雑になるほど難しくなります。よくある問題と対処法は次のとおりです。
発言の重なり:2人が同時に話すと、エンジンは重なった音声を1人の話者に割り当てなければならず、切り替わり部分に誤ったラベルが付いたり、数語が抜けたりすることがあります。ソフトウェアでは直せません。その瞬間の音声には、実際に2つの声が入っているからです。カギになるのは予防で、順番に話す録音は、割り込みだらけの録音よりずっときれいに分かれます。重なりが起きた場合は、音声を聞きながらざっと読み直せば、影響を受けた数行は見つかります。
似た声の話者:音の高さやアクセントが近い2人(たとえば同年代の男性2人や兄弟)は、声の特徴が実際に重なっているため、対照的な2人より分けにくくなります。エンジンが、2人の間でターンを取り違えることもあります。文字起こしを見て、割り当てられた話者にしては不自然な行を探し、手作業で付け替えてください。
話者が多い場合:人数が増えるほど精度は下がります。声が1つ増えるごとに、区別すべきクラスタが1つ増え、重なりの機会も増えるからです。Hushscriptでは話者数に有料の上限はありませんが、ノートパソコンのマイク1台で10人が参加した通話は、2人のインタビューより確認に手間がかかります。
1人が2つのラベルに分かれる:録音の途中で音声の状態が変わると(マイクに近づく、ヘッドセットからスピーカーフォンに切り替える、接続が不安定になるなど)、エンジンが後半を別の声と判断して、余分なラベルを作ることがあります。余分なラベルの発言を、正しい話者に付け替えてください。
2人が1つのラベルにまとまる:逆に、小さな声や遠い声の2人があまりに似ていて、エンジンが分けられないこともあります。これは後から直すのがいちばん大変なので、予防が大切です。マイクを話者に近づけ、広い部屋の向こう側から録るのは避けてください。エディターでは、ターンを分割して付け替えることができます。
遠くの音声やノイズの多い音声:会議テーブルの端に置いたノートパソコンのマイク、グループチャット中にテーブルに置いたスマートフォン、強い室内の反響は、いずれも声の境目をあいまいにします。マイクを近づければ全員の声が改善され、背景ノイズ(ファン、車の音、音楽)を減らすと、分離がはっきりします。話者分離の品質は、音声の品質にほぼそのまま比例します。
電話が2つの別ファイルで録音された場合:レコーダーが通話の両側を別々のモノラルファイルで保存した場合、どちらか一方だけに話者分離をかけても、聞こえるのは1人分の声だけです。先に2つを1本のミックス録音にまとめて、両方の声が1つのファイルに入るようにしてから、文字起こしを行ってください。
精度を上げるコツ
いくつかの習慣で、話者分離の精度は目に見えて上がります。そのほとんどはソフトウェアではなく、録音のしかたに関するものです。
- 順番に話してもらう。 クロストークは、話者分離の間違いの最大の原因です。進行役のいる議論のほうが、自由に話す場より向いています。
- マイクを近づける。 距離や部屋の反響があると、声がぼやけて混ざります。1人に1本のマイクが理想です。テーブルの隅より中央の共有マイクのほうがましです。
- 目立つ背景ノイズを減らす。 音楽、回っているファン、にぎやかなカフェは、声と競合して境目を濁らせます。
- 文字起こしするファイルに、すべての声を入れる。 話者分離は、1つの録音の中の話者を比べます。レコーダーが参加者ごとに別のトラックを作った場合は、先に1つのファイルにミックスして、話者分離が会話全体を聞けるようにしてください。
どれも完璧である必要はありません。ターンがはっきりしていて、マイクの位置が適切なら、ほとんどの録音はきれいなラベルになり、残りはエディターで直せます。
インタビューや会議で話者分離が役立つ理由
話者分離がないと、複数人の会話の文字起こしは、最もよくある用途でほとんど使えません。
- 直接引用。 どの行が誰の発言か分からなければ、引用はできません。
- 要約での発言者の明示。 誰が何を言ったかが書かれていない会議の要約は、ないも同然です。
- 話者での検索。 ある人の発言を探したくても、区別のないひとかたまりのテキストは絞り込めません。
話者分離があれば、これらはどれも簡単になり、文字起こしは、素のテキストではなく文書になります。報道、研究、ポッドキャストの番組ノートなど、公開や引用をするものでは、発言者の正確な表示は必須です。会議メモ、インタビュー調査、人事記録のような社内の作業でも、ラベル付きの構造は同じくらい価値があります。対話形式をざっと見るほうが、文字の壁を読むよりずっと速いからです。
全体の流れを詳しく知りたい場合は、報道や研究向けに録音、文字起こし、ラベルの付け替えを扱うインタビューを文字起こしする方法と、エピソード全体でホストやゲストにラベルを付けるポッドキャストを文字起こしする方法をご覧ください。
話者ラベルは追加料金なし
話者分離は、すべてのHushscriptの文字起こしに追加料金なしで含まれます。話者分離のアドオンも、そのための別プランもなく、1つの録音に含められる話者数にも有料の上限はありません。Hushscript自体は従量課金制で、サブスクリプションはありません。対象の個人アカウントは、カード確認に成功すると30分の無料分を1回受け取れます。まだ付与されていない場合は、初回購入時にも受け取れます。その後は、使った分数にだけ料金がかかります。詳しくは料金ページをご覧ください。
自動のラベルは間違うこともあるので、発言者が重要なときは確認してください。録音を追加してラベルを取得し、名前を付けて、結果をエクスポートします。全体のしくみについては、音声の文字起こしのページでさらに詳しく紹介しています。
独立した情報源と規格
Hushscript は、競合関係にない独立した情報源を参照しています。これらは研究、規格、プラットフォームの仕組みを説明するもので、Hushscript を推奨するものではありません。
情報源の確認日: