メインコンテンツへスキップ

ブログ

話者分離(ダイアライゼーション)とは?仕組みと使い方

著者: 公開日: 最終確認日:

話者分離(ダイアライゼーション)とは、録音を話者ごとの区間に分け、人が文字起こしを読む前に「誰がいつ話したか」を自動で割り出す処理です。ACL Anthologyの話者分離に関する最新の研究でも、複数人の会話を対象に同じ課題が扱われています。文字がずらりと並んだだけの文章と、構造のある会話記録を分けるのがこの処理で、2人のインタビューの文字起こしが1つの長い段落ではなく、読みやすい対話として返ってくるのはそのためです。

簡単にいうと、録音をアップロードすると、話者分離エンジンが声の切り替わるポイントを見つけ、同じ人に聞こえる区間をまとめ、声ごとにラベルを付けた、1ターン1行の文字起こしを返します。この記事では、話者分離の意味、仕組みを順を追って、話者識別との違い、開発者向けのツール、うまくいかない場面を取り上げます。

話者分離(ダイアライゼーション)とは?意味をやさしく解説

90分のインタビューを手作業で文字に起こす場面を想像してください。音声をテキストにしたあとの次の作業は、声が変わるたびに「聞き手:」「話し手:」と発言者を書き分けていくことです。いま誰が話しているのかを1秒ごとに判断する、この作業を代わりにやってくれるのが話者分離です。「音声の話者分離」と呼ばれることもあり、定義は同じで、音声の各部分がどの声のものかをラベルで示します。

出力は、対話形式の文字起こしです。

話者 A [00:00:12]: まず理解しておきたいのは、このデータは一瞬しか存在しないということです。
話者 B [00:00:27]: そうなんです。ほとんどの人は、手遅れになるまでそこに気づきません。
話者 A [00:00:34]: その通りです。だから本当の問題は、その短い時間に何をするかになります。

発言ごとに話者とタイムスタンプが結び付いています。話者 Aと話者 Bは、話者ごとに1回の編集で実名に変更でき、表示されているすべての箇所でラベルが更新されます。

話者分離のない単純な文字起こしは、ひとかたまりの文章です。誰の発言かを知るには、音声を聞き直すしかありません。2人以上の声が入った数分を超える録音では、これは本物の手作業になります。話者分離は、その手間をなくしてくれます。

始める前に必要なもの

話者分離は録音そのものに対して実行されるため、前提条件は、話者の声がある程度聞き分けられる音声であることだけです。

マイクの登録も、声のサンプルも、話者ごとの設定も不要です。

話者分離の仕組み

話者分離は、いくつかの段階に分かれています。段階を知っておくと、出力が読みやすくなり、間違いがあったときも直しやすくなります。音声ファイルからラベルまでの流れを、左から右へ読む話者分離の図で示します。

音声  ->  フレーム  ->  声の特徴  ->  変化点  ->  クラスタ  ->  ラベル
ファイル  10-40 ms  ピッチ、スペクトル  A | B | A | C  A, B, C  話者 A、B、C

特徴抽出:音声を通常10〜40ミリ秒の短いフレームに区切り、エンジンがフレームごとに音響的な特徴を測ります。話者の区別に役立つ特徴は周波数領域にあり、ピッチ、フォルマント、スペクトルのパターンなどです。これらは同じ人の声の中では安定していて、人が違えば異なる傾向があります。

セグメンテーション:エンジンは、これらの声の特徴が切り替わる地点、つまり話者の変化点を探します。ここが難所です。誰かが割り込めば文の途中で切り替わることもあり、ノイズや発言の重なりのせいで、本当の境目を見逃したり、ありもしない境目を作ったりします。

クラスタリング:同じ声に聞こえる区間をまとめます。エンジンは部屋に何人いるかを教えられておらず、音声から話者の数を推定します。事前に人数が分かっている場合は、指定できる環境もあります。指定しなければエンジンが推定するため、「1人が2人に分かれる」「2人が1人にまとまる」といった間違いの多くは、ここで起こります。

ラベル付け:各クラスタにラベルを付けます。話者 A、話者 B、話者 C、あるいは話者 0、話者 1といった形です。ラベルは仮の目印にすぎません。背後に個人の特定はなく、録音全体を通して1つの声を指し示す一貫した呼び名があるだけです。

ここまでが従来型のパイプラインです。新しいシステムでは、これらの段階の複数をまとめて処理するニューラルモデルが使われることも多くなっています。目的と出力は変わらず、誰がいつ話したかのタイムラインです。Hushscriptでは、文字起こしと並行して全体が自動で処理されるので、話者ラベル付けの作業を別に実行する必要はありません。

話者分離のモデル、Pythonツール、API

話者分離を自分で動かしたい開発者には、いくつかの方法があります。pyannote.audioは、PyTorchをベースにした話者分離用のオープンソースPythonツールキットで、すぐ使えるパイプラインが用意されています。WhisperXのようなプロジェクトは、文字起こしモデルと話者分離モデルを組み合わせて、テキストと話者のターンを対応させます。どちらも自分で動かす場合は、モデルのセットアップ、計算資源の用意、周辺のコードの記述が必要です。

その中間がAPIで、音声を送ると、話者のターン付きのテキストが返ってきます。Hushscriptの公開APIでは、文字起こしジョブにspeaker_detectionオプションを指定できます。使い方は開発者向けページをご覧ください。

ファイルから話者ラベル付きの文字起こしを得ることだけが目的なら、インストールするものは何もありません。次のセクションでは、話者分離だけでは名前までは分からない理由を説明し、そのあとのセクションでコード不要の手順を紹介します。

話者分離と話者識別の違い

この2つはよく混同されますが、答える問いが異なります。

話者分離が問うのは、このファイルの中の他の声と比べて、いま話しているのは誰かです。声は分けますが、それぞれが誰の声かは分かりません。事前の知識は不要です。

話者識別は声紋認証とも呼ばれ、この声は、既知の参照録音の人と同じかを問います。比較には登録済みの声のサンプルが必要で、「声で本人確認する」システムの土台になっている技術です。

Hushscriptが使うのは話者分離で、声紋認証ではありません。声を登録することも、録音をほかの誰かの声と照合することもありません。話者ラベルは、そのファイルの中の声の特徴だけから作られます。

この違いが、話者分離で人の名前を付けられない理由です。「同じ人が1時間のうちに200回話した」とは言えても、その人が誰かは言えません。その作業はご自身で行います。話者ラベルのつくソフトを探していて、手法の解説は必要ない場合は、話者識別のページで、Hushscriptが複数話者の録音をどう扱うかを最初から最後まで説明しています。

具体例:3人の会議

3人が1つの部屋でノートパソコンのマイクを共有し、40分のプロジェクト会議を録音して、1つの.m4aファイルとして保存したとします。そのファイルを追加すると、文字起こしのあと、出力は次のようになります。

話者 A [00:00:04]: では、リリース日の話から始めましょう。今どんな状況ですか?
話者 B [00:00:09]: デザインは完了しています。月曜日に最終画面を渡しました。
話者 C [00:00:14]: 開発側は、決済フローにあと2週間ほど必要です。
話者 A [00:00:21]: 2週間かかると、マーケティングに約束した日を過ぎてしまいます。
話者 B [00:00:27]: 新しい決済フローなしで出して、あとから追加できませんか?
話者 C [00:00:33]: きれいにはいきません。古いフローは新しい料金体系で動かなくなります。

3人の声が分けられてラベルが付き、すべてのターンにタイムスタンプが入っています。ここでラベルを変更します。話者 Aは「Priya」(会議の進行役)、話者 Bは「Tom」、話者 Cは「Dana」にします。3回の変更で、すべての行に実名が入り、全体を通して発言者が正しく示された文字起こしを、そのまま議事録に貼り付けられます。

2人のインタビューでも、4人のポッドキャストでも、双方向の電話でも同じです。エンジンが聞こえたとおりに声を分け、名前はご自身で付けます。

Hushscriptで話者分離をオンラインで試す

話者検出はアップロードオプションのチェックボックスで選べて、ラベルに追加料金はかかりません。流れは次のとおりです。ファイルをドロップするか、対応する音声のリンクを貼り付けるか、ブラウザーで録音すると、アカウントなしで最長5分の話者ラベル付きプレビューが表示されます。プレビューには、お手元の音声の発言が、ラベル付きで1ターンずつ1行に並びます。続きを文字起こしするにはサインアップし、完成した文字起こしを開きます。そこから先は次の手順です。

  1. 文字起こしエディターで、話者 Bなどの話者ラベルをクリックします。
  2. 開いたメニューから話者名を編集を選びます。
  3. ダイアログに「Tom」などの実名を入力して保存します。
  4. その話者のすべての発言が、最初の行から最後まで一度に更新されます。

名前の変更は全体に適用されるので、同じラベルを2回編集する必要はありません。エンジンが発言を違う話者に分類していた場合は、その発言を正しいラベルに付け替えます。名前を反映した文字起こしは、TXT、SRT、DOCX、PDF、JSONなど21形式のいずれかでエクスポートでき、パスワード保護付きの.husharchiveも選べます。

話者分離でつまずきやすい点と対処法

話者分離は、きれいな録音では信頼できますが、音声が雑になるほど難しくなります。よくある問題と対処法は次のとおりです。

発言の重なり:2人が同時に話すと、エンジンは重なった音声を1人の話者に割り当てなければならず、切り替わり部分に誤ったラベルが付いたり、数語が抜けたりすることがあります。ソフトウェアでは直せません。その瞬間の音声には、実際に2つの声が入っているからです。カギになるのは予防で、順番に話す録音は、割り込みだらけの録音よりずっときれいに分かれます。重なりが起きた場合は、音声を聞きながらざっと読み直せば、影響を受けた数行は見つかります。

似た声の話者:音の高さやアクセントが近い2人(たとえば同年代の男性2人や兄弟)は、声の特徴が実際に重なっているため、対照的な2人より分けにくくなります。エンジンが、2人の間でターンを取り違えることもあります。文字起こしを見て、割り当てられた話者にしては不自然な行を探し、手作業で付け替えてください。

話者が多い場合:人数が増えるほど精度は下がります。声が1つ増えるごとに、区別すべきクラスタが1つ増え、重なりの機会も増えるからです。Hushscriptでは話者数に有料の上限はありませんが、ノートパソコンのマイク1台で10人が参加した通話は、2人のインタビューより確認に手間がかかります。

1人が2つのラベルに分かれる:録音の途中で音声の状態が変わると(マイクに近づく、ヘッドセットからスピーカーフォンに切り替える、接続が不安定になるなど)、エンジンが後半を別の声と判断して、余分なラベルを作ることがあります。余分なラベルの発言を、正しい話者に付け替えてください。

2人が1つのラベルにまとまる:逆に、小さな声や遠い声の2人があまりに似ていて、エンジンが分けられないこともあります。これは後から直すのがいちばん大変なので、予防が大切です。マイクを話者に近づけ、広い部屋の向こう側から録るのは避けてください。エディターでは、ターンを分割して付け替えることができます。

遠くの音声やノイズの多い音声:会議テーブルの端に置いたノートパソコンのマイク、グループチャット中にテーブルに置いたスマートフォン、強い室内の反響は、いずれも声の境目をあいまいにします。マイクを近づければ全員の声が改善され、背景ノイズ(ファン、車の音、音楽)を減らすと、分離がはっきりします。話者分離の品質は、音声の品質にほぼそのまま比例します。

電話が2つの別ファイルで録音された場合:レコーダーが通話の両側を別々のモノラルファイルで保存した場合、どちらか一方だけに話者分離をかけても、聞こえるのは1人分の声だけです。先に2つを1本のミックス録音にまとめて、両方の声が1つのファイルに入るようにしてから、文字起こしを行ってください。

精度を上げるコツ

いくつかの習慣で、話者分離の精度は目に見えて上がります。そのほとんどはソフトウェアではなく、録音のしかたに関するものです。

どれも完璧である必要はありません。ターンがはっきりしていて、マイクの位置が適切なら、ほとんどの録音はきれいなラベルになり、残りはエディターで直せます。

インタビューや会議で話者分離が役立つ理由

話者分離がないと、複数人の会話の文字起こしは、最もよくある用途でほとんど使えません。

話者分離があれば、これらはどれも簡単になり、文字起こしは、素のテキストではなく文書になります。報道、研究、ポッドキャストの番組ノートなど、公開や引用をするものでは、発言者の正確な表示は必須です。会議メモ、インタビュー調査、人事記録のような社内の作業でも、ラベル付きの構造は同じくらい価値があります。対話形式をざっと見るほうが、文字の壁を読むよりずっと速いからです。

全体の流れを詳しく知りたい場合は、報道や研究向けに録音、文字起こし、ラベルの付け替えを扱うインタビューを文字起こしする方法と、エピソード全体でホストやゲストにラベルを付けるポッドキャストを文字起こしする方法をご覧ください。

話者ラベルは追加料金なし

話者分離は、すべてのHushscriptの文字起こしに追加料金なしで含まれます。話者分離のアドオンも、そのための別プランもなく、1つの録音に含められる話者数にも有料の上限はありません。Hushscript自体は従量課金制で、サブスクリプションはありません。対象の個人アカウントは、カード確認に成功すると30分の無料分を1回受け取れます。まだ付与されていない場合は、初回購入時にも受け取れます。その後は、使った分数にだけ料金がかかります。詳しくは料金ページをご覧ください。

自動のラベルは間違うこともあるので、発言者が重要なときは確認してください。録音を追加してラベルを取得し、名前を付けて、結果をエクスポートします。全体のしくみについては、音声の文字起こしのページでさらに詳しく紹介しています。

独立した情報源と規格

Hushscript は、競合関係にない独立した情報源を参照しています。これらは研究、規格、プラットフォームの仕組みを説明するもので、Hushscript を推奨するものではありません。

情報源の確認日:

よくある質問

話者分離(ダイアライゼーション)とは何ですか?

話者分離とは、録音を話者ごとの区間に分けていく処理のことです。結果は、ひとかたまりの文章ではなく、各行が誰の声かひも付いた文字起こしになります(「話者 Aはこう言い、話者 Bはこう言った」という形)。「誰がいつ話したか」を、人が読む前に自動で答えてくれます。

ダイアライゼーションとはどういう意味ですか?

音声技術でいうダイアライゼーションとは、録音の各区間がどの話者のものかを示すラベルを付けることで、文字起こしに誰がいつ話したかを残すことです。ラベルは「話者 A」「話者 B」のような汎用的なものです。システムは声をグループ分けするだけで、誰の声かを調べるわけではないからです。

話者分離は、話者識別や声紋認証と同じですか?

いいえ。話者分離は1つの録音の中で声を分け、同じ人が話した区間を示しますが、その人が誰かまでは分かりません。話者識別は、既知の参照音声と声を照合して名前を結び付けます。話者分離には参照音声が要らず、声のプロファイルも作りません。そのため、話者は名前ではなく「話者 A」「話者 B」というラベルで表示されます。

話者が多くても話者分離は使えますか?

使えますが、人数が増えるほど精度は下がります。Hushscriptには話者数に有料の上限はありませんが、どの人数でも同じ精度が保てるという目安はありません。発言の重なり、似た声、マイクとの距離、部屋の雑音がすべて影響します。クリアに録れたパネルディスカッションのほうが、雑音の多い2人の通話よりきれいに分かれることもあります。誰の発言かが重要な場合は、ラベルを必ず確認してください。

1人なのに2人の話者に分かれてしまうのはなぜですか?

多くの場合、途中でその人の声の聞こえ方が大きく変わったことが原因です。マイクに近づいたり離れたり、ヘッドセットからスピーカーフォンに切り替えたり、回線の品質が変わったりした場合などです。エンジンは声の特徴でグループ分けするため、大きな変化が別の声として扱われることがあります。エディターで該当する発言を正しい話者に付け替えれば直せます。

話者分離で、話者の名前まで分かりますか?

いいえ。話者分離は声を分けるだけで、名前までは特定しません。「話者 A」「話者 B」のようなラベルが付きます。実際の名前は、文字起こしができたあとにエディターで自分で付けます。名前を変更すると、その話者のすべての発言に反映されます。

pyannoteは話者分離と同じものですか?

いいえ。pyannote.audioは、話者分離のパイプラインを含むオープンソースのPythonツールキットで、WhisperXのようなツールは、これを文字起こしモデルと組み合わせています。話者分離は処理の種類で、pyannoteは自分で実行する方法の1つです。コードを書かずに話者ラベル付きの文字起こしを得たい場合は、文字起こしサービスにファイルをアップロードするのが手軽です。

話者分離はオンラインで試せますか?

はい。Hushscriptでは、ファイル、リンク、録音を追加すると、サインインする前に最長5分の話者ラベル付きプレビューが表示されます。全体の文字起こしには、アカウントと十分な残り分数が必要です。対象の個人アカウントには、カード確認後、または最初の購入時に、無料30分が1回付与されます。

電話の通話録音でも話者分離は使えますか?

はい。通話の両側の声が録音されていれば使えます。両方の声が1本のミックスされたトラックに入っている場合は、話者が2人のほかのファイルと同じように声が分かれます。通話の両側が別々のモノラルファイルで保存されている場合は、先に1つのミックスにまとめて、両方の声が同じ録音に入るようにしてください。

Hushscriptの文字起こしには、すべて話者分離が含まれていますか?

話者ラベルに追加料金はかかりません。アドオンも上位プランも不要です。話者検出はアップロードオプションのチェックボックスで選べて、文字起こし後にラベルを実際の名前に変更できます。新しい名前は文字起こし全体に反映されます。

無料30分からはじめる

アカウント作成前に最大5分をプレビューでき、新規の個人アカウントでは、アプリで初めてアップロードしたファイルも無料でプレビューできます。全体の文字起こしにはアカウントと分数が必要です。対象の個人アカウントは、カード確認の後、または初回購入時に、30分の無料分を1回限り受け取れます。サブスクなし。

無料30分ではじめる