Diarizzazione: come funzionano le etichette dei parlanti
Autore: Hushscript Pubblicato: Ultima revisione:
La diarizzazione del relatore è il processo automatico di separazione di una registrazione in segmenti in base al relatore, rispondendo “chi ha parlato quando?” prima che qualsiasi essere umano legga la trascrizione. L’attuale ricerca sulla diarizzazione dei parlanti nell’ACL Anthology descrive lo stesso compito per le conversazioni tra più parti. È la differenza tra un muro di parole e una conversazione strutturata, ed è il motivo per cui la trascrizione di un’intervista a due persone ritorna come un dialogo leggibile anziché come un lungo paragrafo.
In parole povere: carichi una registrazione, il motore di diarizzazione trova i punti in cui cambia la voce, raggruppa i segmenti che suonano come la stessa persona e restituisce una trascrizione che si legge come un copione: una riga per turno, etichettata dalla voce. Questo post spiega come funziona, perché la diarizzazione non equivale al riconoscimento di una voce e come trasformare le etichette generiche in nomi reali.
Diarizzazione dell’oratore, in modo semplice
Immagine che trascrive a mano un’intervista di 90 minuti. Dopo aver trasformato il discorso in testo, la cosa successiva da fare è aggiungere le attribuzioni: “Intervistatore:”, “Oggetto:”, avanti e indietro, ogni volta che la voce cambia. Quel lavoro di attribuzione, decidere chi sta parlando in un dato secondo, è esattamente ciò che fa per te la diarizzazione.
L’output è una trascrizione in formato dialogo:
Parlante A [00:00:12]: La prima cosa da capire è che i dati esistono solo per un momento.
Parlante B [00:00:27]: Giusto, e questa è la parte che la maggior parte delle persone non capisce finché non è troppo tardi.
Parlante A [00:00:34]: Esattamente. Quindi la vera domanda diventa cosa fai in quella finestra.
Ogni espressione è legata a un oratore e a un timestamp. Puoi quindi rinominare Parlante A e Parlante B con nomi reali; una modifica per oratore e l’etichetta si aggiorna ovunque appaia.
L’alternativa, una semplice trascrizione senza diarizzazione, è un blocco continuo di testo in cui devi riprodurre l’audio per capire chi ha detto cosa. Per qualsiasi cosa che superi un paio di minuti con due o più voci, questo è un vero lavoro manuale, ed è il lavoro rimosso dal pass di diarizzazione.
Cosa ti serve prima di iniziare
Non ci sono impostazioni da configurare e niente da installare. La diarizzazione viene eseguita sulla registrazione stessa, quindi l’unico vero prerequisito è l’audio in cui gli oratori sono ragionevolmente distinti:
- Una registrazione con ogni voce al suo interno. La diarizzazione funziona all’interno di un singolo file, quindi tutti gli oratori devono essere presenti in quel file. Una tavola rotonda in cui tutti condividono una stanza in cui il microfono funziona; due persone registrate ciascuna sul proprio dispositivo separato, salvate come due file separati, no. Combinali prima in un unico mix.
- Audio sufficientemente chiaro. Non è necessario che sia di qualità da studio. È necessario che ogni persona sia udibile senza sforzo, con diafonia e rumore di fondo limitati. Più pulita è la separazione tra le voci, più pulite sono le etichette.
- Un’idea approssimativa di quante persone stanno parlando. Non è necessario fornirlo, ma conoscerlo ti aiuta a verificare la sanità mentale del risultato: se hai registrato tre persone e la trascrizione mostra sei oratori, sai dove cercare.
Questo è tutto. Nessuna registrazione del microfono, nessun campionamento vocale, nessuna configurazione per parlante.
Come funziona l’identificazione automatica dell’oratore
La diarizzazione si suddivide in alcune fasi distinte. Conoscerli rende l’output più facile da leggere e più facile da correggere quando si verifica qualcosa di sbagliato.
Estrazione delle funzionalità. L’audio viene suddiviso in fotogrammi brevi, in genere da 10 a 40 millisecondi ciascuno, e il motore misura le caratteristiche acustiche in ogni fotogramma. Le caratteristiche che contano per distinguere gli oratori risiedono nel dominio della frequenza: tono, formanti e modelli spettrali che tendono a rimanere coerenti nella voce di una persona e differiscono tra le persone.
Segmentazione. Il motore cerca punti di cambiamento degli oratori: momenti in cui le caratteristiche della voce cambiano. Questa è la parte difficile. Un cambiamento può avvenire a metà frase quando qualcuno interrompe, e il rumore o la sovrapposizione del discorso possono nascondere un confine reale o inventarne uno falso.
Clustering. I segmenti che suonano come la stessa voce vengono raggruppati insieme. Al motore non viene detto quante persone ci sono nella stanza; deduce il conteggio dei parlanti dall’audio. Se conosci il conteggio in anticipo, alcune configurazioni ti consentono di fornirlo; in caso contrario, il motore lo stima, da cui provengono la maggior parte degli errori “dividere una persona in due” e “unire due persone in una”.
Etichettatura. Ogni cluster riceve un’etichetta:Parlante A,Parlante B,Parlante C o Parlante 0,Parlante 1. Le etichette sono segnaposto arbitrari. Non c’è alcuna identità dietro di loro, solo una gestione stabile di una voce nell’intera registrazione.
L’intera pipeline viene eseguita come un passaggio automatizzato insieme alla trascrizione, quindi non viene eseguito un lavoro separato di etichettatura dei parlanti.
Diarizzazione e riconoscimento vocale
Questi due si confondono costantemente, ma rispondono in modo diverso domande.
Diarizzazione chiede: chi sta parlando in questo momento, rispetto alle altre voci in questo file? Separa le voci ma non ha idea a chi appartengano. Non richiede conoscenze pregresse e non registra alcuna voce una volta terminato il lavoro.
Il riconoscimento vocale, chiamato anche identificazione dell’oratore, chiede: è la stessa persona presente in una registrazione di riferimento nota? È necessario un campione vocale registrato con cui confrontarlo ed è la tecnologia alla base dei sistemi di “verifica della tua identità tramite voce”.
Utilizza Hushscript diarizzazione, non riconoscimento vocale. Non esiste un database delle voci registrate e la tua registrazione non viene mai confrontata con quella di nessun altro. Le etichette dei parlanti derivano esclusivamente dalle caratteristiche vocali all’interno di quel file.
Questa distinzione è il motivo per cui la diarizzazione non può nominare le persone per te. Può dire con sicurezza “la stessa persona ha parlato per questi 200 giri in un’ora”, ma non può dire chi sia quella persona. Questo passaggio spetta a te e basta un clic per ogni parlante. Se desideri uno sguardo più approfondito su come Hushscript gestisce le registrazioni con più oratori dall’inizio alla fine, la pagina di identificazione dell’oratore lo copre.
Un esempio pratico: una riunione di tre persone
Supponiamo che tu registri una riunione di progetto di 40 minuti con tre persone in una stanza, condividendo un singolo microfono portatile, salvata come singolo file .m4a. Lo inserisci e, dopo la trascrizione, l’output sarà simile a questo:
Parlante A [00:00:04]: Ok, iniziamo con la data di lancio. Dove siamo?
Parlante B [00:00:09]: Il design è finito. Lunedì abbiamo consegnato le schermate finali.
Parlante C [00:00:14]: Engineering ha bisogno di circa altre due settimane per il flusso di pagamento.
Parlante A [00:00:21]: Due settimane ci fanno superare la data promessa al marketing.
Parlante B [00:00:27]: Possiamo spedire senza il nuovo flusso di pagamento e dare seguito?
Parlante C [00:00:33]: Non in modo pulito. Il vecchio flusso si interrompe con i nuovi prezzi.
Tre voci, separate ed etichettate, con timestamp ad ogni turno. Ora rinominate:Parlante A diventa “Priya” (è lei a condurre la riunione),Parlante B diventa “Tom”,Parlante C diventa “Dana”. Dopo tre clic, ogni riga porta un nome reale e la trascrizione è pronta per essere incollata negli appunti della riunione con la corretta attribuzione in tutto.
La stessa forma vale per un’intervista a due persone, un podcast a quattro persone o una telefonata bilaterale: il motore separa ciò che sente e tu inserisci i nomi.
Come rietichettare i relatori in Hushscript
Le etichette arrivano apposta generiche; nominarli è un passaggio rapido dell’editor. Il flusso prima di arrivarci è: rilascia il tuo file e viene renderizzata un’anteprima di 30 secondi con l’etichetta del relatore senza che sia necessario un account, registrati per trascrivere il resto, quindi apri la trascrizione finita. Da lì:
- Fai clic sull’etichetta di qualsiasi oratore nell’editor della trascrizione, ad esempio
Parlante B. - Digita il vero nome, ad esempio “Tom”.
- Ogni istanza di quell’oratore si aggiorna contemporaneamente, dalla prima riga all’ultima.
La ridenominazione è globale, quindi non modificherai mai la stessa etichetta due volte. Per un’intervista di 90 minuti con due relatori, un passaggio completo di rietichettatura richiede meno di un minuto e ti ritroverai con una trascrizione pronta per la citazione che attribuisce correttamente ogni riga. Puoi quindi esportarlo, con i nomi inseriti, in uno qualsiasi dei 21 formati come TXT, SRT, DOCX, PDF e JSON, oltre a un file .husharchive protetto da password.
Risoluzione dei problemi comuni di diarizzazione
La diarizzazione è affidabile su registrazioni pulite e diventa più difficile man mano che l’audio diventa più confuso. I problemi più comuni e cosa fare al riguardo:
Discorso sovrapposto. Quando due persone parlano contemporaneamente, il motore deve assegnare l’audio sovrapposto a un singolo parlante e può etichettare erroneamente il crossover o eliminare alcune parole. Non c’è alcuna soluzione nel software; l’audio contiene realmente due voci nello stesso momento. La prevenzione è la leva: una registrazione in cui le persone si alternano diarizza in modo molto più pulito di una piena di interruzioni. Laddove si verificano sovrapposizioni, una rapida lettura dell’audio coglie le poche righe interessate.
Voci dal suono simile. Due parlanti con tono e accento simili (ad esempio, due uomini della stessa età o fratelli) sono più difficili da separare rispetto a una coppia contrastante, perché le loro caratteristiche vocali si sovrappongono effettivamente. Il motore può occasionalmente scambiare un giro tra di loro. Esegui la scansione della trascrizione per individuare righe che leggono in modo strano per l’oratore assegnato; quelli sono quelli da riassegnare manualmente.
Una persona divisa in due etichette. Se l’audio di qualcuno cambia durante la registrazione (si avvicina al microfono, passa dalle cuffie al vivavoce o la connessione diminuisce), il motore può leggere la seconda metà come una nuova voce e creare un’etichetta aggiuntiva. Unisci i due rietichettandoli entrambi con lo stesso nome; i duplicati si confondono in un unico parlante.
Due persone fuse in un’unica etichetta. Accade il contrario quando due voci tranquille o distanti suonano troppo simili perché il motore possa dividersi. Questo problema è più difficile da risolvere dopo che si è verificato, quindi vale la pena prevenirlo: avvicina il microfono ai parlanti ed evita di registrare dall’altra parte di una stanza grande.
Audio in campo lontano o rumoroso. Un microfono portatile all’estremità di un tavolo per conferenze, un telefono sul tavolo durante una chat di gruppo o un eco pesante della stanza: tutti confondono i confini tra le voci. Il posizionamento più vicino del microfono aiuta ogni interlocutore e la riduzione del rumore di fondo (ventole, traffico, musica) migliora la separazione. La qualità della diarizzazione monitora attentamente la qualità audio.
Chiamate telefoniche registrate come due file separati. Se il registratore ha salvato ciascun lato di una chiamata come un proprio file mono, la diarizzazione su entrambi i file vede solo una voce. Combina prima i due in un’unica registrazione mixata, in modo che entrambe le voci siano presenti in un unico file, quindi trascrivilo.
Suggerimenti per la precisione che muovono effettivamente l’ago
Alcune abitudini rendono la diarizzazione notevolmente migliore e la maggior parte di esse riguarda la registrazione, non il software:
- Lascia che le persone prendano turni. Il cross-talk è la principale fonte di errori di diarizzazione. Una discussione moderata è meglio di una discussione aperta a tutti.
- Avvicina il microfono. La distanza e l’eco della stanza confondono le voci. L’ideale è un microfono vicino a persona; un microfono condiviso al centro del tavolo batte uno nell’angolo.
- Elimina il rumore di fondo evidente. La musica, un ventilatore acceso o un bar affollato sono tutti fattori che competono con le voci e confondono i confini.
- Inserisci tutte le voci nel file che trascrivi. La diarizzazione confronta i parlanti all’interno di una registrazione. Se un registratore ha prodotto tracce partecipanti separate, mixale o uniscile prima in un unico file in modo che il pass di diarizzazione possa ascoltare l’intera conversazione.
Nulla di tutto ciò deve essere perfetto. Turni chiari e una posizione ragionevole del microfono consentono alla maggior parte delle registrazioni di essere etichettate in modo pulito, mentre l’editor si occupa del resto.
Perché è importante per interviste e riunioni
Senza diarizzazione, una trascrizione di una conversazione tra più persone è quasi inutilizzabile per i suoi lavori più comuni:
- Citazioni dirette. Tu non puoi citare qualcuno se non sai quali sono le sue righe.
- Attribuzione riepilogo. Un riepilogo della riunione che non dice chi ha detto cosa è appena più utile di nessun riepilogo.
- Ricerca per oratore. Se stai cercando qualcosa che ha detto una persona, non puoi filtrare un singolo blocco indifferenziato di testo.
Con la diarizzazione, ognuno di questi è semplice e la trascrizione diventa un documento anziché un testo grezzo. Per tutto ciò che verrà pubblicato o citato, sia che si tratti di giornalismo, ricerca o note di podcast, l’attribuzione accurata non è facoltativa e ricavarla dalla trascrizione invece di ricostruirla dall’audio è il modo in cui si risparmia tempo. Per il lavoro interno come appunti di riunioni, ricerche su interviste o record delle risorse umane, la struttura etichettata è altrettanto preziosa: scansionare un dialogo è molto più veloce che leggere un muro di testo.
Per una guida completa al contesto, vedi come trascrivere un’intervista, che copre la registrazione, la trascrizione e la rietichettatura per il giornalismo e la ricerca, e come per trascrivere un podcast per etichettare conduttori e ospiti in un episodio.
Le etichette dei parlanti sono gratuite su ogni trascrizione di Hushscript
La diarizzazione dell’oratore è inclusa in ogni trascrizione di Hushscript senza costi aggiuntivi. Non è previsto alcun componente aggiuntivo per la diarizzazione, nessun livello di piano separato e nessun limite al numero di parlanti che può avere una registrazione. Lo stesso Hushscript è a pagamento senza abbonamento. Ci sono 30 minuti gratuiti per provare e paghi solo per i minuti che utilizzi successivamente; consulta la pagina dei prezzi per i dettagli.
La separazione degli oratori è gratuita perché la trascrizione di una conversazione senza di essa è solo metà di una trascrizione: testo leggibile senza alcuna idea di chi l’ha detto. Inserisci una registrazione, ottieni automaticamente le etichette, rinominale con un clic ed esporta il risultato. Maggiori informazioni su come tutto si integra sono disponibili nella pagina da audio a testo.
Fonti e standard indipendenti
Hushscript ha consultato queste fonti indipendenti e non concorrenti. Illustrano ricerche, standard o il funzionamento delle piattaforme e non implicano un sostegno a Hushscript.
Fonti verificate il: