Ana içeriğe geç

Blog

Konuşmacı Ayrıştırma Nedir? Nasıl Çalışır?

Yazar: Yayınlandı: Son inceleme:

Konuşmacı ayrıştırma, bir kaydı konuşmacıya göre bölümlere ayıran ve hiçbir insan transkripti okumadan önce “kim ne zaman konuştu?” sorusunu yanıtlayan otomatik bir işlemdir. ACL Anthology’deki güncel konuşmacı ayrıştırma araştırması çok katılımcılı konuşmalar için aynı görevi anlatır. Bir kelime yığını ile yapılandırılmış bir konuşma arasındaki fark budur; iki kişilik bir röportajın transkriptinin uzun bir paragraf yerine okunabilir bir diyalog olarak gelmesinin nedeni de budur.

Sade anlatımla: bir kayıt yüklersiniz, ayrıştırma motoru sesin değiştiği noktaları bulur, aynı kişiye benzeyen bölümleri gruplar ve size her konuşma sırası için bir satır olan, sesine göre etiketlenmiş bir transkript verir. Bu yazı ayrıştırmanın anlamını, adım adım nasıl çalıştığını, konuşmacı tanımlamadan farkını, geliştiricilerin kullandığı araçları ve nerede hata yaptığını ele alır.

Konuşmacı ayrıştırma (speaker diarization) nedir? Sade bir anlatımla anlamı

90 dakikalık bir röportajı elle deşifre ettiğinizi düşünün. Konuşmayı metne çevirdikten sonraki iş kimin söylediğini belirtmektir: ses her değiştiğinde “Görüşmeci:”, “Konuk:” diye ileri geri yazmak. Herhangi bir saniyede kimin konuştuğuna karar vermek, ayrıştırmanın sizin yerinize yaptığı iştir. Buna konuşma ayrıştırma da denir. Tanım aynıdır: sesin her bölümünü ait olduğu konuşmacıyla etiketlemek.

Çıktı, diyalog biçiminde bir transkripttir:

Konuşmacı A [00:00:12]: Anlaşılması gereken ilk şey, verinin yalnızca kısa bir an için var olduğu.
Konuşmacı B [00:00:27]: Doğru, çoğu insan da bunu iş işten geçene kadar fark etmiyor.
Konuşmacı A [00:00:34]: Aynen. Asıl soru, o aralıkta ne yaptığınız oluyor.

Her ifade bir konuşmacıya ve bir zaman damgasına bağlanır. Ardından Konuşmacı A ve Konuşmacı B etiketlerini gerçek adlarla değiştirebilirsiniz; konuşmacı başına tek düzenleme yeterlidir ve etiket göründüğü her yerde güncellenir.

Alternatifi, ayrıştırma yapılmamış düz bir transkripttir: kimin ne söylediğini anlamak için sesi baştan dinlemeniz gereken kesintisiz bir metin bloğu. İki ya da daha fazla sesin olduğu ve birkaç dakikayı aşan her kayıtta bu gerçek bir el emeğidir ve ayrıştırma geçişinin ortadan kaldırdığı iş de budur.

Başlamadan önce ne gerekir

Ayrıştırma kaydın kendisi üzerinde çalışır; bu yüzden tek gerçek ön koşul, konuşmacıların makul ölçüde ayırt edilebildiği bir sestir:

Mikrofon tanıtma, ses örneği ya da konuşmacı başına kurulum gerekmez.

Konuşmacı ayrıştırma nasıl çalışır?

Ayrıştırma birkaç ayrı aşamaya bölünür. Bunları bilmek çıktıyı okumayı kolaylaştırır, bir yeri yanlış yaptığında düzeltmeyi de. Bu konuşmacı ayrıştırma diyagramı, ses dosyasından etiketlere akışı soldan sağa gösterir:

ses    ->  kareler ->  ses özellikleri ->  değişim noktaları ->  kümeler  ->  etiketler
dosya    10-40 ms    perde, spektrum      A | B | A | C        A, B, C      Konuşmacı A, B, C

Özellik çıkarımı. Ses, genellikle 10 ila 40 milisaniyelik kısa karelere bölünür ve motor her karedeki akustik özellikleri ölçer. Konuşmacıları ayırt etmeye yarayan özellikler frekans alanındadır: bir kişinin sesinde tutarlı kalma, kişiler arasında ise farklılaşma eğilimi gösteren perde, formantlar ve spektral örüntüler.

Bölütleme. Motor konuşmacı değişim noktalarını, yani bu ses özelliklerinin kaydığı anları arar. Zor kısım burasıdır. Biri lafı kestiğinde değişim cümlenin ortasına denk gelebilir; gürültü veya çakışan konuşma gerçek bir sınırı gizleyebilir ya da olmayan bir sınır uydurabilir.

Kümeleme. Aynı sese benzeyen bölümler bir araya getirilir. Motora odada kaç kişi olduğu söylenmez; konuşmacı sayısını sesten çıkarır. Sayıyı önceden biliyorsanız bazı kurulumlar bunu vermenize izin verir. Bilmiyorsanız motor tahmin eder; “bir kişiyi ikiye bölme” ve “iki kişiyi tek yapma” hatalarının çoğu buradan gelir.

Etiketleme. Her küme bir etiket alır: Konuşmacı A, Konuşmacı B, Konuşmacı C veya Konuşmacı 0, Konuşmacı 1. Etiketler keyfi yer tutuculardır. Arkalarında bir kimlik yoktur; tüm kayıt boyunca tek bir ses için sabit bir tutamaçtan ibarettirler.

Bu, klasik işlem hattını anlatır. Daha yeni sistemler bu aşamaların birkaçını birlikte ele alan sinir ağı modelleri eğitir. Amaç ve çıktı aynı kalır: kimin ne zaman konuştuğunu gösteren bir zaman çizelgesi. Hushscript’te tüm bu işlem, transkripsiyonla birlikte otomatik bir geçiş olarak çalışır; ayrı bir konuşmacı etiketleme işi yürütmezsiniz.

Konuşmacı ayrıştırma modelleri, Python araçları ve API’ler

Ayrıştırmayı kendisi çalıştırmak isteyen geliştiricilerin birkaç yolu vardır. pyannote.audio, PyTorch üzerine kurulu, hazır ayrıştırma işlem hatları sunan açık kaynaklı bir konuşmacı ayrıştırma Python araç setidir. WhisperX gibi projeler, metin ile konuşma sıralarının hizalanması için bir transkripsiyon modelini bir ayrıştırma modeliyle eşleştirir. İkisini de kendiniz çalıştırmak, modelleri kurmayı, kendi işlem gücünüzü sağlamayı ve etraflarına biraz kod yazmayı gerektirir.

API orta yoldur: ses gönderirsiniz, konuşma sıralarıyla birlikte metin alırsınız. Hushscript’in herkese açık API’si, transkripsiyon işlerinde bir speaker_detection seçeneği alır. Nasıl çalıştığı için geliştiriciler sayfasına bakın.

Yalnızca sonucu istiyorsanız, yani bir dosyadan konuşmacı etiketli bir transkript, kurulacak hiçbir şey yoktur. Sonraki bölüm ayrıştırmanın tek başına neden kimseye ad veremediğini açıklar; ondan sonraki bölümler koda gerek olmayan yolu gösterir.

Konuşmacı ayrıştırma ve konuşmacı tanımlama

Bu ikisi sürekli karıştırılır, ama farklı sorulara yanıt verirler.

Ayrıştırma şunu sorar: bu dosyadaki diğer seslere göre şu anda kim konuşuyor? Sesleri ayırır ama kime ait olduklarını bilmez. Önceden bilgi gerektirmez.

Konuşmacı tanımlama, bir diğer adıyla ses tanıma, şunu sorar: bu, bilinen bir referans kayıttaki kişiyle aynı mı? Karşılaştırma için kayıtlı bir ses örneği gerekir ve “kimliğinizi sesinizle doğrulayın” sistemlerinin arkasındaki teknoloji budur.

Hushscript ayrıştırmayı kullanır, ses tanımayı değil. Sesleri kaydetmez ve kaydınızı başka birinin kaydıyla eşleştirmez. Konuşmacı etiketleri yalnızca o tek dosyanın içindeki ses özelliklerinden türetilir.

Ayrıştırmanın size isim verememesinin nedeni bu ayrımdır. “Aynı kişi saat boyunca bu 200 konuşma sırasını söyledi” diyebilir, ama o kişinin kim olduğunu söyleyemez. Bu adım sizindir. Yöntemin açıklaması yerine bir transkriptte konuşmacıları etiketleyen yazılım arıyorsanız, konuşmacı tanımlama sayfası Hushscript’in çok konuşmacılı kayıtları baştan sona nasıl ele aldığını anlatır.

Çalışılmış bir örnek: üç kişilik toplantı

Bir odada üç kişiyle, tek bir dizüstü mikrofonunu paylaşarak 40 dakikalık bir proje toplantısı kaydettiğinizi ve bunu tek bir .m4a dosyası olarak kaydettiğinizi varsayın. Dosyayı bırakırsınız ve transkripsiyondan sonra çıktı şöyle görünür:

Konuşmacı A [00:00:04]: Tamam, lansman tarihiyle başlayalım. Neredeyiz?
Konuşmacı B [00:00:09]: Tasarım bitti. Son ekranları pazartesi teslim ettik.
Konuşmacı C [00:00:14]: Mühendislik, ödeme akışı için yaklaşık iki hafta daha istiyor.
Konuşmacı A [00:00:21]: İki hafta, pazarlamaya söz verdiğimiz tarihi geçiyor.
Konuşmacı B [00:00:27]: Yeni ödeme akışı olmadan çıkıp sonra tamamlayabilir miyiz?
Konuşmacı C [00:00:33]: Sorunsuz olmaz. Eski akış yeni fiyatlandırmada bozuluyor.

Üç ses ayrılmış ve etiketlenmiş, her konuşma sırasında zaman damgası var. Şimdi yeniden etiketlersiniz: Konuşmacı A “Priya” olur (toplantıyı o yönetiyor), Konuşmacı B “Tom”, Konuşmacı C “Dana”. Üç yeniden adlandırmadan sonra her satır gerçek bir ad taşır ve transkript baştan sona doğru atıflarla toplantı notlarına yapıştırılmaya hazırdır.

Aynı yapı iki kişilik bir röportaj, dört kişilik bir podcast ya da iki taraflı bir telefon görüşmesi için de geçerlidir: motor duyduğunu ayırır, adları siz koyarsınız.

Hushscript ile konuşmacı ayrıştırmayı online deneyin

Konuşmacı algılama, yükleme seçeneklerinde bir onay kutusudur ve etiketler ek ücret gerektirmez. Akış şöyledir: dosyanızı bırakın, desteklenen bir ses bağlantısı yapıştırın veya tarayıcıda kayıt yapın; hesap açmadan 5 dakikaya kadar konuşmacı etiketli bir önizleme oluşur. Önizleme, kendi sesinizin her konuşma sırasını etiketiyle ayrı bir satırda gösterir. Geri kalanını deşifre etmek için kaydolun, ardından hazır transkripti açın. Buradan sonrası:

  1. Transkript düzenleyicide Konuşmacı B gibi herhangi bir konuşmacı etiketine tıklayın.
  2. Açılan menüden Konuşmacı isimlerini düzenle seçeneğini seçin.
  3. Gerçek adı, örneğin “Tom”, iletişim kutusuna yazıp kaydedin.
  4. O konuşmacının her geçtiği yer, ilk satırdan sonuncuya kadar aynı anda güncellenir.

Yeniden adlandırma genel olduğundan aynı etiketi iki kez düzenlemezsiniz. Motor bir konuşma sırasını yanlış konuşmacıya yazdıysa o sırayı doğru etikete atayın. Ardından transkripti, adlar dahil, TXT, SRT, DOCX, PDF ve JSON gibi 21 formattan herhangi birinde ve parola korumalı bir .husharchive olarak dışa aktarabilirsiniz.

Konuşmacı ayrıştırmanın zorlukları ve çözümleri

Ayrıştırma temiz kayıtlarda güvenilirdir; ses karmaşıklaştıkça zorlaşır. Sık görülen sorunlar ve yapılacaklar:

Çakışan konuşma. İki kişi aynı anda konuştuğunda motor, çakışan sesi tek bir konuşmacıya atamak zorundadır; geçişi yanlış etiketleyebilir veya birkaç kelimeyi atlayabilir. Yazılımda bunun çaresi yoktur; ses gerçekten aynı anda iki ses içerir. Asıl etkili yol önlemektir: insanların sırayla konuştuğu bir kayıt, kesintilerle dolu bir kayıttan çok daha temiz ayrışır. Çakışmaların olduğu yerlerde sesle karşılaştırarak yapılan hızlı bir okuma, etkilenen birkaç satırı yakalar.

Birbirine benzeyen sesler. Perdesi ve aksanı birbirine yakın iki konuşmacı (örneğin benzer yaştaki iki erkek ya da kardeşler), zıt özellikli bir çiftten daha zor ayrılır; çünkü ses özellikleri gerçekten örtüşür. Motor bazen aralarında bir konuşma sırasını değiştirebilir. Transkriptte atanan konuşmacıya uymayan satırları arayın ve bunları elle yeniden atayın.

Çok sayıda konuşmacı. Kişi sayısı arttıkça doğruluk düşer, çünkü her ek ses ayrı tutulacak bir küme daha ve çakışma için daha fazla fırsat demektir. Hushscript konuşmacı sayısına ücretli bir sınır koymaz, ama tek dizüstü mikrofonuyla yapılan on kişilik bir görüşme, iki kişilik bir röportajdan daha çok gözden geçirme gerektirir.

Tek kişinin iki etikete bölünmesi. Birinin sesi kayıt sırasında değişirse (mikrofona yaklaşır, kulaklıktan hoparlöre geçer ya da bağlantı bozulur) motor ikinci yarıyı yeni bir ses olarak okuyup fazladan bir etiket oluşturabilir. Fazla etiketin altındaki konuşma sıralarını doğru konuşmacıya atayın.

İki kişinin tek etikette birleşmesi. Bunun tersi, iki sessiz veya uzak ses motorun ayıramayacağı kadar birbirine benzediğinde olur. Sonradan onarması en zor olanı budur, bu yüzden önlemeye değer: mikrofonu konuşmacılara yaklaştırın ve büyük bir odanın karşı ucundan kayıt yapmaktan kaçının. Düzenleyicide konuşma sıralarını bölüp yeniden atayabilirsiniz.

Uzak alan veya gürültülü ses. Konferans masasının ucundaki bir dizüstü mikrofonu, grup sohbeti sırasında masaya bırakılmış bir telefon veya yoğun oda yankısı, sesler arasındaki sınırları bulanıklaştırır. Mikrofonu yaklaştırmak her konuşmacıya yardım eder; arka plan gürültüsünü (vantilatör, trafik, müzik) azaltmak ayrımı keskinleştirir. Ayrıştırma kalitesi ses kalitesini yakından izler.

İki ayrı dosya olarak kaydedilmiş telefon görüşmeleri. Kaydedicinizin görüşmenin her tarafını ayrı bir mono dosya olarak kaydettiği durumda, tek bir dosyadaki ayrıştırma yalnızca tek ses görür. Önce ikisini tek bir karışık kayıtta birleştirin, böylece iki ses de aynı dosyada olsun, sonra onu deşifre edin.

İşe gerçekten yarayan doğruluk ipuçları

Birkaç alışkanlık ayrıştırmayı gözle görülür biçimde iyileştirir ve çoğu yazılımla değil kayıtla ilgilidir:

Bunların hiçbirinin kusursuz olması gerekmez. Net konuşma sıraları ve makul bir mikrofon konumu, çoğu kaydı temiz etiketlere ulaştırır; gerisini düzenleyici halleder.

Ayrıştırma röportajlar ve toplantılar için neden önemli?

Ayrıştırma olmadan, çok kişili bir konuşmanın transkripti en sık yapılan işler için neredeyse kullanılamaz:

Ayrıştırmayla bunların her biri kolaylaşır ve transkript ham metin olmaktan çıkıp bir belgeye dönüşür. Yayımlanacak veya alıntılanacak her şey için, ister gazetecilik, ister araştırma, ister podcast bölüm notları olsun, doğru atıf isteğe bağlı değildir. Toplantı notları, röportaj araştırması veya İK kayıtları gibi iç işlerde de etiketli yapı aynı ölçüde değerlidir: bir diyaloğu taramak, bir metin duvarını okumaktan çok daha hızlıdır.

Bağlam içinde tam bir anlatım için, gazetecilik ve araştırma amacıyla kaydı, deşifreyi ve yeniden etiketlemeyi kapsayan röportaj nasıl deşifre edilir yazısına ve bir bölüm boyunca sunucuları ve konukları etiketlemeyi anlatan podcast nasıl deşifre edilir yazısına bakın.

Konuşmacı etiketleri ek ücret gerektirmez

Konuşmacı ayrıştırma, her Hushscript transkriptine ek ücret olmadan dahildir. Ayrıştırma eklentisi yoktur, bunun için ayrı bir paket yoktur ve bir kaydın kaç konuşmacıya sahip olabileceğine dair ücretli bir sınır bulunmaz. Hushscript’in kendisi abonelik gerektirmeyen, kullandıkça öde modelidir. Uygun kişisel hesaplar başarılı kart doğrulamasından sonra veya daha önce verilmemişse ilk satın alımla bir kez 30 ücretsiz dakika alabilir. Bundan sonra yalnızca kullandığınız dakikalar için ödersiniz; ayrıntılar için fiyatlandırma sayfasına bakın.

Otomatik etiketler yanlış olabilir, bu yüzden kimin söylediği önemliyse gözden geçirin. Bir kayıt bırakın, etiketleri alın, adlandırın ve sonucu dışa aktarın. Her şeyin birbirine nasıl oturduğuyla ilgili daha fazlası sesten metne sayfasındadır.

Bağımsız kaynaklar ve standartlar

Hushscript bu bağımsız ve rakip olmayan kaynaklara başvurmuştur. Bu kaynaklar araştırmaları, standartları veya platformların çalışma biçimini açıklar; Hushscript’i destekledikleri anlamına gelmez.

Kaynakların incelenme tarihi:

Sıkça sorulan sorular

Konuşmacı ayrıştırma nedir?

Konuşmacı ayrıştırma (speaker diarization), bir ses kaydını konuşmacıya göre bölümlere ayırma işlemidir. Sonuç, tek parça ve ayrımsız bir metin yerine her satırın bir sese atfedildiği bir transkripttir ("Konuşmacı A bunu söyledi, Konuşmacı B şunu söyledi"). "Kim ne zaman konuştu?" sorusunu, kimse transkripti okumadan önce otomatik olarak yanıtlar.

Diarization ne demek?

Konuşma teknolojisinde diarization, kaydın her bölümünü ait olduğu konuşmacıyla etiketlemek demektir; böylece transkript kimin ne zaman konuştuğunu gösterir. Etiketler Konuşmacı A ve Konuşmacı B gibi genel adlardır, çünkü sistem sesleri gruplar; kim olduklarını aramaz.

Konuşmacı ayrıştırma, konuşmacı tanımlama veya ses tanımayla aynı şey mi?

Hayır. Ayrıştırma, tek bir kayıttaki sesleri birbirinden ayırır ve bu bölümleri aynı kişinin söylediğini bildirir, ama o kişinin kim olduğunu bilmez. Konuşmacı tanımlama, bir sesi bilinen bir referans örnekle karşılaştırarak ona ad verir. Ayrıştırma referans gerektirmez ve ses profili oluşturmaz; bu yüzden konuşmacıları adlarıyla değil, "Konuşmacı A" ve "Konuşmacı B" olarak etiketler.

Konuşmacı ayrıştırma çok sayıda konuşmacıyla çalışır mı?

Evet, ama konuşmacı sayısı arttıkça doğruluk düşer. Hushscript'te konuşmacı sayısı için ücretli bir üst sınır yoktur; yine de ayrıştırmanın aynı doğrulukta kalacağı evrensel bir sayı bulunmaz. Konuşma çakışması, birbirine benzeyen sesler, mikrofon mesafesi ve oda gürültüsü önemlidir. Temiz bir panel, gürültülü iki kişilik bir görüşmeden daha iyi ayrışabilir; bu yüzden kimin söylediği önemliyse etiketleri gözden geçirin.

Transkript neden tek kişiyi iki konuşmacıya böldü?

Genellikle o kişinin sesinin kayıt sırasında belirgin biçimde değişmesinden kaynaklanır: mikrofona yaklaşması veya uzaklaşması, kulaklıktan hoparlöre geçmesi ya da hat kalitesinin değişmesi. Motor sesleri ses özelliklerine göre kümeler; bu yüzden büyük bir kayma yeni bir ses gibi okunabilir. Düzeltmek için düzenleyicide etkilenen konuşma sıralarını doğru konuşmacıya atayın.

Ayrıştırma bana konuşmacının adını söyleyebilir mi?

Hayır. Ayrıştırma konuşmacıları ayırır ama adlarıyla tanımlamaz. Onları "Konuşmacı A", "Konuşmacı B" diye etiketler. Gerçek adları transkript oluşturulduktan sonra düzenleyicide kendiniz verirsiniz ve her yeniden adlandırma o konuşmacının söylediği tüm satırlara uygulanır.

pyannote ile konuşmacı ayrıştırma aynı şey mi?

Hayır. Pyannote.audio, konuşmacı ayrıştırma işlem hatları içeren açık kaynaklı bir Python araç setidir; WhisperX gibi araçlar da onu bir transkripsiyon modeliyle birleştirir. Ayrıştırma bir görevdir, pyannote ise bu görevi kendiniz çalıştırmanın bir yoludur. Konuşmacı etiketli, hazır bir transkript istiyor ve kod yazmak istemiyorsanız dosyayı bir transkripsiyon hizmetine yükleyin.

Konuşmacı ayrıştırmayı online deneyebilir miyim?

Evet. Hushscript'te bir dosya, bağlantı veya kayıt bırakırsınız ve giriş yapmadan önce 5 dakikaya kadar konuşmacı etiketli bir önizleme alırsınız. Tam transkripsiyon için hesap ve yeterli kullanılabilir dakika gerekir. Uygun kişisel hesaplar, kart doğrulamasından sonra veya ilk satın alımla bir kez 30 ücretsiz dakika alır.

Konuşmacı ayrıştırma telefon görüşmesi kayıtlarında çalışır mı?

Evet, görüşmenin iki tarafı da kaydedilmişse. Kayıt iki sesi de içeren tek bir karışık parçaysa ayrıştırma, bunları iki konuşmacılı herhangi bir dosya gibi ayırır. Her taraf ayrı bir mono dosya olarak kaydedildiyse iki ses de aynı kayıtta olsun diye önce bunları tek bir miksaj hâlinde birleştirin.

Konuşmacı ayrıştırma her Hushscript transkriptine dahil mi?

Konuşmacı etiketleri ek ücret gerektirmez: eklenti yok, daha yüksek bir paket yok. Konuşmacı algılama, yükleme seçeneklerinde bir onay kutusudur ve etiketleri transkripsiyondan sonra gerçek adlarla değiştirebilirsiniz. Yeni ad transkriptin tamamında güncellenir.

30 ücretsiz dakikayla başlayın

Hesap oluşturmadan önce 5 dakikaya kadar önizle; yeni bir kişisel hesap, uygulamadaki ilk yüklemesi için ücretsiz bir önizleme alır. Tam yazıya çevirme için bir hesap ve dakika gerekir; uygun kişisel hesaplar bir kez 30 ücretsiz dakika alır: kart doğrulamasından sonra ya da ilk satın alımla. Abonelik yok.

30 ücretsiz dakikayla başlayın