Blog
Rozpoznawanie mowy: jak działa zamiana mowy na tekst
Autor: Hushscript Opublikowano: Ostatnio sprawdzono:
Technologia rozpoznawania mowy zamienia mówione audio w zapisane słowa. Nazywa się ją też automatycznym rozpoznawaniem mowy (ASR) albo zamianą mowy na tekst. Ten termin obejmuje dwa zadania, które wydają się podobne, ale działają inaczej: dyktowanie na żywo, gdzie mówisz, a tekst pojawia się na bieżąco, oraz transkrypcję, gdzie przekazujesz nagranie i dostajesz gotową transkrypcję. Podstawowy pomysł jest w obu przypadkach ten sam. Przebieg pracy, dokładność i to, co możesz zrobić z wynikiem, już nie.
Ten poradnik wyjaśnia, co oznacza ASR, jak działa zamiana mowy na tekst od dźwięku do słów i czym różnią się oba tryby. Potem przechodzi przez konwersję nagrania na tekst w Hushscript, z przykładem krok po kroku i problemami, na których ludzie się potykają. Jeśli chcesz po prostu to wypróbować, zacznij od strony Zamiana mowy na tekst.
Co to jest ASR? Znaczenie automatycznego rozpoznawania mowy
Znaczenie ASR jest proste: to skrót od angielskiego automatic speech recognition, czyli automatycznego rozpoznawania mowy. Jeśli zastanawiasz się, co oznacza ASR w tekście albo w produkcie, to właśnie to. „Automatyczne” znaczy, że nikt nie wpisuje słów: oprogramowanie bierze falę dźwiękową i tworzy ciąg słów. Mikrofon rejestruje mowę jako ciągły przebieg falowy, drżącą linię oddającą zmiany ciśnienia powietrza w czasie. Ten przebieg niesie wszystko: słowa, głos mówiącego, pomieszczenie, szum klimatyzacji. Zadaniem silnika jest wydobyć słowa z tej mieszanki i je zapisać.
„ASR”, „rozpoznawanie mowy” i „zamiana mowy na tekst” oznaczają to samo. Uważać trzeba na „rozpoznawanie głosu”. W ścisłym sensie chodzi o ustalenie, kto mówi, jak przy odblokowaniu głosem, a nie co powiedział. W codziennym użyciu oba terminy się zacierają.
Jak działa zamiana mowy na tekst?
Widzisz nagranie na wejściu i transkrypcję na wyjściu. W środku silnik pracuje w kilku etapach:
- Pocięcie audio. Silnik dzieli dźwięk na drobne wycinki, zwykle po 10 do 30 milisekund, i mierzy dźwięk w każdym z nich.
- Dopasowanie dźwięków do słów. Wytrenowany model przypisuje te pomiary dźwiękom mowy danego języka, a potem prawdopodobnym słowom.
- Wybór na podstawie kontekstu. System waży też, które ciągi słów mają ze sobą sens. Dlatego dobry silnik w angielskim nagraniu zapisze „their car broke down”, a nie „there car broke down”, choć oba brzmią identycznie. Używa kontekstu, by wybrać pisownię, którą wybrałby człowiek.
- Uporządkowanie wyniku. Surowe słowa dostają interpunkcję i wielkie litery. Usługa transkrypcji może też rozdzielić osoby mówiące i dodać znaczniki czasu.
W praktyce współpracują ze sobą dwa rodzaje wiedzy. Jeden jest akustyczny: jakie są dźwięki danego języka i jak wymawiają je różne głosy i akcenty. Drugi jest językowy: jakie słowa prawdopodobnie następują po jakich. Starsze systemy trzymały je w osobnych modelach; nowoczesne uczą się obu w jednej sieci.
Technologia zamiany mowy na tekst: jak się zmieniła
Starsze systemy składano z osobnych elementów, takich jak słownik wymowy, model akustyczny i model językowy, każdy dostrojony na ograniczonym zbiorze nagrań. Były kruche przy nowych głosach i w hałaśliwych pomieszczeniach. Nowoczesne silniki to duże modele AI wytrenowane na tysiącach godzin nagranej mowy od wielu osób, z różnymi akcentami i w różnych warunkach nagrywania. Ta szerokość to cały powód, dla którego dzisiejsze transkrypcje są użyteczne. Przy wyraźnej mowie w przyzwoitym nagraniu obecne modele są na tyle dokładne, że edytujesz szkic, a nie przepisujesz wszystko od nowa. Pozostałe błędy to miejsce, w którym przydaje się rozwiązywanie problemów opisane dalej w tym poradniku.
ASR trafia do użytkowników w kilku postaciach: jako aplikacja, jako model uruchamiany przez zespół we własnym zakresie i jako API, do którego programiści wysyłają audio. Hushscript jest aplikacją do transkrypcji, a ma też publiczne API dla programistów. Wszystkie robią to samo, czyli zamieniają dźwięk w słowa; różnią się tym, co zbudowano wokół silnika.
Nagrana mowa a dyktowanie na żywo
Podział, który w praktyce liczy się najbardziej, to czy audio jest przetwarzane na żywo, czy po fakcie.
Dyktowanie na żywo działa w czasie rzeczywistym. Mówisz do telefonu, asystenta głosowego albo funkcji pisania głosem w edytorze tekstu, a słowa pojawiają się niemal tak szybko, jak je wypowiadasz. Tak samo działają asystenci i agenci głosowi. Żeby nadążyć, silnik musi zdecydować o każdym słowie, mając bardzo mało zdania, na którym może się oprzeć. To twarde ograniczenie i dlatego dyktowanie czasem zgaduje słowo, a potem po cichu je przepisuje, gdy dojdą następne. Dyktowanie na żywo to właściwe narzędzie, gdy chodzi o uchwycenie własnej mowy na bieżąco: szybka notatka bez użycia rąk, napisanie e-maila głosem, sterowanie urządzeniem. Jednym z przykładów jest pisanie głosowe w Google Docs.
Transkrypcja działa na kompletnym nagraniu. Dajesz silnikowi gotowy plik audio lub wideo, on przetwarza całość, a ty dostajesz pełną transkrypcję. Ponieważ nic nie musi dziać się w czasie rzeczywistym, silnik może czytać do przodu i zobaczyć całe zdanie, zanim zdecyduje o którymkolwiek słowie, co podnosi dokładność. Może też robić rzeczy, których dyktowanie na żywo nie potrafi. Może rozdzielić osoby mówiące, przypisując każdą wypowiedź temu, kto ją powiedział, i może dodać znaczniki czasu, aby od linii tekstu przejść prosto do tego momentu w audio.
Jeśli masz do czynienia ze spotkaniem, wywiadem, wykładem, odcinkiem podcastu albo nagraną rozmową telefoniczną, robisz transkrypcję z zapisanego pliku, a nie dyktowanie na żywo. Łatwo je pomylić, bo obie są reklamowane jako „zamiana mowy na tekst”, ale nagranie, które już masz, nie pasuje do narzędzia do dyktowania, a pasuje do transkrybera. Hushscript jest zbudowany do nagrań. Nie ma trybu dyktowania na żywo, a ta koncentracja jest celowa: praca z pełnym plikiem pozwala mu czytać do przodu dla dokładności i oznaczać osoby mówiące w tym samym przebiegu.
Jak dokładne jest rozpoznawanie mowy?
Dokładność mierzy się zwykle współczynnikiem błędów słów (word error rate): odsetkiem słów, które silnik rozpoznał błędnie w porównaniu z staranną transkrypcją wykonaną przez człowieka. Transkrypcja, w której 95 procent słów jest poprawnych, nadal ma mniej więcej jedno błędne słowo na dwadzieścia, więc wszystko, co będziesz cytować lub publikować, wymaga przeczytania.
Dokładność zależy bardziej od nagrania niż od jakiegokolwiek ustawienia. Zakres akcentów zależy od modelu i języka. Dla angielskiego modele wytrenowane na szerokich zbiorach danych dobrze radzą sobie z angielskim amerykańskim, brytyjskim, australijskim i indyjskim, a Hushscript oferuje cztery odrębne akcenty angielskiego. Silny dialekt regionalny albo słabiej reprezentowany akcent będzie wymagał odrobiny więcej poprawek, ale nadal edytujesz szkic, a nie piszesz z niczego.
Kilka nawyków podnosi dokładność na każdym nagraniu, niezależnie od akcentu. Nagrywaj z mikrofonem blisko. Pozwól każdej osobie skończyć, zanim zacznie następna. Unikaj dużych, pogłosowych pomieszczeń. Umiarkowane tempo mówienia transkrybuje się lepiej niż sprint powyżej 200 słów na minutę. I rozsądny bitrate ma znaczenie: MP3 o 128 kbps jest w porządku, a silnie skompresowane audio z wiadomości głosowych w paśmie wąskim traci szczegóły, których silnik potrzebuje. Pełniejszy opis formatów i ich dziwactw znajdziesz w materiale jak transkrybować dowolny plik audio.
Hushscript wykrywa język automatycznie i transkrybuje około 99 języków, z najwyższą dokładnością w 18 z nich. Nagranie, które pozostaje w jednym języku, transkrybuje się najczyściej; przełączanie języków w połowie zdania jest trudne dla każdego silnika. Dokładniejszy opis tego, co naprawdę wpływa na dokładność, koszt i cały przebieg od początku do końca, znajdziesz w materiale transkrypcja audio na tekst.
Jak zamienić nagraną mowę na tekst
Oto faktyczny przebieg w Hushscript, w kolejności, w jakiej go spotykasz. Potrzebujesz nagrania jako pliku na swoim urządzeniu, pliku audio lub wideo w dowolnym popularnym formacie, oraz adresu e-mail do utworzenia konta. To cała lista. Działa w przeglądarce, nie trzeba niczego instalować.
- Upuść plik i obejrzyj podgląd. Otwórz stronę Audio na tekst i upuść na nią plik. Hushscript od razu transkrybuje pierwsze 5 minut i pokazuje wynik z już rozdzielonymi osobami mówiącymi. Do tego kroku nie potrzeba konta. Podgląd jest po to, aby można było ocenić dokładność na własnym nagraniu, zanim do czegokolwiek się zobowiążesz.
- Utwórz konto, aby przetranskrybować resztę. Jeśli podgląd wygląda dobrze, utwórz konto za pomocą adresu e-mail. Transkrypcja pełnego pliku wymaga konta, więc właśnie tu się ono pojawia. Konta osobiste spełniające warunki mogą otrzymać 30 bezpłatnych minut, by porządnie wypróbować usługę.
- Prześlij pełny plik. Po utworzeniu konta prześlij całe nagranie. Jeśli to wideo, dźwięk jest najpierw wyodrębniany w twojej przeglądarce i wysyłane jest tylko audio, więc samo wideo zostaje na twoim urządzeniu.
- Przeczytaj, zmień oznaczenia i wyeksportuj. Transkrypcja wraca z każdą wypowiedzią przypisaną do osoby mówiącej (Speaker A, Speaker B i tak dalej) i ze znacznikiem czasu. Kliknij dowolne oznaczenie osoby mówiącej, żeby zmienić jego nazwę, a nowa nazwa zaktualizuje się wszędzie, gdzie ta osoba mówiła. Gdy tekst czyta się tak, jak chcesz, wyeksportuj do TXT jako zwykły tekst, SRT lub VTT jako napisy, CSV lub JSON jako dane ustrukturyzowane, Markdown do notatek publikacyjnych, DOCX do edycji albo PDF do udostępniania.
Trzydzieści minut wystarcza na transkrypcję krótkiego wywiadu, 10-minutowego fragmentu wykładu albo pierwszego fragmentu dłuższego nagrania, jeśli chcesz sprawdzić dokładność, zanim pójdziesz dalej. Konta osobiste spełniające warunki otrzymują bezpłatne minuty po weryfikacji karty albo przy pierwszym zakupie; do pakietów użyj formy płatności pokazanej przy kasie. Karta nie jest wymagana, żeby zacząć. Po wykorzystaniu bezpłatnych minut płacisz tylko za minuty, które transkrybujesz, bez abonamentu. Strona cennika zawiera aktualne stawki.
Przykład krok po kroku
Powiedzmy, że masz nagrany telefonem 38-minutowy wywiad z klientem. Zapisał się jako M4A, dwa głosy, od czasu do czasu brzęk filiżanki do kawy, nagrany w zwykłej sali spotkań.
Upuszczasz plik M4A na stronie Audio na tekst. 5-minutowy podgląd pojawia się jako krótka rozmowa:
Speaker A 00:00 Dziękuję, że znalazłeś czas. Czy mógłbyś zacząć od tego,
co najpierw skłoniło cię do szukania takiego narzędzia?
Speaker B 00:11 Jasne. Tonęliśmy w zgłoszeniach do supportu, a stary
system po prostu nie nadążał, więc zacząłem się rozglądać.
To podgląd bez edycji. Dwa głosy są rozdzielone, każda linia ma znacznik czasu, a brzmienie jest czyste. Tworzysz konto, przesyłasz pełny 38-minutowy plik i kilka minut później kompletna transkrypcja jest gotowa w tym samym kształcie. Speaker A to ty, a Speaker B to twój rozmówca, więc klikasz oznaczenie „Speaker A”, wpisujesz swoje imię i klikasz „Speaker B”, żeby wpisać jego. Obie nazwy zmieniają się w całym dokumencie jednym przebiegiem. Eksportujesz do DOCX, otwierasz w edytorze tekstu, poprawiasz dwa albo trzy miejsca, gdzie nazwa produktu wyszła zapisana fonetycznie, i masz gotową transkrypcję wywiadu. Te 38 minut zeszło z twojego salda, dlatego bezpłatne 30 minut przydaje się na pierwsze prawdziwe zadanie, a nie tylko na testowy fragment.
Typowe problemy i jak je naprawić
Większość rozczarowujących transkrypcji wynika z nagrania, a nie z silnika. Oto problemy, które pojawiają się najczęściej, i co zrobić z każdym z nich.
Nagranie jest ciche lub niewyraźne. Jeśli głosy są słabe albo pomieszczenie brzmi dudniąco, silnik ma mniej do pracy, a dokładność spada. Mikrofon blisko mówiącego, mikrofon krawatowy albo zestaw słuchawkowy w odległości 10 do 20 centymetrów od ust, robi większą różnicę niż jakiekolwiek ustawienie. Duże, puste pomieszczenie dodaje echo, które rozmazuje granice między dźwiękami; mniejsza lub miękko urządzona przestrzeń nagrywa lepiej. Nie da się tego naprawić po fakcie, więc warto to dopracować przed następnym naciśnięciem nagrywania.
Dwie osoby mówią naraz. Gdy głosy się nakładają, trudniejsze stają się zarówno same słowa, jak i to, kto co powiedział, bo dwa zestawy dźwięków konkurują w tym samym wycinku audio. Nie ma czystej programowej naprawy dla prawdziwego nakładania się. W nagraniu, które kontrolujesz, zostawianie chwili przerwy między wypowiedziami się opłaca. W takim, którego nie możesz powtórzyć, spodziewaj się kilku pomieszanych linii wokół przerwań i uporządkuj je ręcznie.
Termin specjalistyczny wychodzi źle. Modele ogólnego przeznaczenia dobrze znają język codzienny, ale niekoniecznie widziały żargon twojej branży, nietypowe nazwisko albo nazwę produktu. Takie słowa bywają transkrybowane tak, jak brzmią, a nie tak, jak się je pisze. Funkcja „Znajdź i zamień” w wyeksportowanym DOCX poprawia powtarzający się termin w kilka sekund, i to jeden z powodów, dla których DOCX jest najłatwiejszym eksportem do poprawiania.
Plik się nie wczytuje. Większość standardowych plików audio i wideo po prostu działa. Jeśli któryś odmawia, zwykle jest to nietypowy lub bardzo stary kontener. Konwersja na zwykły MP3 lub WAV za pomocą bezpłatnych narzędzi w przeglądarce, które działają na twoim urządzeniu i niczego nie przesyłają, prawie zawsze to rozwiązuje. Jeśli format nadal nie przechodzi, napisz na support@hushscript.com, a zespół go doda.
Jedna osoba rozdzielona na dwie. Czasem ta sama osoba zostaje oznaczona jako dwie osoby mówiące, zwykle dlatego, że jej głos zmienił się w trakcie: zbliżyła się do mikrofonu, przeszła z zestawu słuchawkowego na tryb głośnomówiący albo zmieniła się jakość łącza. Silnik grupuje według tego, jak brzmi głos, więc duża zmiana może wyglądać jak nowa osoba. Scalenie obu oznaczeń w edytorze naprawia to jednym krokiem. Mechanikę tego opisuje poradnik jak działa diaryzacja.
Oznaczenia osób mówiących w tym samym przebiegu
Rozdzielanie osób mówiących, formalnie zwane diaryzacją, działa równolegle z rozpoznawaniem mowy, a nie jako drugie zadanie, za które płacisz dodatkowo. Dostajesz słowa i przypisanie razem, bezpłatnie w każdej transkrypcji. Przy wywiadzie dwóch osób albo małym spotkaniu to rozdzielenie jest zwykle trafne i oszczędza żmudną pracę oznaczania każdej linii ręcznie. Nie ma limitu liczby osób mówiących w pliku, choć dokładność jest najwyższa, gdy głosy są wyraźnie różne, nie nakładają się i nie brzmią podobnie.
Jeśli chcesz uchwycić mowę w trakcie mówienia, sięgnij po narzędzie na żywo wbudowane w urządzenie lub edytor tekstu. Jeśli masz już nagranie, które potrzebujesz jako tekst, przetranskrybuj je ze strony Zamiana mowy na tekst lub Audio na tekst, a oznaczenia osób mówiących i wynik gotowy do eksportu dostaniesz w jednym kroku.
Niezależne źródła i standardy
Hushscript korzystał z tych niezależnych źródeł niezwiązanych z konkurencją. Wyjaśniają badania, standardy lub działanie platform i nie stanowią rekomendacji Hushscript.
Źródła sprawdzono: