Blog
Speaker diarization là gì? Cách phân tách người nói
Tác giả: Hushscript Ngày đăng: Rà soát lần cuối:
Speaker diarization, hay phân tách người nói, là quá trình tự động chia bản ghi thành các đoạn theo từng người nói, trả lời câu hỏi “ai nói khi nào?” trước khi có người đọc bản phiên âm. Nghiên cứu về speaker diarization trên ACL Anthology hiện nay mô tả cùng bài toán này cho các cuộc trò chuyện nhiều người. Đó là khác biệt giữa một bức tường chữ và một cuộc trò chuyện có cấu trúc, và là lý do bản phiên âm một cuộc phỏng vấn hai người trả về dưới dạng hội thoại dễ đọc thay vì một đoạn văn dài.
Nói đơn giản: bạn tải bản ghi lên, hệ thống tìm những điểm giọng nói đổi người, gom các đoạn nghe như cùng một người và trả về bản phiên âm mỗi lượt nói một dòng, gắn nhãn theo giọng. Bài viết này giải thích ý nghĩa của diarization, cách nó hoạt động từng bước, khác gì nhận dạng người nói, các công cụ dành cho lập trình viên và những chỗ dễ sai.
Speaker diarization là gì? Giải thích đơn giản
Hãy hình dung bạn tự gỡ băng một cuộc phỏng vấn dài 90 phút. Sau khi chuyển lời nói thành văn bản, việc tiếp theo là gán lời cho người nói: “Người phỏng vấn:”, “Khách mời:”, qua lại mỗi khi giọng đổi người. Quyết định ai đang nói ở từng giây chính là việc diarization làm giúp bạn. Bạn cũng sẽ gặp cách gọi diarization giọng nói; định nghĩa vẫn như vậy: gắn nhãn mỗi phần của âm thanh theo giọng nói mà nó thuộc về.
Kết quả là bản phiên âm dạng hội thoại:
Người nói A [00:00:12]: Điều đầu tiên cần hiểu là dữ liệu chỉ tồn tại trong một khoảnh khắc.
Người nói B [00:00:27]: Đúng, và đó là phần mà hầu hết mọi người không nhận ra cho đến khi quá muộn.
Người nói A [00:00:34]: Chính xác. Vì vậy, câu hỏi thực sự là bạn làm gì trong khoảng thời gian đó.
Mỗi câu nói gắn với một người nói và một mốc thời gian. Sau đó bạn có thể đổi Người nói A và Người nói B thành tên thật, mỗi người một lần chỉnh, và nhãn được cập nhật ở mọi nơi xuất hiện.
Cách còn lại, bản phiên âm thường không có phân tách người nói, là một khối văn bản liên tục mà bạn phải nghe lại âm thanh mới biết ai nói gì. Với bản ghi dài hơn vài phút và có từ hai giọng trở lên, đó là công việc thủ công thật sự, và là phần việc mà lượt phân tách người nói loại bỏ.
Cần chuẩn bị gì trước khi bắt đầu
Diarization chạy trên chính bản ghi, nên điều kiện thực sự duy nhất là âm thanh trong đó những người nói đủ khác biệt:
- Một bản ghi chứa đủ mọi giọng nói. Diarization làm việc trong một file duy nhất, nên mọi người nói đều phải có trong file đó. Một cuộc họp bàn tròn dùng chung một micrô trong phòng thì được; hai người ghi âm trên hai thiết bị riêng và lưu thành hai file riêng thì không. Hãy trộn chúng thành một bản trước.
- Âm thanh đủ rõ. Không cần chất lượng phòng thu. Chỉ cần mỗi người nghe được mà không phải căng tai, ít nói chồng và ít tiếng ồn nền. Các giọng nói càng tách bạch thì nhãn càng sạch.
- Biết đại khái có bao nhiêu người đang nói. Bạn không bắt buộc phải cung cấp, nhưng biết số người giúp bạn kiểm tra kết quả: nếu bạn ghi âm ba người mà bản phiên âm hiện sáu người nói, bạn biết cần xem lại ở đâu.
Không cần đăng ký giọng nói trước, không cần lấy mẫu giọng, không cần thiết lập riêng cho từng người nói.
Cách speaker diarization hoạt động
Diarization gồm vài giai đoạn riêng biệt. Hiểu chúng giúp bạn đọc kết quả dễ hơn và sửa dễ hơn khi hệ thống nhầm. Sơ đồ speaker diarization dưới đây cho thấy luồng từ file âm thanh đến nhãn, đọc từ trái sang phải:
âm thanh -> khung hình -> đặc trưng giọng -> điểm đổi người -> cụm -> nhãn
file 10-40 ms cao độ, phổ A | B | A | C A, B, C Người nói A, B, C
Trích xuất đặc trưng. Âm thanh được chia thành các khung ngắn, thường dài 10 đến 40 mili giây, và hệ thống đo các đặc trưng âm học trong từng khung. Những đặc trưng giúp phân biệt người nói nằm ở miền tần số: cao độ, formant và các mẫu phổ, vốn khá ổn định trong giọng của một người và khác nhau giữa người này với người kia.
Phân đoạn. Hệ thống tìm các điểm đổi người nói: thời điểm những đặc trưng giọng đó thay đổi. Đây là phần khó. Điểm đổi người có thể rơi vào giữa câu khi ai đó ngắt lời, còn tiếng ồn hoặc lời nói chồng nhau có thể che mất một ranh giới thật hoặc tạo ra ranh giới giả.
Gom cụm. Các đoạn nghe như cùng một giọng được gom lại với nhau. Hệ thống không được cho biết trong phòng có bao nhiêu người; nó tự suy ra số người nói từ âm thanh. Nếu bạn biết trước số người, một số thiết lập cho phép bạn nhập vào. Nếu không, hệ thống tự ước lượng, và đây là nguồn gốc của hầu hết lỗi “tách một người thành hai” và “gộp hai người thành một”.
Gắn nhãn. Mỗi cụm nhận một nhãn: Người nói A, Người nói B, Người nói C, hoặc Người nói 0, Người nói 1. Các nhãn chỉ là chỗ giữ tạm tùy ý. Không có danh tính nào đằng sau chúng, chỉ là một tên gọi ổn định cho một giọng nói trong suốt bản ghi.
Đây là quy trình cổ điển. Các hệ thống mới hơn thường huấn luyện mô hình nơ-ron xử lý nhiều giai đoạn cùng lúc. Mục tiêu và kết quả vẫn như cũ: một dòng thời gian cho biết ai nói khi nào. Trên Hushscript, toàn bộ quá trình chạy tự động cùng lúc với phiên âm, nên bạn không phải chạy riêng một tác vụ gắn nhãn người nói.
Mô hình speaker diarization, công cụ Python và API
Lập trình viên muốn tự chạy diarization có vài hướng. pyannote.audio là bộ công cụ Python mã nguồn mở cho speaker diarization, xây dựng trên PyTorch, với các pipeline diarization dựng sẵn. Các dự án như WhisperX ghép một mô hình phiên âm với một mô hình diarization để văn bản và các lượt nói khớp nhau. Tự chạy một trong hai nghĩa là phải cài đặt mô hình, tự cung cấp sức mạnh tính toán và viết thêm mã xung quanh.
API là hướng trung gian: gửi âm thanh, nhận lại văn bản kèm các lượt nói. API công khai của Hushscript có tùy chọn speaker_detection cho các tác vụ phiên âm. Xem trang dành cho lập trình viên để biết cách hoạt động.
Nếu bạn chỉ cần kết quả, một bản phiên âm có nhãn người nói từ một file, thì không cần cài đặt gì. Phần tiếp theo giải thích vì sao riêng diarization không thể gọi tên ai, và các phần sau đó hướng dẫn cách làm không cần viết mã.
Phân tách người nói và nhận dạng người nói
Hai khái niệm này thường bị nhầm lẫn, nhưng chúng trả lời những câu hỏi khác nhau.
Diarization hỏi: ở thời điểm này ai đang nói, so với các giọng khác trong file này? Nó tách các giọng nhưng không biết chúng thuộc về ai. Nó không cần kiến thức có trước.
Nhận dạng người nói, còn gọi là nhận dạng giọng nói, hỏi: đây có phải cùng một người với trong bản ghi tham chiếu đã biết không? Nó cần một mẫu giọng đã đăng ký để so sánh, và là công nghệ đằng sau các hệ thống “xác minh danh tính bằng giọng nói”.
Hushscript dùng diarization, không dùng nhận dạng giọng nói. Hushscript không đăng ký giọng nói và không so khớp bản ghi của bạn với bản ghi của bất kỳ ai khác. Nhãn người nói chỉ được suy ra từ đặc điểm giọng nói bên trong chính file đó.
Sự khác biệt này là lý do diarization không thể gọi tên người nói giúp bạn. Nó có thể cho biết “cùng một người đã nói 200 lượt này trong suốt một giờ”, nhưng không cho biết người đó là ai. Bước đó do bạn làm. Nếu bạn đang tìm phần mềm gắn nhãn người nói trong bản phiên âm chứ không phải lời giải thích về phương pháp, trang nhận dạng người nói trình bày cách Hushscript xử lý bản ghi nhiều người nói từ đầu đến cuối.
Ví dụ thực tế: cuộc họp ba người
Giả sử bạn ghi âm một cuộc họp dự án dài 40 phút với ba người trong cùng một phòng, dùng chung một micrô laptop, lưu thành một file .m4a. Bạn thả file vào, và sau khi phiên âm, kết quả trông như sau:
Người nói A [00:00:04]: Được rồi, bắt đầu với ngày ra mắt. Chúng ta đang ở đâu?
Người nói B [00:00:09]: Thiết kế đã xong. Chúng tôi đã bàn giao các màn hình cuối cùng vào thứ Hai.
Người nói C [00:00:14]: Bên kỹ thuật cần khoảng hai tuần nữa cho luồng thanh toán.
Người nói A [00:00:21]: Hai tuần là vượt quá ngày chúng ta đã hứa với bên marketing.
Người nói B [00:00:27]: Chúng ta có thể ra mắt trước mà không có luồng thanh toán mới, rồi bổ sung sau không?
Người nói C [00:00:33]: Không gọn được. Luồng cũ bị lỗi với bảng giá mới.
Ba giọng được tách và gắn nhãn, mỗi lượt đều có mốc thời gian. Giờ bạn đổi nhãn: Người nói A thành “Priya” (cô ấy chủ trì cuộc họp), Người nói B thành “Tom”, Người nói C thành “Dana”. Sau ba lần đổi tên, mỗi dòng đều có tên thật, và bản phiên âm sẵn sàng dán vào biên bản cuộc họp với lời được gán đúng người từ đầu đến cuối.
Cách làm này cũng áp dụng cho cuộc phỏng vấn hai người, podcast bốn người hoặc cuộc gọi hai phía: hệ thống tách những gì nó nghe được, còn bạn gắn tên.
Thử speaker diarization trực tuyến với Hushscript
Nhận dạng người nói là một ô chọn trong tùy chọn tải lên, và nhãn người nói không mất thêm phí. Quy trình: thả file, dán liên kết âm thanh được hỗ trợ hoặc ghi âm ngay trong trình duyệt, và bản xem trước có nhãn người nói dài tối đa 5 phút hiện ra mà không cần tài khoản. Bản xem trước hiển thị từng lượt nói trong âm thanh của bạn trên một dòng riêng kèm nhãn. Hãy đăng ký để phiên âm phần còn lại, rồi mở bản phiên âm hoàn chỉnh. Từ đó:
- Nhấp vào một nhãn người nói bất kỳ trong trình chỉnh sửa bản phiên âm, chẳng hạn
Người nói B. - Chọn Sửa tên người nói trong menu mở ra.
- Nhập tên thật, ví dụ “Tom”, vào hộp thoại rồi lưu.
- Mọi lần xuất hiện của người nói đó được cập nhật cùng lúc, từ dòng đầu đến dòng cuối.
Việc đổi tên áp dụng cho toàn bộ, nên bạn không bao giờ phải sửa cùng một nhãn hai lần. Nếu hệ thống xếp một lượt nói vào sai người, hãy gán lượt đó lại cho đúng nhãn. Sau đó bạn có thể xuất bản phiên âm, kèm tên đã đặt, ở bất kỳ định dạng nào trong 21 định dạng như TXT, SRT, DOCX, PDF và JSON, cùng với .husharchive có bảo vệ bằng mật khẩu.
Thách thức của speaker diarization và cách khắc phục
Diarization đáng tin cậy với bản ghi sạch và khó hơn khi âm thanh tạp hơn. Các vấn đề thường gặp và cách xử lý:
Lời nói chồng nhau. Khi hai người nói cùng lúc, hệ thống phải gán đoạn âm thanh chồng nhau cho một người nói duy nhất, nên có thể gắn sai nhãn ở chỗ giao nhau hoặc bỏ sót vài từ. Phần mềm không có cách sửa; âm thanh thực sự chứa hai giọng trong cùng một thời điểm. Phòng ngừa mới là cách hiệu quả nhất: bản ghi mà mọi người lần lượt nói được phân tách sạch hơn nhiều so với bản ghi đầy ngắt lời. Khi có chồng lời, chỉ cần nghe đối chiếu nhanh là tìm ra vài dòng bị ảnh hưởng.
Giọng nói giống nhau. Hai người có cao độ và giọng vùng miền gần nhau (chẳng hạn hai người đàn ông cùng tuổi, hoặc anh chị em ruột) khó tách hơn một cặp tương phản, vì đặc điểm giọng của họ thực sự trùng nhau. Thỉnh thoảng hệ thống có thể đổi nhầm một lượt nói giữa hai người. Hãy duyệt bản phiên âm để tìm những dòng nghe lạ so với người được gán, rồi tự gán lại.
Nhiều người nói. Độ chính xác giảm khi số người tăng, vì mỗi giọng thêm vào là thêm một cụm phải tách riêng và thêm cơ hội chồng lời. Hushscript không giới hạn trả phí về số người nói, nhưng một cuộc họp mười người dùng một micrô laptop sẽ cần kiểm tra nhiều hơn một cuộc phỏng vấn hai người.
Một người bị tách thành hai nhãn. Nếu âm thanh của ai đó đổi giữa chừng (họ lại gần micrô, chuyển từ tai nghe sang loa ngoài hoặc kết nối kém đi), hệ thống có thể coi nửa sau là giọng mới và tạo thêm nhãn. Hãy gán các lượt nói dưới nhãn thừa về đúng người nói.
Hai người bị gộp thành một nhãn. Ngược lại xảy ra khi hai giọng nhỏ hoặc ở xa nghe quá giống nhau nên hệ thống không tách được. Lỗi này khó sửa nhất về sau, nên đáng để phòng ngừa: đưa micrô lại gần người nói hơn và tránh ghi âm từ đầu kia của một căn phòng lớn. Trong trình chỉnh sửa, bạn có thể tách các lượt nói và gán lại.
Âm thanh ở xa hoặc nhiều tạp âm. Micrô laptop ở cuối bàn họp, điện thoại đặt trên bàn khi nói chuyện nhóm hoặc tiếng vang phòng nhiều đều làm nhòe ranh giới giữa các giọng. Đặt micrô gần hơn giúp ích cho mọi người nói, còn giảm tiếng ồn nền (quạt, xe cộ, nhạc) làm việc tách rõ hơn. Chất lượng diarization bám sát chất lượng âm thanh.
Cuộc gọi điện thoại ghi thành hai file riêng. Nếu máy ghi âm lưu mỗi phía của cuộc gọi thành một file mono riêng, diarization trên từng file chỉ thấy một giọng. Hãy trộn hai file thành một bản ghi duy nhất trước, để cả hai giọng cùng có trong một file, rồi mới phiên âm.
Mẹo tăng độ chính xác thực sự hiệu quả
Một vài thói quen giúp diarization tốt lên rõ rệt, và phần lớn nằm ở khâu ghi âm chứ không phải phần mềm:
- Để mọi người lần lượt nói. Nói chồng là nguồn gây lỗi diarization lớn nhất. Một buổi thảo luận có người điều phối tốt hơn một buổi ai muốn nói là nói.
- Đưa micrô lại gần hơn. Khoảng cách và tiếng vang phòng làm các giọng nhòe vào nhau. Lý tưởng là mỗi người một micrô gần; một micrô dùng chung ở giữa bàn vẫn tốt hơn micrô đặt ở góc.
- Giảm tiếng ồn nền rõ rệt. Nhạc, quạt đang chạy hoặc quán cà phê đông đúc đều cạnh tranh với giọng nói và làm nhòe ranh giới.
- Đưa mọi giọng nói vào file bạn phiên âm. Diarization so sánh các người nói trong một bản ghi. Nếu máy ghi tạo ra các track riêng cho từng người tham gia, hãy trộn chúng thành một file trước để lượt diarization nghe được toàn bộ cuộc trò chuyện.
Không cần làm hoàn hảo tất cả. Lượt nói rõ ràng và vị trí micrô hợp lý giúp hầu hết bản ghi có nhãn sạch, phần còn lại trình chỉnh sửa sẽ lo.
Vì sao diarization quan trọng với phỏng vấn và cuộc họp
Không có diarization, bản phiên âm của một cuộc trò chuyện nhiều người gần như không dùng được cho những việc phổ biến nhất:
- Trích dẫn trực tiếp. Bạn không thể trích lời ai đó nếu không biết dòng nào là của họ.
- Gán lời trong bản tóm tắt. Bản tóm tắt cuộc họp không nói ai đã nói gì hầu như không hữu ích hơn việc không có bản tóm tắt.
- Tìm kiếm theo người nói. Nếu bạn đang tìm điều một người đã nói, bạn không thể lọc trong một khối văn bản liền mạch.
Với diarization, mỗi việc trên đều đơn giản, và bản phiên âm trở thành một tài liệu thay vì văn bản thô. Với bất cứ nội dung nào sẽ được xuất bản hoặc trích dẫn, dù là báo chí, nghiên cứu hay ghi chú tập podcast, việc gán lời chính xác là bắt buộc. Với công việc nội bộ như biên bản họp, nghiên cứu phỏng vấn hoặc hồ sơ nhân sự, cấu trúc có nhãn cũng đáng giá không kém: lướt một đoạn hội thoại nhanh hơn nhiều so với đọc một bức tường chữ.
Để xem hướng dẫn đầy đủ trong bối cảnh thực tế, hãy đọc cách phiên âm một cuộc phỏng vấn, bài này nói về ghi âm, phiên âm và đổi nhãn cho báo chí và nghiên cứu, và cách phiên âm podcast để gắn nhãn người dẫn và khách mời trong một tập.
Nhãn người nói không mất thêm phí
Phân tách người nói được bao gồm trong mọi bản phiên âm Hushscript mà không tính thêm phí. Không có tiện ích diarization riêng, không có gói riêng cho tính năng này và không có giới hạn trả phí về số người nói trong một bản ghi. Bản thân Hushscript tính phí theo mức dùng, không có subscription. Tài khoản cá nhân đủ điều kiện có thể nhận 30 phút miễn phí một lần sau khi xác minh thẻ thành công, hoặc cùng lần mua đầu tiên nếu chưa được cấp. Sau đó bạn chỉ trả cho số phút đã dùng; xem chi tiết tại trang bảng giá.
Nhãn tự động có thể sai, nên hãy kiểm tra lại khi việc gán lời quan trọng. Thả bản ghi vào, nhận nhãn, đổi tên và xuất kết quả. Thông tin thêm về cách mọi thứ khớp với nhau có ở trang chuyển âm thanh thành văn bản.
Nguồn và tiêu chuẩn độc lập
Hushscript đã tham khảo các nguồn độc lập, không cạnh tranh này. Chúng giải thích nghiên cứu, tiêu chuẩn hoặc cách nền tảng hoạt động và không đồng nghĩa với việc ủng hộ Hushscript.
Ngày rà soát nguồn: