Chuyển đến nội dung chính

Blog

Speaker diarization là gì? Cách phân tách người nói

Tác giả: Ngày đăng: Rà soát lần cuối:

Speaker diarization, hay phân tách người nói, là quá trình tự động chia bản ghi thành các đoạn theo từng người nói, trả lời câu hỏi “ai nói khi nào?” trước khi có người đọc bản phiên âm. Nghiên cứu về speaker diarization trên ACL Anthology hiện nay mô tả cùng bài toán này cho các cuộc trò chuyện nhiều người. Đó là khác biệt giữa một bức tường chữ và một cuộc trò chuyện có cấu trúc, và là lý do bản phiên âm một cuộc phỏng vấn hai người trả về dưới dạng hội thoại dễ đọc thay vì một đoạn văn dài.

Nói đơn giản: bạn tải bản ghi lên, hệ thống tìm những điểm giọng nói đổi người, gom các đoạn nghe như cùng một người và trả về bản phiên âm mỗi lượt nói một dòng, gắn nhãn theo giọng. Bài viết này giải thích ý nghĩa của diarization, cách nó hoạt động từng bước, khác gì nhận dạng người nói, các công cụ dành cho lập trình viên và những chỗ dễ sai.

Speaker diarization là gì? Giải thích đơn giản

Hãy hình dung bạn tự gỡ băng một cuộc phỏng vấn dài 90 phút. Sau khi chuyển lời nói thành văn bản, việc tiếp theo là gán lời cho người nói: “Người phỏng vấn:”, “Khách mời:”, qua lại mỗi khi giọng đổi người. Quyết định ai đang nói ở từng giây chính là việc diarization làm giúp bạn. Bạn cũng sẽ gặp cách gọi diarization giọng nói; định nghĩa vẫn như vậy: gắn nhãn mỗi phần của âm thanh theo giọng nói mà nó thuộc về.

Kết quả là bản phiên âm dạng hội thoại:

Người nói A [00:00:12]: Điều đầu tiên cần hiểu là dữ liệu chỉ tồn tại trong một khoảnh khắc.
Người nói B [00:00:27]: Đúng, và đó là phần mà hầu hết mọi người không nhận ra cho đến khi quá muộn.
Người nói A [00:00:34]: Chính xác. Vì vậy, câu hỏi thực sự là bạn làm gì trong khoảng thời gian đó.

Mỗi câu nói gắn với một người nói và một mốc thời gian. Sau đó bạn có thể đổi Người nói A và Người nói B thành tên thật, mỗi người một lần chỉnh, và nhãn được cập nhật ở mọi nơi xuất hiện.

Cách còn lại, bản phiên âm thường không có phân tách người nói, là một khối văn bản liên tục mà bạn phải nghe lại âm thanh mới biết ai nói gì. Với bản ghi dài hơn vài phút và có từ hai giọng trở lên, đó là công việc thủ công thật sự, và là phần việc mà lượt phân tách người nói loại bỏ.

Cần chuẩn bị gì trước khi bắt đầu

Diarization chạy trên chính bản ghi, nên điều kiện thực sự duy nhất là âm thanh trong đó những người nói đủ khác biệt:

Không cần đăng ký giọng nói trước, không cần lấy mẫu giọng, không cần thiết lập riêng cho từng người nói.

Cách speaker diarization hoạt động

Diarization gồm vài giai đoạn riêng biệt. Hiểu chúng giúp bạn đọc kết quả dễ hơn và sửa dễ hơn khi hệ thống nhầm. Sơ đồ speaker diarization dưới đây cho thấy luồng từ file âm thanh đến nhãn, đọc từ trái sang phải:

âm thanh -> khung hình -> đặc trưng giọng -> điểm đổi người -> cụm -> nhãn
 file       10-40 ms      cao độ, phổ         A | B | A | C    A, B, C   Người nói A, B, C

Trích xuất đặc trưng. Âm thanh được chia thành các khung ngắn, thường dài 10 đến 40 mili giây, và hệ thống đo các đặc trưng âm học trong từng khung. Những đặc trưng giúp phân biệt người nói nằm ở miền tần số: cao độ, formant và các mẫu phổ, vốn khá ổn định trong giọng của một người và khác nhau giữa người này với người kia.

Phân đoạn. Hệ thống tìm các điểm đổi người nói: thời điểm những đặc trưng giọng đó thay đổi. Đây là phần khó. Điểm đổi người có thể rơi vào giữa câu khi ai đó ngắt lời, còn tiếng ồn hoặc lời nói chồng nhau có thể che mất một ranh giới thật hoặc tạo ra ranh giới giả.

Gom cụm. Các đoạn nghe như cùng một giọng được gom lại với nhau. Hệ thống không được cho biết trong phòng có bao nhiêu người; nó tự suy ra số người nói từ âm thanh. Nếu bạn biết trước số người, một số thiết lập cho phép bạn nhập vào. Nếu không, hệ thống tự ước lượng, và đây là nguồn gốc của hầu hết lỗi “tách một người thành hai” và “gộp hai người thành một”.

Gắn nhãn. Mỗi cụm nhận một nhãn: Người nói A, Người nói B, Người nói C, hoặc Người nói 0, Người nói 1. Các nhãn chỉ là chỗ giữ tạm tùy ý. Không có danh tính nào đằng sau chúng, chỉ là một tên gọi ổn định cho một giọng nói trong suốt bản ghi.

Đây là quy trình cổ điển. Các hệ thống mới hơn thường huấn luyện mô hình nơ-ron xử lý nhiều giai đoạn cùng lúc. Mục tiêu và kết quả vẫn như cũ: một dòng thời gian cho biết ai nói khi nào. Trên Hushscript, toàn bộ quá trình chạy tự động cùng lúc với phiên âm, nên bạn không phải chạy riêng một tác vụ gắn nhãn người nói.

Mô hình speaker diarization, công cụ Python và API

Lập trình viên muốn tự chạy diarization có vài hướng. pyannote.audio là bộ công cụ Python mã nguồn mở cho speaker diarization, xây dựng trên PyTorch, với các pipeline diarization dựng sẵn. Các dự án như WhisperX ghép một mô hình phiên âm với một mô hình diarization để văn bản và các lượt nói khớp nhau. Tự chạy một trong hai nghĩa là phải cài đặt mô hình, tự cung cấp sức mạnh tính toán và viết thêm mã xung quanh.

API là hướng trung gian: gửi âm thanh, nhận lại văn bản kèm các lượt nói. API công khai của Hushscript có tùy chọn speaker_detection cho các tác vụ phiên âm. Xem trang dành cho lập trình viên để biết cách hoạt động.

Nếu bạn chỉ cần kết quả, một bản phiên âm có nhãn người nói từ một file, thì không cần cài đặt gì. Phần tiếp theo giải thích vì sao riêng diarization không thể gọi tên ai, và các phần sau đó hướng dẫn cách làm không cần viết mã.

Phân tách người nói và nhận dạng người nói

Hai khái niệm này thường bị nhầm lẫn, nhưng chúng trả lời những câu hỏi khác nhau.

Diarization hỏi: ở thời điểm này ai đang nói, so với các giọng khác trong file này? Nó tách các giọng nhưng không biết chúng thuộc về ai. Nó không cần kiến thức có trước.

Nhận dạng người nói, còn gọi là nhận dạng giọng nói, hỏi: đây có phải cùng một người với trong bản ghi tham chiếu đã biết không? Nó cần một mẫu giọng đã đăng ký để so sánh, và là công nghệ đằng sau các hệ thống “xác minh danh tính bằng giọng nói”.

Hushscript dùng diarization, không dùng nhận dạng giọng nói. Hushscript không đăng ký giọng nói và không so khớp bản ghi của bạn với bản ghi của bất kỳ ai khác. Nhãn người nói chỉ được suy ra từ đặc điểm giọng nói bên trong chính file đó.

Sự khác biệt này là lý do diarization không thể gọi tên người nói giúp bạn. Nó có thể cho biết “cùng một người đã nói 200 lượt này trong suốt một giờ”, nhưng không cho biết người đó là ai. Bước đó do bạn làm. Nếu bạn đang tìm phần mềm gắn nhãn người nói trong bản phiên âm chứ không phải lời giải thích về phương pháp, trang nhận dạng người nói trình bày cách Hushscript xử lý bản ghi nhiều người nói từ đầu đến cuối.

Ví dụ thực tế: cuộc họp ba người

Giả sử bạn ghi âm một cuộc họp dự án dài 40 phút với ba người trong cùng một phòng, dùng chung một micrô laptop, lưu thành một file .m4a. Bạn thả file vào, và sau khi phiên âm, kết quả trông như sau:

Người nói A [00:00:04]: Được rồi, bắt đầu với ngày ra mắt. Chúng ta đang ở đâu?
Người nói B [00:00:09]: Thiết kế đã xong. Chúng tôi đã bàn giao các màn hình cuối cùng vào thứ Hai.
Người nói C [00:00:14]: Bên kỹ thuật cần khoảng hai tuần nữa cho luồng thanh toán.
Người nói A [00:00:21]: Hai tuần là vượt quá ngày chúng ta đã hứa với bên marketing.
Người nói B [00:00:27]: Chúng ta có thể ra mắt trước mà không có luồng thanh toán mới, rồi bổ sung sau không?
Người nói C [00:00:33]: Không gọn được. Luồng cũ bị lỗi với bảng giá mới.

Ba giọng được tách và gắn nhãn, mỗi lượt đều có mốc thời gian. Giờ bạn đổi nhãn: Người nói A thành “Priya” (cô ấy chủ trì cuộc họp), Người nói B thành “Tom”, Người nói C thành “Dana”. Sau ba lần đổi tên, mỗi dòng đều có tên thật, và bản phiên âm sẵn sàng dán vào biên bản cuộc họp với lời được gán đúng người từ đầu đến cuối.

Cách làm này cũng áp dụng cho cuộc phỏng vấn hai người, podcast bốn người hoặc cuộc gọi hai phía: hệ thống tách những gì nó nghe được, còn bạn gắn tên.

Thử speaker diarization trực tuyến với Hushscript

Nhận dạng người nói là một ô chọn trong tùy chọn tải lên, và nhãn người nói không mất thêm phí. Quy trình: thả file, dán liên kết âm thanh được hỗ trợ hoặc ghi âm ngay trong trình duyệt, và bản xem trước có nhãn người nói dài tối đa 5 phút hiện ra mà không cần tài khoản. Bản xem trước hiển thị từng lượt nói trong âm thanh của bạn trên một dòng riêng kèm nhãn. Hãy đăng ký để phiên âm phần còn lại, rồi mở bản phiên âm hoàn chỉnh. Từ đó:

  1. Nhấp vào một nhãn người nói bất kỳ trong trình chỉnh sửa bản phiên âm, chẳng hạn Người nói B.
  2. Chọn Sửa tên người nói trong menu mở ra.
  3. Nhập tên thật, ví dụ “Tom”, vào hộp thoại rồi lưu.
  4. Mọi lần xuất hiện của người nói đó được cập nhật cùng lúc, từ dòng đầu đến dòng cuối.

Việc đổi tên áp dụng cho toàn bộ, nên bạn không bao giờ phải sửa cùng một nhãn hai lần. Nếu hệ thống xếp một lượt nói vào sai người, hãy gán lượt đó lại cho đúng nhãn. Sau đó bạn có thể xuất bản phiên âm, kèm tên đã đặt, ở bất kỳ định dạng nào trong 21 định dạng như TXT, SRT, DOCX, PDF và JSON, cùng với .husharchive có bảo vệ bằng mật khẩu.

Thách thức của speaker diarization và cách khắc phục

Diarization đáng tin cậy với bản ghi sạch và khó hơn khi âm thanh tạp hơn. Các vấn đề thường gặp và cách xử lý:

Lời nói chồng nhau. Khi hai người nói cùng lúc, hệ thống phải gán đoạn âm thanh chồng nhau cho một người nói duy nhất, nên có thể gắn sai nhãn ở chỗ giao nhau hoặc bỏ sót vài từ. Phần mềm không có cách sửa; âm thanh thực sự chứa hai giọng trong cùng một thời điểm. Phòng ngừa mới là cách hiệu quả nhất: bản ghi mà mọi người lần lượt nói được phân tách sạch hơn nhiều so với bản ghi đầy ngắt lời. Khi có chồng lời, chỉ cần nghe đối chiếu nhanh là tìm ra vài dòng bị ảnh hưởng.

Giọng nói giống nhau. Hai người có cao độ và giọng vùng miền gần nhau (chẳng hạn hai người đàn ông cùng tuổi, hoặc anh chị em ruột) khó tách hơn một cặp tương phản, vì đặc điểm giọng của họ thực sự trùng nhau. Thỉnh thoảng hệ thống có thể đổi nhầm một lượt nói giữa hai người. Hãy duyệt bản phiên âm để tìm những dòng nghe lạ so với người được gán, rồi tự gán lại.

Nhiều người nói. Độ chính xác giảm khi số người tăng, vì mỗi giọng thêm vào là thêm một cụm phải tách riêng và thêm cơ hội chồng lời. Hushscript không giới hạn trả phí về số người nói, nhưng một cuộc họp mười người dùng một micrô laptop sẽ cần kiểm tra nhiều hơn một cuộc phỏng vấn hai người.

Một người bị tách thành hai nhãn. Nếu âm thanh của ai đó đổi giữa chừng (họ lại gần micrô, chuyển từ tai nghe sang loa ngoài hoặc kết nối kém đi), hệ thống có thể coi nửa sau là giọng mới và tạo thêm nhãn. Hãy gán các lượt nói dưới nhãn thừa về đúng người nói.

Hai người bị gộp thành một nhãn. Ngược lại xảy ra khi hai giọng nhỏ hoặc ở xa nghe quá giống nhau nên hệ thống không tách được. Lỗi này khó sửa nhất về sau, nên đáng để phòng ngừa: đưa micrô lại gần người nói hơn và tránh ghi âm từ đầu kia của một căn phòng lớn. Trong trình chỉnh sửa, bạn có thể tách các lượt nói và gán lại.

Âm thanh ở xa hoặc nhiều tạp âm. Micrô laptop ở cuối bàn họp, điện thoại đặt trên bàn khi nói chuyện nhóm hoặc tiếng vang phòng nhiều đều làm nhòe ranh giới giữa các giọng. Đặt micrô gần hơn giúp ích cho mọi người nói, còn giảm tiếng ồn nền (quạt, xe cộ, nhạc) làm việc tách rõ hơn. Chất lượng diarization bám sát chất lượng âm thanh.

Cuộc gọi điện thoại ghi thành hai file riêng. Nếu máy ghi âm lưu mỗi phía của cuộc gọi thành một file mono riêng, diarization trên từng file chỉ thấy một giọng. Hãy trộn hai file thành một bản ghi duy nhất trước, để cả hai giọng cùng có trong một file, rồi mới phiên âm.

Mẹo tăng độ chính xác thực sự hiệu quả

Một vài thói quen giúp diarization tốt lên rõ rệt, và phần lớn nằm ở khâu ghi âm chứ không phải phần mềm:

Không cần làm hoàn hảo tất cả. Lượt nói rõ ràng và vị trí micrô hợp lý giúp hầu hết bản ghi có nhãn sạch, phần còn lại trình chỉnh sửa sẽ lo.

Vì sao diarization quan trọng với phỏng vấn và cuộc họp

Không có diarization, bản phiên âm của một cuộc trò chuyện nhiều người gần như không dùng được cho những việc phổ biến nhất:

Với diarization, mỗi việc trên đều đơn giản, và bản phiên âm trở thành một tài liệu thay vì văn bản thô. Với bất cứ nội dung nào sẽ được xuất bản hoặc trích dẫn, dù là báo chí, nghiên cứu hay ghi chú tập podcast, việc gán lời chính xác là bắt buộc. Với công việc nội bộ như biên bản họp, nghiên cứu phỏng vấn hoặc hồ sơ nhân sự, cấu trúc có nhãn cũng đáng giá không kém: lướt một đoạn hội thoại nhanh hơn nhiều so với đọc một bức tường chữ.

Để xem hướng dẫn đầy đủ trong bối cảnh thực tế, hãy đọc cách phiên âm một cuộc phỏng vấn, bài này nói về ghi âm, phiên âm và đổi nhãn cho báo chí và nghiên cứu, và cách phiên âm podcast để gắn nhãn người dẫn và khách mời trong một tập.

Nhãn người nói không mất thêm phí

Phân tách người nói được bao gồm trong mọi bản phiên âm Hushscript mà không tính thêm phí. Không có tiện ích diarization riêng, không có gói riêng cho tính năng này và không có giới hạn trả phí về số người nói trong một bản ghi. Bản thân Hushscript tính phí theo mức dùng, không có subscription. Tài khoản cá nhân đủ điều kiện có thể nhận 30 phút miễn phí một lần sau khi xác minh thẻ thành công, hoặc cùng lần mua đầu tiên nếu chưa được cấp. Sau đó bạn chỉ trả cho số phút đã dùng; xem chi tiết tại trang bảng giá.

Nhãn tự động có thể sai, nên hãy kiểm tra lại khi việc gán lời quan trọng. Thả bản ghi vào, nhận nhãn, đổi tên và xuất kết quả. Thông tin thêm về cách mọi thứ khớp với nhau có ở trang chuyển âm thanh thành văn bản.

Nguồn và tiêu chuẩn độc lập

Hushscript đã tham khảo các nguồn độc lập, không cạnh tranh này. Chúng giải thích nghiên cứu, tiêu chuẩn hoặc cách nền tảng hoạt động và không đồng nghĩa với việc ủng hộ Hushscript.

Ngày rà soát nguồn:

Câu hỏi thường gặp

Speaker diarization là gì?

Speaker diarization (phân tách người nói) là quá trình chia một bản ghi âm thành các đoạn theo từng người nói. Kết quả là bản phiên âm trong đó mỗi dòng được gắn với một giọng nói ("Người nói A nói thế này, Người nói B nói thế kia") thay vì một khối văn bản liền mạch. Hệ thống tự động trả lời câu hỏi "ai nói khi nào?" trước khi bất kỳ ai đọc bản phiên âm.

Diarization nghĩa là gì?

Trong công nghệ giọng nói, diarization nghĩa là gắn nhãn cho từng đoạn của bản ghi theo người nói, để bản phiên âm cho biết ai đã nói và nói khi nào. Các nhãn chỉ mang tính chung, chẳng hạn Người nói A và Người nói B, vì hệ thống chỉ gom các giọng nói lại với nhau chứ không tra cứu xem họ là ai.

Phân tách người nói có giống nhận dạng người nói hay nhận dạng giọng nói không?

Không. Phân tách người nói tách các giọng trong một bản ghi và cho biết những đoạn này do cùng một người nói, nhưng không biết người đó là ai. Nhận dạng người nói so sánh giọng với một mẫu tham chiếu đã biết để gán tên. Phân tách người nói không cần mẫu tham chiếu và không tạo hồ sơ giọng nói; vì vậy nhãn là "Người nói A" và "Người nói B" chứ không phải tên thật.

Phân tách người nói có hoạt động tốt khi có nhiều người nói không?

Có, nhưng độ chính xác giảm khi số người tăng lên. Hushscript không giới hạn trả phí về số người nói, tuy nhiên không có con số chung nào mà tại đó phân tách người nói vẫn chính xác như nhau. Giọng nói chồng lên nhau, giọng na ná nhau, khoảng cách micrô và tiếng ồn trong phòng đều ảnh hưởng. Một cuộc thảo luận nhóm sạch tiếng có thể tách tốt hơn một cuộc gọi hai người nhiều tạp âm, vì vậy hãy kiểm tra lại nhãn mỗi khi việc gán lời nói quan trọng.

Tại sao bản phiên âm tách một người thành hai người nói?

Thường là do giọng của người đó thay đổi nhiều giữa chừng: họ lại gần hoặc ra xa micrô, chuyển từ tai nghe sang loa ngoài, hoặc chất lượng đường truyền thay đổi. Hệ thống gom nhóm theo đặc điểm giọng nói, nên một thay đổi lớn có thể bị coi là giọng mới. Hãy gán lại các lượt nói bị sai cho đúng người trong trình chỉnh sửa để khắc phục.

Phân tách người nói có cho biết tên người nói không?

Không. Phân tách người nói chỉ tách các giọng chứ không nhận ra tên. Hệ thống gắn nhãn "Người nói A", "Người nói B" và tiếp tục như vậy. Bạn tự đặt tên thật trong trình chỉnh sửa sau khi bản phiên âm được tạo, và mỗi lần đổi tên áp dụng cho mọi dòng của người nói đó.

Pyannote có phải là speaker diarization không?

Không. Pyannote.audio là bộ công cụ Python mã nguồn mở có các pipeline speaker diarization, và những công cụ như WhisperX kết hợp nó với một mô hình phiên âm. Diarization là bài toán; pyannote là một cách để tự chạy nó. Nếu bạn muốn có sẵn bản phiên âm kèm nhãn người nói mà không cần viết mã, hãy tải file lên một dịch vụ phiên âm.

Tôi có thể thử phân tách người nói trực tuyến không?

Có. Với Hushscript, bạn thả file, liên kết hoặc bản ghi vào và nhận bản xem trước có nhãn người nói dài tối đa 5 phút trước khi đăng nhập. Phiên âm đầy đủ cần có tài khoản và đủ số phút khả dụng. Tài khoản cá nhân đủ điều kiện nhận 30 phút miễn phí một lần, sau khi xác minh thẻ hoặc cùng lần mua đầu tiên.

Phân tách người nói có hoạt động với bản ghi cuộc gọi điện thoại không?

Có, khi cả hai phía của cuộc gọi đều được ghi lại. Nếu bản ghi là một track hỗn hợp duy nhất chứa cả hai giọng, hệ thống tách chúng như bất kỳ file hai người nói nào khác. Nếu mỗi phía được lưu thành một file mono riêng, hãy trộn chúng thành một bản trước để cả hai giọng cùng có trong một bản ghi.

Nhãn người nói có được bao gồm trong mọi bản phiên âm Hushscript không?

Nhãn người nói không mất thêm phí: không có tiện ích bổ sung và không cần gói cao hơn. Nhận dạng người nói là một ô chọn trong tùy chọn tải lên, và bạn có thể đổi nhãn thành tên thật sau khi phiên âm. Tên mới được cập nhật trong toàn bộ bản phiên âm.

Bắt đầu với 30 phút miễn phí

Xem trước tối đa 5 phút trước khi bạn tạo tài khoản, và tài khoản cá nhân mới được xem trước miễn phí file đầu tiên tải lên trong ứng dụng. Chuyển toàn bộ bản ghi thành văn bản cần có tài khoản và số phút; tài khoản cá nhân đủ điều kiện nhận 30 phút miễn phí một lần, sau khi xác minh thẻ hoặc cùng lần mua đầu tiên. Không subscription.

Bắt đầu với 30 phút miễn phí