Платформа для видеовстреч VK Звонки представила новые возможности на основе машинного обучения и нейросетей. Функция расшифровки автоматически переводит звуковую дорожку встречи в текст, который можно найти в чате звонка после его окончания. Пользователи также смогут запустить автосубтитры – они будут дублировать речь участников звонка в ходе встречи.
Текстовую расшифровку может включить любой пользователь группового звонка, при этом участники встречи получат уведомление о ее начале. После окончания встречи файл с текстом придет в чат звонка и будет сохранен в специальном разделе в профиле пользователя, запустившего функцию. В файле расшифровки автоматически расставляются тайм-коды и имена говорящих.
Автоматические субтитры будут демонстрироваться во время речи каждого спикера в реальном времени. При этом субтитры будут показываться только у тех участников, которые самостоятельно их включили.
Нейросеть умеет определять разных спикеров и разделять речь на предложения. Текстовую расшифровку можно запустить вместе с субтитрами и записью звонка. Новые функции также доступны в сессионных залах и в звонках от имени сообщества.
Автоматический перевод аудио в текст работает с речью на русском, в дальнейшем команда добавит и другие языки.
Перевод речи в текст использует собственные нейросетевые разработки ВКонтакте. Аудиопоток проходит несколько этапов обработки:
-
запись очищается от фоновых звуков с помощью интеллектуального шумоподавления,
-
затем нейросеть распознаёт слова, формирует из них текст и делит речь на предложения в соответствии с конкретным спикером.
[BANNER_TYPE_2]
В ближайших планах платформы запуск новых функций в звонках один на один и возможность администратора настраивать, кто из участников встречи может запускать расшифровку.
Источник: пресс-релиз ВК
