ВКонтакте запустил в видеоплеере автоматические субтитры на русском языке. Они созданы на базе собственных технологий соцсети по распознаванию речи, алгоритмов машинного обучения единой видеоплатформы и технологий интеллектуального шумоподавления единой платформы видеозвонков.
В отличие от существующих решений на рынке, технология ВКонтакте умеет проставлять в субтитрах знаки препинания и заглавные буквы, а в ближайшем будущем научится разделять речь спикеров на разные реплики. Все это значительно повышает понятность расшифровки и упрощает чтение во время просмотра видео.
Соцсеть ведет тестирование и дообучение новой технологии: субтитры в экспериментальном режиме уже доступны части аудитории в популярных роликах и видео из верифицированных сообществ в веб-версии и мобильном приложении ВКонтакте.
Для обеспечения высокого качества расшифровки субтитров аудиопоток проходит четыре этапа обработки. Сначала запись очищается от фоновых звуков с помощью уникальной технологии интеллектуального шумоподавления – это позволяет лучше определять речь не только на профессиональных видео, но и на любительских роликах. Затем нейросеть распознает слова и формирует из них текст. На третьем этапе подключается пунктуационная модель: она расставляет знаки препинания и заглавные буквы. Эти решения ВКонтакте ранее применила для распознавания аудиосообщений, а для работы с видео к ним добавили еще один шаг: методы машинного обучения распределяют текст по кадрам, чтобы фраза появлялась точно в момент, когда говорящий ее произносит.
Сначала автоматические субтитры появятся в видео верифицированных сообществ, а также в самых популярных роликах. До конца года автоматические субтитры станут доступны в большинстве видео ВКонтакте.
Источник: пресс-релиз ВКонтакте
