Создайте в прямом эфире транскрипционной службы в своем веб -приложении видео -звонка

Узнайте, как сделать службу перевода в реальном времени, используя Agora Web SDK и Google Cloud.

Введение

Делать бизнес во всем мире – цель почти для каждой компании. Возможность масштабирования до международного уровня может увеличить прибыль, но может потребовать знания нескольких языков для общения с клиентами или партнерами со всего мира.

Получение переводчика для перевода многоязычных видеоконференций нецелесообразно, потому что это может раздражать и сделать встречи дольше, чем необходимо. Вы также можете сохранить конфиденциальную информацию.

В этом уроке мы разработаем веб-приложение, которое поддерживает транскрипцию и транскрипцию речи к тексту, используя JavaScript Веб -речь API В Agora Web SDK , Agora Rtm SDK и Google Cloud Translation API Чтобы избежать зависимости от переводчиков и удалить языковой барьер во время видеозвонок.

Предварительные условия

Основные знания о том, как работать с JavaScript, JQuery, Bootstrap и Font Awesome
Agora Developer Account – зарегистрироваться здесь
Знать, как использовать Agora Web SDK и Agora Rtm SDK
Google Cloud Account
Поймите, как делать запросы и получить ответы от API REST

Настройка проекта

Мы будем строить на нашем Существующий проект : Создание собственной службы транскрипции в веб -приложении видеозвонков . Вы можете начать с клонирования этого проекта GitHub Repository Анкет Теперь у вас будет проект, который выглядит так:

Теперь мы удалим HTML, связанный с самосовершенствованием и дополнительные кнопки. Если вы столкнетесь с трудностями в понимании того, что делает вышеупомянутый код, см. этот учебник Анкет

Я также добавил код для приглушения и непрерывного видео и аудио в приложение для видео вызовов. Вы можете узнать больше о приглушении и непревзойденном от Документация Agora Анкет Ваш код теперь будет выглядеть как это Анкет

Теперь у вас есть полностью функциональная служба транскрипции, а также приглушение и непревзойденные возможности.

Добавление перевода в режиме реального времени в наше приложение

Теперь мы добавим следующий код в наш HTML -файл под существующей строкой поля ввода и добавим опцию для пользователя, чтобы ввести клавишу API Google Cloud Project.

Создайте ключ API API Translation Google

В облачной консоли перейдите в Создать страницу учетной записи сервиса Анкет
Выберите проект.
В Имя учетной записи сервиса поле, введите имя. Облачная консоль завершает Идентификатор учетной записи службы Поле на основе этого имени.
В Описание учетной записи службы поле, введите описание. Например, Agora Live Переводная транскрипция Анкет
Нажмите Создать и продолжить Анкет

Нажмите на Выберите роль поле и выберите Облачный перевод API admin роль.

Нажмите Продолжить Анкет
Нажмите Готово Чтобы закончить создание учетной записи службы.
Включить API Translation Translation от Здесь Анкет

Нажмите на Учетные данные Вкладка в левой боковой панели, а затем нажмите на Создать учетные данные Анкет
Создайте и скопируйте сгенерированный ключ API.

Основная функциональность (JS)

Теперь, когда у нас есть основная структура, а также сгенерированные ключи, мы можем начать добавлять функциональность в службу перевода. Сначала это может выглядеть пугающим, но если вы следите за GCP официальные документы , это будет кусок торта.

Приведенный ниже код принимает введенный пользовательский ключ GCP и предпочитаемый язык транскрипции пользователя. Как только пользователь перестает говорить, его слова транскрибируются на выбранном языке с использованием веб -речи JavaScript. Это же сообщение отправляется на языке говорящего всем пользователям через Agora RTM SDK. Когда это сообщение будет получено, мы проверяем предпочтительный язык получателя и используем API Google Translate для преобразования исходного отправленного сообщения в пользовательский текст. Таким образом, даже если у удаленного пользователя есть другой язык от локального пользователя, логика все равно будет работать, как и ожидалось.

Примечание: Для тестирования вы можете использовать две или более вкладки браузера для моделирования нескольких пользователей при вызове.

Вывод

Ты сделал это!

Вы успешно сделали многоязычную службу транскрипции в приложении веб -видеопроката. Если вы не кодировали или хотите увидеть готовый продукт вместе, я загрузил весь код в GitHub:

https://github.com/akshatvg/Agora-Translated-Transcription

Вы можете проверить демонстрацию кода в действии: https://translation.akshatvg.com

Спасибо, что нашли время, чтобы прочитать мой учебник. Если у вас есть вопросы, пожалуйста, дайте мне знать с комментарием. Если вы видите место для улучшения, не стесняйтесь расколоть репо и сделать запрос на тягу!

Другие источники

Чтобы узнать больше о Agora Web SDK и других вариантах использования, см. Руководство по разработчику Здесь Анкет

Вы также можете присоединиться к нашему каналу Slack: Присоединяйтесь к Slack

Оригинал: “https://dev.to/akshatvg/build-a-live-translated-transcriptions-service-within-your-video-call-web-app-4dhl”