Нейросеть научили менять голос пользователя: для чего, где и как протестировать

Кастомизация персонажей в играх достигла действительно высокого уровня. Единственное, о чем еще могут мечтать геймеры — это изменение собственного голоса, однако, вскоре, эта возможность появится. Благодаря технологии Modulate, появится возможность изменить тон голоса до неузнаваемости. Авторами технологии являются Майк Паппас и Картер Хаффман. Об этом сообщает Информатор Tech, ссылаясь на официальный сайт Modulate. Идея создания технологии для изменения голоса пришла им в 2015 году, когда Хаффман пользовался приложением Prisma для придания фотографиям стиля знаменитых картин. Он понял, что такое же можно проделывать с аудио, и уже через год после проведения опытов с генеративно-состязательной нейросетью, он получил первые результаты. "Это то, чего люди хотели на протяжении сотен лет. Технология упоминалась в научной фантастике и играх, и это то, что мы должны развивать" - сказал Майк Паппас.

Как это работает

Чтобы поменять мужской голос на женский или придать ему голос Дарта Вейдера или других персонажей, одна часть нейросети Modulate создает пример голоса, а вторая — оценивает, соответствует ли его тон и другие особенности установленным требованиям. Если он имеет неправильную высоту или другую характеристику, нейросеть создает варианты до тех пор, пока не появится достойный результат.

Где применить

Разработчики, отчетливо понимая, что такую технологию вполне возможно применить в недобрых целях, решили ограничить спектр применения технологии до онлайн игр. Modulate может сильно разнообразить многопользовательские игры — пользователи смогут не только менять внешность персонажей, но и собственный голос в чате в режиме реального времени. Так как технология реагирует не на слова, а на тон голоса, она будет доступна на любом языке мира. Авторы надеются, что в процессе обучения нейросеть научится распознавать смех и даже менять акцент. Технологию можно протестировать здесь. Для этого нужно записать 10-секундный фрагмент собственного голоса, изменить его тон при помощи ползунков и нажать «Apply». А потом остается только нажать на кнопку воспроизведения. Раннее мы сообщали о том, что ОС Android получила сертификацию FIDO2. С помощью сертификата можно авторизоваться в приложениях и на сайтах при помощи отпечатка пальца. Также опубликован рейтинг самых продаваемых смарт-колонок в мире. Лидерами рынка голосовых помощников стали Amazon и Google.

Ярослав Жахалов