Четверг, 28 Марта 2024, 20:41

Приветствую Вас Гость

[ Новые сообщения · Игроделы · Правила · Поиск ]
  • Страница 1 из 1
  • 1
Форум игроделов » Движки для разработки игр и сложные системы разработки » Unity » TTS (text-to-speech)
TTS
sandyДата: Суббота, 13 Июля 2019, 15:59 | Сообщение # 1
частый гость
Сейчас нет на сайте
Народ, приветствую.
Мне кажется, что незаслуженно обойдена/проигнорирована очень важная тема (и для Unity, и для C# вцелом).
Речь идет о реализации Text-To-Speech подсистемы.
Тем более что реализация модулей TTS уже предполагает различные решения для "сетевых" и локальных синтезаторов.

(Для новичков краткое пояснение: TTS, это когда вместо мегабайт предзагруженных аудио-диалогов, вы сможете использовать килобайты требуемого текста)
Lich420king1337Дата: Воскресенье, 14 Июля 2019, 17:58 | Сообщение # 2
частый гость
Сейчас нет на сайте
sandy, И где же ты наш сверчеловек будешь использовать ету технологию.
seamanДата: Воскресенье, 14 Июля 2019, 22:10 | Сообщение # 3
старожил
Сейчас нет на сайте
Ну мне вот тут понадобилось разобрать вот это
https://developer.ibm.com/events/voice-enablement-of-applications-next-generation-chatbots-hive-mountain-view-6-6-2019/
https://github.com/IBM/watson-voice-bot/wiki
Но, к сожалению нужно было только под WebGL. А вот в Юнити до сих пор в WebGL микрофон на уровне движка не поддерживается. А с левыми плагинами на javascript работать не стали...
sandyДата: Воскресенье, 14 Июля 2019, 22:40 | Сообщение # 4
частый гость
Сейчас нет на сайте
Цитата Lich420king1337 ()
И где же ты наш сверчеловек будешь использовать ету технологию.

Lich420king1337, чувак, могу тебе за этот камент поставить плюсик в репу. Хотя ну его нафих, сам поставишь. :D

Цитата seaman ()
Ну мне вот тут понадобилось разобрать вот это
https://developer.ibm.com/events/voice-enablement-of-applications-next-generation-chatbots-hive-mountain-view-6-6-2019/
https://github.com/IBM/watson-voice-bot/wiki
Но, к сожалению нужно было только под WebGL. А вот в Юнити до сих пор в WebGL микрофон на уровне движка не поддерживается. А с левыми плагинами на javascript работать не стали...

seaman, понятно. Спс


Сообщение отредактировал sandy - Воскресенье, 14 Июля 2019, 22:40
Lich420king1337Дата: Понедельник, 15 Июля 2019, 17:42 | Сообщение # 5
частый гость
Сейчас нет на сайте
sandy, О так твои шутки эволюционировали молодец так держать может еще превзойдешь Comedy club.
LeoninДата: Понедельник, 15 Июля 2019, 18:00 | Сообщение # 6
был не раз
Сейчас нет на сайте
Как-то мне предлагали заняться фриланс-проектом по обучению детей английскому языку. Но большинство TTS работали на облочных технологиях и требовали соединения с интернетом, что нам не подходило и что я пытался вдолбить PM'у.
Рассматривали следующие варианты, но особо в них я не вникал, т.к. уже заранее настроился отказаться от участия в проекте:
https://www.nexmo.com
https://assetstore.unity.com/packages/add-ons/machinelearning/google-cloud-speech-recognition-vr-ar-desktop-desktop-72625
https://assetstore.unity.com/packages/tools/audio/mobile-speech-recognizer-73036
https://assetstore.unity.com/packages/tools/integration/android-speech-tts-45168
https://lightbuzz.com/speech-recognition-unity/#comment-12397
http://www.kokosoft.pl/forums/topic/offline-working-and-letter-recognition/
Еще Siri рассматривали.
sandyДата: Понедельник, 15 Июля 2019, 19:00 | Сообщение # 7
частый гость
Сейчас нет на сайте
Цитата Lich420king1337 ()
О так твои шутки эволюционировали молодец так держать может еще превзойдешь Comedy club.

Lich420king1337, так ты оттуда? Извини, сначала не разобрал, что ты Галустян! :D

Цитата Leonin ()
speech-recognition-unity

Leonin, ты же в основном привел примеры Speech-recognition. А это обратная задача по отношению к TTS.
Там только одна ссылка "android-speech-tts-45168" относится к вопросу. Но это, конечно, платный ассет, и он громоздкий. Я же предлагаю потренироваться, и заготовить свои модули, типа такого:

- легко-повторяемые и простые


Сообщение отредактировал sandy - Понедельник, 15 Июля 2019, 19:59
Lich420king1337Дата: Понедельник, 15 Июля 2019, 20:58 | Сообщение # 8
частый гость
Сейчас нет на сайте
sandy, Тоесть ты сам себя критикуэш ну штож похвально.
sandyДата: Понедельник, 15 Июля 2019, 21:05 | Сообщение # 9
частый гость
Сейчас нет на сайте
Цитата Lich420king1337 ()
Тоесть ты сам себя критикуэш ну штож похвально

Lich420king1337, то есть ты сам себя похвалил. Правда немного печально. :D
Lich420king1337Дата: Вторник, 16 Июля 2019, 19:06 | Сообщение # 10
частый гость
Сейчас нет на сайте
sandy, Помоему шутки про Камеди клаб начал ты штото тут не сходится тебе не кажеться?
LeoninДата: Вторник, 16 Июля 2019, 22:12 | Сообщение # 11
был не раз
Сейчас нет на сайте
Цитата sandy ()
ты же в основном привел примеры Speech-recognition. А это обратная задача по отношению к TTS.

Да, мои извинения, невнимательно прочел
sandyДата: Среда, 17 Июля 2019, 07:15 | Сообщение # 12
частый гость
Сейчас нет на сайте
Цитата Lich420king1337 ()
sandy, Помоему шутки про Камеди клаб начал ты штото тут не сходится тебе не кажеться?

Lich420king1337, предлагаю тебе познакомиться с чуваком, который загнал шутку про Камеди клэб.

Знакомься:

Цитата Lich420king1337 ()
О так твои шутки эволюционировали молодец так держать может еще превзойдешь Comedy club.

- его зовут Lich420king1337.

Слыхал про такого? Смешная фамилия, правда? :D


Сообщение отредактировал sandy - Среда, 17 Июля 2019, 07:16
Lich420king1337Дата: Среда, 17 Июля 2019, 16:05 | Сообщение # 13
частый гость
Сейчас нет на сайте
sandy, Пока што мой уровень юмора не опустилься так низко.
TimKruzДата: Среда, 17 Июля 2019, 17:36 | Сообщение # 14
старожил
Сейчас нет на сайте
Цитата sandy ()
Мне кажется, что незаслуженно обойдена/проигнорирована очень важная тема (и для Unity, и для C# вцелом).
Речь идет о реализации Text-To-Speech подсистемы.
Тем более что реализация модулей TTS уже предполагает различные решения для "сетевых" и локальных синтезаторов.

А в чём вопрос-то? Как подключить TTS к Unity или использовать на C#? Или какие варианты TTS существуют?

Цитата sandy ()
(Для новичков краткое пояснение: TTS, это когда вместо мегабайт предзагруженных аудио-диалогов, вы сможете использовать килобайты требуемого текста)

Мне кажется, технологии TTS пока недостаточно развиты для того, чтобы использовать их в творческих проектах. Это как если бы все персонажи в ААА-игре говорили голосом "гугл-робота" (см. на ютубе серию роликов).

Да и в чём плюсы от TTS? Однозначно не в экономии дискового пространства (сейчас его принято не экономить).
1. Можно на клиенте озвучить любой текст, даже такой, который изначально не был задуман. Нужно ли это играм? Пока нет полноценного ИИ, который не выглядел бы как тупой чат-бот или не менее тупой игровой болванчик, подобная возможность играм не требуется (все тексты заготовлены заранее).
2. Можно серьёзно сэкономить на найме актёров озвучки. Но большим проектам это вообще не нужно (мочить репутацию?), а инди-разработчики предпочитают обходиться текстом. В конце концов все давно привыкли к тому, что большинство игр либо не имеют озвучку совсем, либо озвучены лишь основные/начальные квесты.
3. Экономия пространства диска - сомнительно, т.к. звук требует меньше места, чем качественная графика, а качественный TTS движок сам по себе весит не мало. Ещё нужно будет посчитать, будет ли выгода - у Вокалоидов, к примеру, банк данных одного персонажа весит сотни мегабайт, если я ничего не путаю. Если использовать облачную технологию - возникает необходимость в интернет-подключении, плюс всё сломается, когда кончится лицензия/аренда или облако закроется.

Тут ещё затрагивали тему по обучению языку - так вот в обучении языкам от TTS вообще мало пользы, и, насколько я знаю, все адекватные сервисы обучения используют записи живых актёров. Просто от примитивного TTS трудно добиться правильного звучания, особенно для новичков в языке, а продвинутый TTS может оказаться невыгодным.

Теоретически, нейронные сети вроде как достигли больших успехов в области TTS - пару лет назад были примеры "неотличимого от человеческого" синтеза голоса, но там другая проблема - на пользовательском ПК такой синтез займёт слишком много времени, и уж тем более для игр не подходит, поскольку игра и без синтезатора сильно нагружает любой ПК.

Вообще, TTS хорошо подошёл бы к какой-нибудь игре на тему роботов и всего такого, но, опять же, выгоднее было бы заранее записать фразы и не париться с подключением TTS-движка, если в игру не встроен чат-бот, самостоятельно синтезирующий текст. Короче, нет источника оригинальных текстов - нет необходимости в TTS, особенно если TTS звучит фигово.

Кстати, если подгонять TTS под серьёзную игру, придётся записывать голосовой банк практически под каждого персонажа - и здесь уже неизвестно, что будет дешевле, записать несколько фраз или целый банк (не знаю, насколько трудно создать голосовой банк с нуля, и что может дополнительно потребоваться от актёра). Плюсом - лишний вес игры от каждого дополнительного банка...



sandyДата: Четверг, 18 Июля 2019, 11:51 | Сообщение # 15
частый гость
Сейчас нет на сайте
Цитата Lich420king1337 ()
Пока што мой уровень юмора не опустилься так низко.

Lich420king1337, "покашто" у тебя не обнаружено никакого уровня юмора. Видимо ты кашу без хлеба ел. :D

Цитата TimKruz ()
Lich420king1337, пожалуйста, юморите в разделе флейма, зачем здесь это?

TimKruz, оне не юморят, оне бредят на лету :D

Цитата TimKruz ()
Мне кажется, технологии TTS пока недостаточно развиты для того, чтобы использовать их в творческих проектах.

TimKruz, довольно неслабо ошибся! TTS очень хорошо развито. У тебя под рукой очень качественные синтезаторы на выбор - облачные и standalone. И предложение вполне конкретное:
написать для себя простые модули для использования этих возможностей в своих проектах. Пример приведен выше.
(А написанная тобой ниже "простыня" - размышлизм ни о чем. У тебя более половины голосовых сообщений в проекте относится к сервисным, типа "Вас вызывает блокпост №111" и "Доступ разрешен")


Сообщение отредактировал sandy - Четверг, 18 Июля 2019, 12:09
Форум игроделов » Движки для разработки игр и сложные системы разработки » Unity » TTS (text-to-speech)
  • Страница 1 из 1
  • 1
Поиск:

Все права сохранены. GcUp.ru © 2008-2024 Рейтинг