Народ, приветствую. Мне кажется, что незаслуженно обойдена/проигнорирована очень важная тема (и для Unity, и для C# вцелом). Речь идет о реализации Text-To-Speech подсистемы. Тем более что реализация модулей TTS уже предполагает различные решения для "сетевых" и локальных синтезаторов.
(Для новичков краткое пояснение: TTS, это когда вместо мегабайт предзагруженных аудио-диалогов, вы сможете использовать килобайты требуемого текста)
Ну мне вот тут понадобилось разобрать вот это https://developer.ibm.com/events/voice-enablement-of-applications-next-generation-chatbots-hive-mountain-view-6-6-2019/ https://github.com/IBM/watson-voice-bot/wiki Но, к сожалению нужно было только под WebGL. А вот в Юнити до сих пор в WebGL микрофон на уровне движка не поддерживается. А с левыми плагинами на javascript работать не стали...
И где же ты наш сверчеловек будешь использовать ету технологию.
Lich420king1337, чувак, могу тебе за этот камент поставить плюсик в репу. Хотя ну его нафих, сам поставишь.
Цитатаseaman ()
Ну мне вот тут понадобилось разобрать вот это https://developer.ibm.com/events/voice-enablement-of-applications-next-generation-chatbots-hive-mountain-view-6-6-2019/ https://github.com/IBM/watson-voice-bot/wiki Но, к сожалению нужно было только под WebGL. А вот в Юнити до сих пор в WebGL микрофон на уровне движка не поддерживается. А с левыми плагинами на javascript работать не стали...
seaman, понятно. Спс
Сообщение отредактировал sandy - Воскресенье, 14 Июля 2019, 22:40
Как-то мне предлагали заняться фриланс-проектом по обучению детей английскому языку. Но большинство TTS работали на облочных технологиях и требовали соединения с интернетом, что нам не подходило и что я пытался вдолбить PM'у. Рассматривали следующие варианты, но особо в них я не вникал, т.к. уже заранее настроился отказаться от участия в проекте: https://www.nexmo.com https://assetstore.unity.com/packages/add-ons/machinelearning/google-cloud-speech-recognition-vr-ar-desktop-desktop-72625 https://assetstore.unity.com/packages/tools/audio/mobile-speech-recognizer-73036 https://assetstore.unity.com/packages/tools/integration/android-speech-tts-45168 https://lightbuzz.com/speech-recognition-unity/#comment-12397 http://www.kokosoft.pl/forums/topic/offline-working-and-letter-recognition/ Еще Siri рассматривали.
О так твои шутки эволюционировали молодец так держать может еще превзойдешь Comedy club.
Lich420king1337, так ты оттуда? Извини, сначала не разобрал, что ты Галустян!
ЦитатаLeonin ()
speech-recognition-unity
Leonin, ты же в основном привел примеры Speech-recognition. А это обратная задача по отношению к TTS. Там только одна ссылка "android-speech-tts-45168" относится к вопросу. Но это, конечно, платный ассет, и он громоздкий. Я же предлагаю потренироваться, и заготовить свои модули, типа такого:
Код
using System; using System.Speech.Synthesis; namespace SampleSynthesis { class Program { static void Main(string[] args) { // Initialize a new instance of the SpeechSynthesizer. SpeechSynthesizer synth = new SpeechSynthesizer(); // Configure the audio output. synth.SetOutputToDefaultAudioDevice(); // Speak a string. synth.Speak("This example demonstrates a basic use of Speech Synthesizer"); Console.WriteLine(); Console.WriteLine("Press any key to exit..."); Console.ReadKey(); } } }
- легко-повторяемые и простые
Сообщение отредактировал sandy - Понедельник, 15 Июля 2019, 19:59
Мне кажется, что незаслуженно обойдена/проигнорирована очень важная тема (и для Unity, и для C# вцелом). Речь идет о реализации Text-To-Speech подсистемы. Тем более что реализация модулей TTS уже предполагает различные решения для "сетевых" и локальных синтезаторов.
А в чём вопрос-то? Как подключить TTS к Unity или использовать на C#? Или какие варианты TTS существуют?
Цитатаsandy ()
(Для новичков краткое пояснение: TTS, это когда вместо мегабайт предзагруженных аудио-диалогов, вы сможете использовать килобайты требуемого текста)
Мне кажется, технологии TTS пока недостаточно развиты для того, чтобы использовать их в творческих проектах. Это как если бы все персонажи в ААА-игре говорили голосом "гугл-робота" (см. на ютубе серию роликов).
Да и в чём плюсы от TTS? Однозначно не в экономии дискового пространства (сейчас его принято не экономить). 1. Можно на клиенте озвучить любой текст, даже такой, который изначально не был задуман. Нужно ли это играм? Пока нет полноценного ИИ, который не выглядел бы как тупой чат-бот или не менее тупой игровой болванчик, подобная возможность играм не требуется (все тексты заготовлены заранее). 2. Можно серьёзно сэкономить на найме актёров озвучки. Но большим проектам это вообще не нужно (мочить репутацию?), а инди-разработчики предпочитают обходиться текстом. В конце концов все давно привыкли к тому, что большинство игр либо не имеют озвучку совсем, либо озвучены лишь основные/начальные квесты. 3. Экономия пространства диска - сомнительно, т.к. звук требует меньше места, чем качественная графика, а качественный TTS движок сам по себе весит не мало. Ещё нужно будет посчитать, будет ли выгода - у Вокалоидов, к примеру, банк данных одного персонажа весит сотни мегабайт, если я ничего не путаю. Если использовать облачную технологию - возникает необходимость в интернет-подключении, плюс всё сломается, когда кончится лицензия/аренда или облако закроется.
Тут ещё затрагивали тему по обучению языку - так вот в обучении языкам от TTS вообще мало пользы, и, насколько я знаю, все адекватные сервисы обучения используют записи живых актёров. Просто от примитивного TTS трудно добиться правильного звучания, особенно для новичков в языке, а продвинутый TTS может оказаться невыгодным.
Теоретически, нейронные сети вроде как достигли больших успехов в области TTS - пару лет назад были примеры "неотличимого от человеческого" синтеза голоса, но там другая проблема - на пользовательском ПК такой синтез займёт слишком много времени, и уж тем более для игр не подходит, поскольку игра и без синтезатора сильно нагружает любой ПК.
Вообще, TTS хорошо подошёл бы к какой-нибудь игре на тему роботов и всего такого, но, опять же, выгоднее было бы заранее записать фразы и не париться с подключением TTS-движка, если в игру не встроен чат-бот, самостоятельно синтезирующий текст. Короче, нет источника оригинальных текстов - нет необходимости в TTS, особенно если TTS звучит фигово.
Кстати, если подгонять TTS под серьёзную игру, придётся записывать голосовой банк практически под каждого персонажа - и здесь уже неизвестно, что будет дешевле, записать несколько фраз или целый банк (не знаю, насколько трудно создать голосовой банк с нуля, и что может дополнительно потребоваться от актёра). Плюсом - лишний вес игры от каждого дополнительного банка...
Lich420king1337, sandy, пожалуйста, юморите в разделе флейма, зачем здесь это?
Пока што мой уровень юмора не опустилься так низко.
Lich420king1337, "покашто" у тебя не обнаружено никакого уровня юмора. Видимо ты кашу без хлеба ел.
ЦитатаTimKruz ()
Lich420king1337, пожалуйста, юморите в разделе флейма, зачем здесь это?
TimKruz, оне не юморят, оне бредят на лету
ЦитатаTimKruz ()
Мне кажется, технологии TTS пока недостаточно развиты для того, чтобы использовать их в творческих проектах.
TimKruz, довольно неслабо ошибся! TTS очень хорошо развито. У тебя под рукой очень качественные синтезаторы на выбор - облачные и standalone. И предложение вполне конкретное: написать для себя простые модули для использования этих возможностей в своих проектах. Пример приведен выше. (А написанная тобой ниже "простыня" - размышлизм ни о чем. У тебя более половины голосовых сообщений в проекте относится к сервисным, типа "Вас вызывает блокпост №111" и "Доступ разрешен")
Сообщение отредактировал sandy - Четверг, 18 Июля 2019, 12:09