Воскресенье, 08 Декабря 2019, 08:04

Приветствую Вас Гость

[ Новые сообщения · Игроделы · Правила · Поиск ]
  • Страница 12 из 12
  • «
  • 1
  • 2
  • 10
  • 11
  • 12
Модератор форума: Ordan  
Форум игроделов » Ваши проекты » Идеи для реализации » Визуализации знаний, преобразование текста в фильм/игру (Что то типа искуственного интеллекта, но реальное)
Визуализации знаний, преобразование текста в фильм/игру
"Программа визуализации знаний", автоматическое преобразование текста в фильм. Ваше мнение - ?
1.- хорошая идея[ 230 ][55.69%]
2.- плохая идея[ 201 ][48.67%]
Всего ответов: 413
XoidДата: Пятница, 20 Февраля 2015, 23:09 | Сообщение # 221
почетный гость
Сейчас нет на сайте
похоже у аффтара много свободного времени..

skype:xoid_main | С#/Unity
VedaVizДата: Среда, 16 Марта 2016, 14:26 | Сообщение # 222
участник
Сейчас нет на сайте
У меня хорошие новости! Точнее, одна плохая, а одна хорошая.
Начну с плохой. Во-первых, как я уже говорил, проэкт я разделил на две части: одна - это с использованием Microsoft Agent (2d, 256 цветов, растровая графика, но хато с синтезом русской речи), вторая - это с использованием Unity3d. Поскольку в ближайшее время бесплатных библиотек для юнити для синтеза речи не намечается, то прийдется довольствоваться отсутствием синтеза речи. Но зато что мы получим вместо Microsoft Agent?! А преимущества Юнити - огромные. Во-первых, вместо МС-агента можно использовать NavMesh Agent (Nav Mesh - Navigation Mesh, то есть сетка по которой может ходить персонаж или NavMesh Агент. Чтобы он обходил других персонажей просто на них нужно добавить компонент NavMesh Obstacle то есть препятствие). Теперь, чтобы переместить персонаж из одной точки в другую достаточно одной! комманды вроде agent.destination = destinationPosition; где destinationPosition - это место, куда надо прийти агенту. Все, преимущества над МС-агентом очевидны.
Во-вторых, в Юнити есть два вида анимации (а точнее три): Legacy (так сказать старая система анимация, но она мне нравится. чтобы перести анимацию из новой системы Mecanim в старую достаточно использовать Ассет юнити Animation baker) и Mecanim, которая имеет два подвида: Humanoid (для людей и прочих двуногих существ) и Generic (для остальных: 4-ногих животных и т д и т п). Главное преимущество Меканим в том, что можно для любого человека сделать ретаргетинг (перенацелевание) анимации с другого персонажа. Но для Generic моделей это перенацелевание не работает автоматически. Впрочем, если система скелета одинаковая у обоих моделей, и их названия одинаковы, то ретаргетинг работает даже для 4-ногих!. Однако, изза различий анимация может быть неправильной. Так, я например пробовал взять анимацию атаки с носорога и нацелить ее на корову (ассеты Protofactor), и хотя новая анимация появилась, но у коровы выросло нечто вроде рога из нижней челюсти. В этом плохая новость.
Что это значит для (полу)автоматического преобразования текста в анимацию? А то, что для животных или не дву-ногих существ она будет достаточно ограничена. Однако, поскольку животне не так разумны как люди, то много видов анимаций наверное от них и не требуется и с этими ограничениями можно смириться.

Теперь хорошая новость. Вчера я нашел в интернет большую бесплатную базу анимаций:

Ура товарищи! это набор 2,534 бесплатных анимаций для людей (любых двуногих существ) от университета Карнеги-Мелон (Carnegie-Mellon University mocap library, то есть библиотека Motion Capture или "захвата движений")!
И вот сразу ссылка на магазине активов Юнити: Huge FBX Mocap Library part 1
Сразу скажу, библиотека аболютно бесплатная, даже для коммерческого использования!
Но, размер ее огромен! 2.2 GB - это только первая из 3 частей!
Хорошая новость также в том, что скачать ее можно с зеркала: скачать выборочно
ссылки на 2 и 3 части:
Huge FBX Mocap Library part 2 (732.4 MB)
Huge FBX Mocap Library part 3 (683.9 MB)

Что это значит для проэкта (полу)автоматического преобразования текакста в видеоряд? А очень многое. Это значит что достаточно создать словарь глаголов из порядка 2000 анимаций (поскольку там есть повторения или варианты одного движения с одним названием), создать для них Animator Controller и "прицепить" его на все двуногие существа в проэкте (для них создается соответственно словарь одушевленных сущестивтельных). Дальше простой коммандой Animator.SetBool("глагол", True) устанавливается то или иное движение.

Да, несколько слов о том, как перенацеливать анимацию. Для начала надо выбрать в проэкте Юнити fbx файл модели человека, и в настройках импорта выбрать Humanoid / Create avatar from this model (закладка Rig). Далее, обязательно надо перейти на закладку Animations. Впрочем, если fbx файл не включает анимации, то вы там ничего не увидите. А теперь выбираете скачанный fbx файл с анимацией из Mocap Library. Точно также делаете гуманоидный "аватар". Можно включить галочку "optimize game object". Теперь на вкладке Animations можно увидеть список анимаций (или одну если она одна) - Clips. Выбираем нужный клип и ставим галочки Bake into pose (три). И нажимаем Apply (применить). Ура. Анимация готова для использования. Теперь ее надо скопировать. Раскрываем fbx файл (в виде Project нажимаем стрелочку вправо возле значка файла), выбираем анимацию и жмем CTRL+D (D - Duplicate, то есть создать дубликат анимации). Теперь анимацию можно перетянуть в Animator controller.
Так что теперь можно сделать нечто вроде Spinnakers story machine в 3d, в unity3d.

А вот пример списка анимаций:


* Откапывая ошибки, теряют время, которое употребили бы, быть может, на открытие истин. (Вольтер)

Сообщение отредактировал VedaViz - Среда, 16 Марта 2016, 15:15
AlexRabbitДата: Среда, 16 Марта 2016, 18:09 | Сообщение # 223
старожил
Сейчас нет на сайте
графомания в чистом виде.

Нам требуются партнеры для продвижения и поддержки нашего ПО
VedaVizДата: Четверг, 05 Октября 2017, 12:12 | Сообщение # 224
участник
Сейчас нет на сайте
Найден Asset для Unity3d - синтез речи!
Скачать:
finalmarco.com - Text to Speech Unity c# code and dll's

VIDEO youtube: Синтез речи Юнити колобок

Также найдена программа SharpNLP (https://sharpnlp.codeplex.com), которая делает Part-of-speech tagging (определяет части речи слов, только на английском - ЧАСТЕРЕЧНАЯ РАЗМЕТКА).
К моему удивлению, SharpNLP удачно добавилась в Unity3d (предварительно я установил SQLite / DLLs), и "Юнька" тепер тоже умеет определять части речи для слов :-) Конечно, компонент визуализации разобранного текста в виде схемы не работает (используется компонент Netron Lithium), но к тексту корректно добавляются теги :-)

Что дальше? А дальше нужно будет искать в тексте словосочетания Существительное+Глагол, для существительного производить поиск GameObject.Find (кстати, для собственных существительных - имен людей надо создавать LEGO-человечков из префабов), а глагол "превращать" в анимацию (взять из Carnegie Mellon mocap library - порядка 2500 анимаций)

Вот как выглядит SharpNLP в Unity3d: SharpNLP in Unity3d game engine

Дальше. Добавил простой анализатор фраз типа
GameObject1 GOTO GameObject2

Также добавил синтез речи, анализируются фразы вида:
GameObjectN: Speech

Тут люди меня обвиняют что я не выложил исходный код, хотя разместил программу (Microsoft Agent версия) на SourceForge (кстати что-то они мой акаунт заблокировали что ли, не могу зайти). Я размещу исходник. Только теперь он будет весить минимум 170 МБайт - это только версия с анализатором предложений (part-of-speech tagging, то есть SharpNLP). А ещё добавить 3д-модели (fbx файлы) - разных животных... А о 2500 анимаций Карнеги университета я уж молчу - даже не знаю как это можно выложить. Похоже, лучший вариант - это залить весь проэкт на GitHub.com - пусть люди качают ZIP или делают зеркало на свой комп.

Ещё одно. я паралельно увлекаюсь программированием игр, так что время идёт на них. Но об идее преобразования текста в игру я не забыл. скорее всего есть смысл сделать "консоль" для ввода текстовых комманд (открть по клавише ~ как в известных играх). Но вообще-то я сейчас начинаю осознавать всю сложность замысла. Да, это нереально, если брать "сырой" не подготовленный текст. Входной текст надо адаптировать. Видимо SharpNLP+Unity3d прийдётся использовать для анализа таких шаблонных фраз, словосочетаний. Возможно надо сделать нечто WordsEye - надо подумать. Хотя там нет анимации - это меня не привлекает.

Ещё пару слов о Microsoft Agent. Поскольку у меня появился доступ к синтезу речи для Юнити3д, то MSAgent уже не актуально. Там есть одна хорошая "фича" (в Visual-Basic версии) - использование системного реестра без "суффиксов" как это делает Unity3d, но я вместо реестра теперь пишу данные в обычные txt файлы

Добавлено (23 Декабря 2018, 04:22)
---------------------------------------------
Уважаемые критики!

Мой духовный учитель, Его святейшкство А.Ч.Бхактиведента Свами Прабхупада сказал: "Все в этом мире - враги Бога. Мы все - демоны".

Потому мне все равно что вы думаете обо мне. По Шопенгауэру "Весь мир - это ад".

Называйте меня психом, троллем, графоманом, демоном. Есть такое замечательное слово на санскрите "асура". Оно имеет значение и демон и бог, и святой, и духовный, и божественный. Потому нет разницы. Кто-то больше святой, кто-то меньше.

Давайте не критиковать друг друга, не искать негатив, а позитив.

Как говорят, есть сознание мухи и пчелы. Муха ищет навоз, а пчела - нектар. Вот я даже в слове демон нашел нектар (один из смыслов - святой, бог)... Называете меня графоманом\тролем\психом (демоном\асуром)- ну и что, а мне смешно и весело :-) от обозначений суть не поменяется.

Купил ассет -
https://assetstore.unity.com/packages/tools/gui/tree-view-65364


* Откапывая ошибки, теряют время, которое употребили бы, быть может, на открытие истин. (Вольтер)

Сообщение отредактировал VedaViz - Четверг, 09 Ноября 2017, 16:07
AlexRabbitДата: Воскресенье, 23 Декабря 2018, 20:04 | Сообщение # 225
старожил
Сейчас нет на сайте
Цитата VedaViz ()
Купил ассет -
https://assetstore.unity.com/packages/tools/gui/tree-view-65364

И зачем он в этом проекте?


Нам требуются партнеры для продвижения и поддержки нашего ПО
Форум игроделов » Ваши проекты » Идеи для реализации » Визуализации знаний, преобразование текста в фильм/игру (Что то типа искуственного интеллекта, но реальное)
  • Страница 12 из 12
  • «
  • 1
  • 2
  • 10
  • 11
  • 12
Поиск:

Все права сохранены. GcUp.ru © 2008-2019 Рейтинг