Вторник, 19 Марта 2024, 10:46

Приветствую Вас Гость

[ Новые сообщения · Игроделы · Правила · Поиск ]
  • Страница 12 из 12
  • «
  • 1
  • 2
  • 10
  • 11
  • 12
Форум игроделов » Ваши проекты » Идеи для реализации » Визуализации знаний, преобразование текста в фильм/игру (Что то типа искуственного интеллекта, но реальное)
Визуализации знаний, преобразование текста в фильм/игру
"Программа визуализации знаний", автоматическое преобразование текста в фильм. Ваше мнение - ?
1.- хорошая идея[ 231 ][55.53%]
2.- плохая идея[ 203 ][48.80%]
Всего ответов: 416
XoidДата: Пятница, 20 Февраля 2015, 23:09 | Сообщение # 221
почетный гость
Сейчас нет на сайте
похоже у аффтара много свободного времени..

skype:xoid_main | С#/Unity
VedaVizДата: Среда, 16 Марта 2016, 14:26 | Сообщение # 222
участник
Сейчас нет на сайте
У меня хорошие новости! Точнее, одна плохая, а одна хорошая.
Начну с плохой. Во-первых, как я уже говорил, проэкт я разделил на две части: одна - это с использованием Microsoft Agent (2d, 256 цветов, растровая графика, но хато с синтезом русской речи), вторая - это с использованием Unity3d. Поскольку в ближайшее время бесплатных библиотек для юнити для синтеза речи не намечается, то прийдется довольствоваться отсутствием синтеза речи. Но зато что мы получим вместо Microsoft Agent?! А преимущества Юнити - огромные. Во-первых, вместо МС-агента можно использовать NavMesh Agent (Nav Mesh - Navigation Mesh, то есть сетка по которой может ходить персонаж или NavMesh Агент. Чтобы он обходил других персонажей просто на них нужно добавить компонент NavMesh Obstacle то есть препятствие). Теперь, чтобы переместить персонаж из одной точки в другую достаточно одной! комманды вроде agent.destination = destinationPosition; где destinationPosition - это место, куда надо прийти агенту. Все, преимущества над МС-агентом очевидны.
Во-вторых, в Юнити есть два вида анимации (а точнее три): Legacy (так сказать старая система анимация, но она мне нравится. чтобы перести анимацию из новой системы Mecanim в старую достаточно использовать Ассет юнити Animation baker) и Mecanim, которая имеет два подвида: Humanoid (для людей и прочих двуногих существ) и Generic (для остальных: 4-ногих животных и т д и т п). Главное преимущество Меканим в том, что можно для любого человека сделать ретаргетинг (перенацелевание) анимации с другого персонажа. Но для Generic моделей это перенацелевание не работает автоматически. Впрочем, если система скелета одинаковая у обоих моделей, и их названия одинаковы, то ретаргетинг работает даже для 4-ногих!. Однако, изза различий анимация может быть неправильной. Так, я например пробовал взять анимацию атаки с носорога и нацелить ее на корову (ассеты Protofactor), и хотя новая анимация появилась, но у коровы выросло нечто вроде рога из нижней челюсти. В этом плохая новость.
Что это значит для (полу)автоматического преобразования текста в анимацию? А то, что для животных или не дву-ногих существ она будет достаточно ограничена. Однако, поскольку животне не так разумны как люди, то много видов анимаций наверное от них и не требуется и с этими ограничениями можно смириться.

Теперь хорошая новость. Вчера я нашел в интернет большую бесплатную базу анимаций:

Ура товарищи! это набор 2,534 бесплатных анимаций для людей (любых двуногих существ) от университета Карнеги-Мелон (Carnegie-Mellon University mocap library, то есть библиотека Motion Capture или "захвата движений")!
И вот сразу ссылка на магазине активов Юнити: Huge FBX Mocap Library part 1
Сразу скажу, библиотека аболютно бесплатная, даже для коммерческого использования!
Но, размер ее огромен! 2.2 GB - это только первая из 3 частей!
Хорошая новость также в том, что скачать ее можно с зеркала: скачать выборочно
ссылки на 2 и 3 части:
Huge FBX Mocap Library part 2 (732.4 MB)
Huge FBX Mocap Library part 3 (683.9 MB)

Что это значит для проэкта (полу)автоматического преобразования текакста в видеоряд? А очень многое. Это значит что достаточно создать словарь глаголов из порядка 2000 анимаций (поскольку там есть повторения или варианты одного движения с одним названием), создать для них Animator Controller и "прицепить" его на все двуногие существа в проэкте (для них создается соответственно словарь одушевленных сущестивтельных). Дальше простой коммандой Animator.SetBool("глагол", True) устанавливается то или иное движение.

Да, несколько слов о том, как перенацеливать анимацию. Для начала надо выбрать в проэкте Юнити fbx файл модели человека, и в настройках импорта выбрать Humanoid / Create avatar from this model (закладка Rig). Далее, обязательно надо перейти на закладку Animations. Впрочем, если fbx файл не включает анимации, то вы там ничего не увидите. А теперь выбираете скачанный fbx файл с анимацией из Mocap Library. Точно также делаете гуманоидный "аватар". Можно включить галочку "optimize game object". Теперь на вкладке Animations можно увидеть список анимаций (или одну если она одна) - Clips. Выбираем нужный клип и ставим галочки Bake into pose (три). И нажимаем Apply (применить). Ура. Анимация готова для использования. Теперь ее надо скопировать. Раскрываем fbx файл (в виде Project нажимаем стрелочку вправо возле значка файла), выбираем анимацию и жмем CTRL+D (D - Duplicate, то есть создать дубликат анимации). Теперь анимацию можно перетянуть в Animator controller.
Так что теперь можно сделать нечто вроде Spinnakers story machine в 3d, в unity3d.

А вот пример списка анимаций:


* Откапывая ошибки, теряют время, которое употребили бы, быть может, на открытие истин. (Вольтер)

Сообщение отредактировал VedaViz - Среда, 16 Марта 2016, 15:15
AlexRabbitДата: Среда, 16 Марта 2016, 18:09 | Сообщение # 223
старожил
Сейчас нет на сайте
графомания в чистом виде.

Нам требуются партнеры для продвижения и поддержки нашего ПО
VedaVizДата: Четверг, 05 Октября 2017, 12:12 | Сообщение # 224
участник
Сейчас нет на сайте
Найден Asset для Unity3d - синтез речи!
Скачать:
finalmarco.com - Text to Speech Unity c# code and dll's

VIDEO youtube: Синтез речи Юнити колобок

Также найдена программа SharpNLP (https://sharpnlp.codeplex.com), которая делает Part-of-speech tagging (определяет части речи слов, только на английском - ЧАСТЕРЕЧНАЯ РАЗМЕТКА).
К моему удивлению, SharpNLP удачно добавилась в Unity3d (предварительно я установил SQLite / DLLs), и "Юнька" тепер тоже умеет определять части речи для слов :-) Конечно, компонент визуализации разобранного текста в виде схемы не работает (используется компонент Netron Lithium), но к тексту корректно добавляются теги :-)

Что дальше? А дальше нужно будет искать в тексте словосочетания Существительное+Глагол, для существительного производить поиск GameObject.Find (кстати, для собственных существительных - имен людей надо создавать LEGO-человечков из префабов), а глагол "превращать" в анимацию (взять из Carnegie Mellon mocap library - порядка 2500 анимаций)

Вот как выглядит SharpNLP в Unity3d: SharpNLP in Unity3d game engine

Дальше. Добавил простой анализатор фраз типа
GameObject1 GOTO GameObject2

Также добавил синтез речи, анализируются фразы вида:
GameObjectN: Speech

Тут люди меня обвиняют что я не выложил исходный код, хотя разместил программу (Microsoft Agent версия) на SourceForge (кстати что-то они мой акаунт заблокировали что ли, не могу зайти). Я размещу исходник. Только теперь он будет весить минимум 170 МБайт - это только версия с анализатором предложений (part-of-speech tagging, то есть SharpNLP). А ещё добавить 3д-модели (fbx файлы) - разных животных... А о 2500 анимаций Карнеги университета я уж молчу - даже не знаю как это можно выложить. Похоже, лучший вариант - это залить весь проэкт на GitHub.com - пусть люди качают ZIP или делают зеркало на свой комп.

Ещё одно. я паралельно увлекаюсь программированием игр, так что время идёт на них. Но об идее преобразования текста в игру я не забыл. скорее всего есть смысл сделать "консоль" для ввода текстовых комманд (открть по клавише ~ как в известных играх). Но вообще-то я сейчас начинаю осознавать всю сложность замысла. Да, это нереально, если брать "сырой" не подготовленный текст. Входной текст надо адаптировать. Видимо SharpNLP+Unity3d прийдётся использовать для анализа таких шаблонных фраз, словосочетаний. Возможно надо сделать нечто WordsEye - надо подумать. Хотя там нет анимации - это меня не привлекает.

Ещё пару слов о Microsoft Agent. Поскольку у меня появился доступ к синтезу речи для Юнити3д, то MSAgent уже не актуально. Там есть одна хорошая "фича" (в Visual-Basic версии) - использование системного реестра без "суффиксов" как это делает Unity3d, но я вместо реестра теперь пишу данные в обычные txt файлы

Добавлено (23 Декабря 2018, 04:22)
---------------------------------------------
Уважаемые критики!

Мой духовный учитель, Его святейшкство А.Ч.Бхактиведента Свами Прабхупада сказал: "Все в этом мире - враги Бога. Мы все - демоны".

Потому мне все равно что вы думаете обо мне. По Шопенгауэру "Весь мир - это ад".

Называйте меня психом, троллем, графоманом, демоном. Есть такое замечательное слово на санскрите "асура". Оно имеет значение и демон и бог, и святой, и духовный, и божественный. Потому нет разницы. Кто-то больше святой, кто-то меньше.

Давайте не критиковать друг друга, не искать негатив, а позитив.

Как говорят, есть сознание мухи и пчелы. Муха ищет навоз, а пчела - нектар. Вот я даже в слове демон нашел нектар (один из смыслов - святой, бог)... Называете меня графоманом\тролем\психом (демоном\асуром)- ну и что, а мне смешно и весело :-) от обозначений суть не поменяется.

Купил ассет -
https://assetstore.unity.com/packages/tools/gui/tree-view-65364


* Откапывая ошибки, теряют время, которое употребили бы, быть может, на открытие истин. (Вольтер)

Сообщение отредактировал VedaViz - Четверг, 09 Ноября 2017, 16:07
AlexRabbitДата: Воскресенье, 23 Декабря 2018, 20:04 | Сообщение # 225
старожил
Сейчас нет на сайте
Цитата VedaViz ()
Купил ассет -
https://assetstore.unity.com/packages/tools/gui/tree-view-65364

И зачем он в этом проекте?


Нам требуются партнеры для продвижения и поддержки нашего ПО
VedaVizДата: Суббота, 13 Июня 2020, 14:15 | Сообщение # 226
участник
Сейчас нет на сайте
Цитата AlexRabbit ()
И зачем он в этом проекте?

ну, пока думаю что сделаю перевод моей вики по Махабхарате на англ. язык. там есть список уровней сражений (кто кого убил, их имена, количество, если это не уникальные юниты). Нужно будет это потом забросить в SharpNLP, и если уровни названы просто - то легко их потом перебросить в XML (тулза есть уже), и в юнити3д. Дальше, используя этот самый tree-view, о котором вы спрашиваете зачем он - показывать уровни в виде дерева (хотя может быть сейчас, обучаясь на программиста уже год, я бы сделал это сам, или даже в Unreal Engine, время покажет). В итоге экономится время - для генератора уровней игр по типу героев меча и магии ;-)

кстати, небольшая новость. Сейчас я решил сделать игру типа Героев меча и магии 2. Причём сделать просто - вытащить все картинки/анимации (спрайты юнитов и т д). для этого дслела две программки. Они пока только для игры Герои меча и маги (изначально только версии 3-3,5, но потом я понял, что дух Героев Меча и магии настоящий именно во 2-й версии, так что теперь буду основную графику вытаскивать оттула), но для Диабло тоже можно исползовать и для других игр, которые имеют спрайты (хоть с анимацией, типа ГИФок, хоть без) - но где нет нормальной прозрачности...

итак, в архиве по этой ссылке - https://drive.google.com/file/d/1rCzCUJJzfOlVpF8Iyie9bdTgCbkUriZm/view?usp=sharing
1) утилитка Heroes2-3,5PicsTreeview_ClickToAddTransparency
она изначально задумывалась, чтобы добавить прозрачность. как известно, в героях меча и магии 2-3, есть фон - голубой. ну жесть. надо это голубизну убить, и изменить на прозрачность ;-) оказалось, это делается просто - есть функция MakeTransparent у класса Bitmap -
https://docs.microsoft.com/en-us/dotnet/api/system.drawing.bitmap.maketransparent?view=dotnet-plat-ext-3.1
что я успешно и ипользовал, чтобы превратить голубой цвет в героях2-3 - на прозрачный

у него код rgb 0, 254, 255 и 0, 255, 255

дальше, это всё поставленно "на ковеер". все файлы - а их тысячи и тысячи - автоматом можно сделать прозрачными этим методом. есть спосбом просто нажать на папку (нужно написать в путь и нажать энтер) - и все файлы в ней будут сделани с прозрачностью.
и есть вариант пройтись по всем подпапкам - тогда в каждой папке считывается весь список файлов, и все они делаются с прозрачностью, и так по каждой подпапке...

в итоге всё становится намного проще. не надо морочиться делать мод для героев. я пробовал этой зимой. ну его в... проще сделать самому. ведь есть утилиты для работы со спрайтами. главное можно эти спрайты вытащить. а дальше - дело простое - сделать самому редактор уровней из нужных спрайтов (хоть в юнити3д, правда там нужно тогда ставить в качестве текстуры - видео-файл, что странно... ну или просто покадрово менять картинки - что более вроде рационально, во всяком случае можно контроллировать скорость смены кажров, что хорошо)...

ещё одно: эта же моя микро прога также подойдёт и для Диабло. Моего "любимого" ;-) много играл в эту игру, как и героев. Думаю, вытащить из Диабло все спрайты (ну по возможности, там есть утилита для распаковки всех спрайтов анимации, но она тупит - нужно долго и нудно тыкать одни и те же кнопки - выбрать файл, нажать сохранить как, выбрать тип ГИФ и т д)... но если сосредоточиться на главных спрайтах, и подумать что это действительно хорошая цель - то вполне себе решаемо...

2) есть утилитка Heroes2_ExtractConvert для конвертировки всех спрайтиков из любимых, обожаемых всеми Героев меча и магии 2 - в обычные БМП...
вообще, можно сделать всё вручную - но там порядка 1000 файлов, или больше (а в каждом- могут быть десяток кадров) , то "задолбаешься"...
вобщем там объяснять ничего не буду - кому надо - заглянет в архив и всё поймет.
при помощи AggUnPack - распаковать все файлы из архива Героев2 (типа *.AGG).
и нам нужные главные две утилиты -
- til2img.exe - из FreeHeroes
- h2ICNunpack.exe
в первой надо задать через пробел путь к файлу типа til (это всякие текстуры на "землю" - типа травы, пустыни, снега, воды... и это я буду использовать в своей версии Героев 2 ;-) ) - и после имени файла типа til - указать папку - и в эту папку будут распакованы спрайты ;-)

во второй утилите тяжелее. там мешает даилог, что "всё ок". в итоге у меня было больше 800 файлов, и надо было тыкать ОК каждый раз (раньше была прога keyText для этого, но этот раз я обошелся без нее)... но все они удачно преобразованы в БМП :-)

всё, теперь добавть прозрачность - и спрайты готовы чтобы кинуть их в Юнити3д, или другой редактор (даже на WinForms/С# можно попробовать сделать, по крайней мере редактор уровней).

в итоге, я смотрю, что из героев 3 (3,5) вполне себе классно вытаскиваются интерфейсы - картинки-фона для списков чего-то там. в стиле типа под камень/мрамор, очень стильно (так же делают в Диабло). интерфейсы для бегания героя по карте. всякие там значки героев и замков (их вполне уместно поменять на свои)... плюс есть картинки замков, что внутри их - интерфейсы - куда вставляются портреты героя, его набранной армии... списко зданий в замках... - плюс интерфейсы - шаблоны, в которые вставляются что строить, кого нанимать... графика вся вытаскивается на УРА! ;-) с прозрачностью ;-)
впринципе, можно делать даже крос-платформенных героев - для Андроида, для Видны, Айфонов, при этом - добавлять любые в них спрайты хоть из Диабло, из Махабхараты (что я делаю как служение гуру, но это другая тема ;-) )...

я выбрал Героев 2-3 - птому что они без крови, очень медитативный, то есть классный эстетический стиль что музыки/звуков, что графики... И это круто!
Я бы сказал "герои меча и магии спасут мир" ;-).

да, нюансик. Для Диабло, чтобы сделать прозрачность, нужно вместо кода цвета 0, 255, 255 (для голубого фона в героях2-3) ставить чёрный. это я буду делать ещё потом. и не только из Диабло, думаю вытаскивать графику. делать прозрачность много где надо... (там кстати полный исходник, Visual Studio C# 2019 / WinForms. там ничего секретного и сложного нет ;-) )

качаем, и вдохновляемся, что можно сделать своих героев2-3 / Диабло "с нуля" - используя готовые картинки, текстуры, граф. интерфейсы (и курсорчики есть, и всякие стрелочки - куда герою меча и магии почти чтобы дойти куда надо ;-)... всё есть ;-) ) - так что любителям этих двух игр рекомендую. ну а кто не любит такое - я никого не заставляю ;-)

https://drive.google.com/file/d/1rCzCUJJzfOlVpF8Iyie9bdTgCbkUriZm/view?usp=sharing

p.s. видимо, свой "vedaviz" буду делать в стиле героев меча и магии 2-3 ;-)

Добавлено (22 Июня 2020, 13:35)
---------------------------------------------
я решил выложить в открытый доступ свои проэкты c#/Unity3d в открытый доступ. Одна причина - хочу перепрофилироваться на c++/Unreal Engine. Кроме того, даже не уверен что буду делать игры дальше. В каком-то смысле это - "песочница" (ну или творческий бассейн), потому там ценность не такая высокая. Но копирайт остаётся за мной. Если кто захочет на этом заработать деньги - то пусть имеет ввиду что я против (или это вам будет плохая карма, и Ямарадж будет вас за это судить ;-) ).

Вот мои основные проэкты за последние где-то лет 5 (начиная со времени как я сдесь начал писать, в этой теме, изучать Unity3d, и у меня стало что-то более-менее толковое получаться):

https://drive.google.com/drive/folders/1uiZ1NRNnuYxgnSyRsWy0TqTYQHUbWHns

там полтора десятка проэктов. Последний - это игра по типу Диабло, в которой проработана (почти всё ок) логика "подойти и атаковать" - как для игры Диабло. Короче, кому надо и интересно разберётся. Всё работает. проверял. Если в новой версии юнити будут выскакивать ошибки - то это изза того, что она добавляет какие-то доплнения (их надо просто удалить... они непонятно почему добавляются в новые пустые проэкты, раньше Юнити такого не делала)...

всем удачи. считайте это мой всем подарок на мой день рождения и международный день йоги ;-)
там есть ещё сырпризы внутри, но это пусть будет для тех кто разберётся где оно - пусть это будет неожиданностью, приятным подарком (ну принято в свой день рождения раздавать подарки)... как говорится, чем бескорыстнее - тем лучше. продвигать это всё за деньги - облом. понимаю, никто не купит. а в качесте беслпатного контента, который может привлечь в будущем к другому контенту (который может быть будет платным) - в самый раз ;-) хотя это скорее всего будет моя работа программистом (надеюсь), а пока я могу себе позволить "потроллить", ведь никакой работодавец надо мной не ставит рамки - "это можна, а это нельзя".

делать забесплатно имеет свой интересный вкус: это возвращается потом в более качественном варианте. И можно говорить о каких-то крутых вещах, о которых ранее может быть даже было бы страшно сказать. а так - это даёт свободу (ну типа как Сократу, который спокойно себе даже с политиками общался)... да, как в Героях меча и магии - если отдать добро (в моём случае мои исходники игр забесплатно, "VedaViz") - за просто так (за пожертвования), то это даёт серьёзный опыт. и видимо неслучайно оно так устроено, что тот, кто отдаёт бесплатно - более дорог Богу, Его преданным, ми более уважаем ;-) я это почувствовал, что это реально работает ;-) и это даже некий скажем так кайф, когда отдаёшь бесплатно... коечнор, кто-то скажет, что "деньги - это кровь организации, и надо обязательно брать за это всё деньги"... я думаю время ещё не пришло. а кто реально захочет их мне отдать - то для этого способ надётся... почему-то говорится, что природа всё так устроила идеально, что "всем всегда всего хватает" (как-то так по Ведам)...

мне важен feedback (реакция на всё это, на мой код). чтобы хоть кто-то оценил, эти идеи, игры, проэкты... и скоре всего такие люди будут среди тех, кто не хочет платить... им надо вначале показать забесплатно... а потом уже это может перерасти в что-то большее... появятся единомышленники. я рад, что порядка 200 людям в этой теме идея понравилась. да, это не много. и им всем тяжело (как и мне), было общаться с теми, кто ненавидел эту идею. слова - одно, дело другое. переходим от слов, теории - к практике...

всем удачи. надеюсь, тем, кто ставил лайки в этой теме, что "идея - хорошая", найдут мой полезный мой сегодняшний подарок (изначально я его выложил однокурсникам, преподавателю программиоранию, по Юнити в т ч), а теперь думаю, что вполне могу выложить и здесь (нет особо времени и желания что-то менять в тех архивах. там есть дубликаты, лишняя инфа, может чего-то не хватает, но по сути всё работает, и можно сложить впечатления о том что я делал в Юнити за последние годы. ну и в Си# не Unity, чисто в WinForms)... там не все проэкты. но это вроде самые большие и интересные.

С вас лайки ;-) Ну или ругайте меня , и распинайте меня своих крестах, как кто там хотел здесь. я согласен (без плохих последствий для вас) ;-)


* Откапывая ошибки, теряют время, которое употребили бы, быть может, на открытие истин. (Вольтер)

Сообщение отредактировал VedaViz - Суббота, 13 Июня 2020, 14:17
Форум игроделов » Ваши проекты » Идеи для реализации » Визуализации знаний, преобразование текста в фильм/игру (Что то типа искуственного интеллекта, но реальное)
  • Страница 12 из 12
  • «
  • 1
  • 2
  • 10
  • 11
  • 12
Поиск:

Все права сохранены. GcUp.ru © 2008-2024 Рейтинг