Четверг, 13 Июня 2024, 16:37

Приветствую Вас Гость

[ Новые сообщения · Игроделы · Правила · Поиск ]
  • Страница 12 из 12
  • «
  • 1
  • 2
  • 10
  • 11
  • 12
Визуализации знаний, преобразование текста в фильм/игру
"Программа визуализации знаний", автоматическое преобразование текста в фильм. Ваше мнение - ?
1. - хорошая идея [ 231 ] [55.53%]
2. - плохая идея [ 203 ] [48.80%]
Всего ответов: 416
XoidДата: Пятница, 20 Февраля 2015, 23:09 | Сообщение # 221
почетный гость
Сейчас нет на сайте
похоже у аффтара много свободного времени..

skype:xoid_main | С#/Unity
VedaVizДата: Среда, 16 Марта 2016, 14:26 | Сообщение # 222
участник
Сейчас нет на сайте
У меня хорошие новости! Точнее, одна плохая, а одна хорошая.
Начну с плохой. Во-первых, как я уже говорил, проэкт я разделил на две части: одна - это с использованием Microsoft Agent (2d, 256 цветов, растровая графика, но хато с синтезом русской речи), вторая - это с использованием Unity3d. Поскольку в ближайшее время бесплатных библиотек для юнити для синтеза речи не намечается, то прийдется довольствоваться отсутствием синтеза речи. Но зато что мы получим вместо Microsoft Agent?! А преимущества Юнити - огромные. Во-первых, вместо МС-агента можно использовать NavMesh Agent (Nav Mesh - Navigation Mesh, то есть сетка по которой может ходить персонаж или NavMesh Агент. Чтобы он обходил других персонажей просто на них нужно добавить компонент NavMesh Obstacle то есть препятствие). Теперь, чтобы переместить персонаж из одной точки в другую достаточно одной! комманды вроде agent.destination = destinationPosition; где destinationPosition - это место, куда надо прийти агенту. Все, преимущества над МС-агентом очевидны.
Во-вторых, в Юнити есть два вида анимации (а точнее три): Legacy (так сказать старая система анимация, но она мне нравится. чтобы перести анимацию из новой системы Mecanim в старую достаточно использовать Ассет юнити Animation baker) и Mecanim, которая имеет два подвида: Humanoid (для людей и прочих двуногих существ) и Generic (для остальных: 4-ногих животных и т д и т п). Главное преимущество Меканим в том, что можно для любого человека сделать ретаргетинг (перенацелевание) анимации с другого персонажа. Но для Generic моделей это перенацелевание не работает автоматически. Впрочем, если система скелета одинаковая у обоих моделей, и их названия одинаковы, то ретаргетинг работает даже для 4-ногих!. Однако, изза различий анимация может быть неправильной. Так, я например пробовал взять анимацию атаки с носорога и нацелить ее на корову (ассеты Protofactor), и хотя новая анимация появилась, но у коровы выросло нечто вроде рога из нижней челюсти. В этом плохая новость.
Что это значит для (полу)автоматического преобразования текста в анимацию? А то, что для животных или не дву-ногих существ она будет достаточно ограничена. Однако, поскольку животне не так разумны как люди, то много видов анимаций наверное от них и не требуется и с этими ограничениями можно смириться.

Теперь хорошая новость. Вчера я нашел в интернет большую бесплатную базу анимаций:

Ура товарищи! это набор 2,534 бесплатных анимаций для людей (любых двуногих существ) от университета Карнеги-Мелон (Carnegie-Mellon University mocap library, то есть библиотека Motion Capture или "захвата движений")!
И вот сразу ссылка на магазине активов Юнити: Huge FBX Mocap Library part 1
Сразу скажу, библиотека аболютно бесплатная, даже для коммерческого использования!
Но, размер ее огромен! 2.2 GB - это только первая из 3 частей!
Хорошая новость также в том, что скачать ее можно с зеркала: скачать выборочно
ссылки на 2 и 3 части:
Huge FBX Mocap Library part 2 (732.4 MB)
Huge FBX Mocap Library part 3 (683.9 MB)

Что это значит для проэкта (полу)автоматического преобразования текакста в видеоряд? А очень многое. Это значит что достаточно создать словарь глаголов из порядка 2000 анимаций (поскольку там есть повторения или варианты одного движения с одним названием), создать для них Animator Controller и "прицепить" его на все двуногие существа в проэкте (для них создается соответственно словарь одушевленных сущестивтельных). Дальше простой коммандой Animator.SetBool("глагол", True) устанавливается то или иное движение.

Да, несколько слов о том, как перенацеливать анимацию. Для начала надо выбрать в проэкте Юнити fbx файл модели человека, и в настройках импорта выбрать Humanoid / Create avatar from this model (закладка Rig). Далее, обязательно надо перейти на закладку Animations. Впрочем, если fbx файл не включает анимации, то вы там ничего не увидите. А теперь выбираете скачанный fbx файл с анимацией из Mocap Library. Точно также делаете гуманоидный "аватар". Можно включить галочку "optimize game object". Теперь на вкладке Animations можно увидеть список анимаций (или одну если она одна) - Clips. Выбираем нужный клип и ставим галочки Bake into pose (три). И нажимаем Apply (применить). Ура. Анимация готова для использования. Теперь ее надо скопировать. Раскрываем fbx файл (в виде Project нажимаем стрелочку вправо возле значка файла), выбираем анимацию и жмем CTRL+D (D - Duplicate, то есть создать дубликат анимации). Теперь анимацию можно перетянуть в Animator controller.
Так что теперь можно сделать нечто вроде Spinnakers story machine в 3d, в unity3d.

А вот пример списка анимаций:


* Откапывая ошибки, теряют время, которое употребили бы, быть может, на открытие истин. (Вольтер)

Сообщение отредактировал VedaViz - Среда, 16 Марта 2016, 15:15
AlexRabbitДата: Среда, 16 Марта 2016, 18:09 | Сообщение # 223
старожил
Сейчас нет на сайте
графомания в чистом виде.

Нам требуются партнеры для продвижения и поддержки нашего ПО
VedaVizДата: Четверг, 05 Октября 2017, 12:12 | Сообщение # 224
участник
Сейчас нет на сайте
Найден Asset для Unity3d - синтез речи!
Скачать:
finalmarco.com - Text to Speech Unity c# code and dll's

VIDEO youtube: Синтез речи Юнити колобок

Также найдена программа SharpNLP (https://sharpnlp.codeplex.com), которая делает Part-of-speech tagging (определяет части речи слов, только на английском - ЧАСТЕРЕЧНАЯ РАЗМЕТКА).
К моему удивлению, SharpNLP удачно добавилась в Unity3d (предварительно я установил SQLite / DLLs), и "Юнька" тепер тоже умеет определять части речи для слов :-) Конечно, компонент визуализации разобранного текста в виде схемы не работает (используется компонент Netron Lithium), но к тексту корректно добавляются теги :-)

Что дальше? А дальше нужно будет искать в тексте словосочетания Существительное+Глагол, для существительного производить поиск GameObject.Find (кстати, для собственных существительных - имен людей надо создавать LEGO-человечков из префабов), а глагол "превращать" в анимацию (взять из Carnegie Mellon mocap library - порядка 2500 анимаций)

Вот как выглядит SharpNLP в Unity3d: SharpNLP in Unity3d game engine

Дальше. Добавил простой анализатор фраз типа
GameObject1 GOTO GameObject2

Также добавил синтез речи, анализируются фразы вида:
GameObjectN: Speech

Тут люди меня обвиняют что я не выложил исходный код, хотя разместил программу (Microsoft Agent версия) на SourceForge (кстати что-то они мой акаунт заблокировали что ли, не могу зайти). Я размещу исходник. Только теперь он будет весить минимум 170 МБайт - это только версия с анализатором предложений (part-of-speech tagging, то есть SharpNLP). А ещё добавить 3д-модели (fbx файлы) - разных животных... А о 2500 анимаций Карнеги университета я уж молчу - даже не знаю как это можно выложить. Похоже, лучший вариант - это залить весь проэкт на GitHub.com - пусть люди качают ZIP или делают зеркало на свой комп.

Ещё одно. я паралельно увлекаюсь программированием игр, так что время идёт на них. Но об идее преобразования текста в игру я не забыл. скорее всего есть смысл сделать "консоль" для ввода текстовых комманд (открть по клавише ~ как в известных играх). Но вообще-то я сейчас начинаю осознавать всю сложность замысла. Да, это нереально, если брать "сырой" не подготовленный текст. Входной текст надо адаптировать. Видимо SharpNLP+Unity3d прийдётся использовать для анализа таких шаблонных фраз, словосочетаний. Возможно надо сделать нечто WordsEye - надо подумать. Хотя там нет анимации - это меня не привлекает.

Ещё пару слов о Microsoft Agent. Поскольку у меня появился доступ к синтезу речи для Юнити3д, то MSAgent уже не актуально. Там есть одна хорошая "фича" (в Visual-Basic версии) - использование системного реестра без "суффиксов" как это делает Unity3d, но я вместо реестра теперь пишу данные в обычные txt файлы

Добавлено (23 Декабря 2018, 04:22)
---------------------------------------------
Уважаемые критики!

Мой духовный учитель, Его святейшкство А.Ч.Бхактиведента Свами Прабхупада сказал: "Все в этом мире - враги Бога. Мы все - демоны".

Потому мне все равно что вы думаете обо мне. По Шопенгауэру "Весь мир - это ад".

Называйте меня психом, троллем, графоманом, демоном. Есть такое замечательное слово на санскрите "асура". Оно имеет значение и демон и бог, и святой, и духовный, и божественный. Потому нет разницы. Кто-то больше святой, кто-то меньше.

Давайте не критиковать друг друга, не искать негатив, а позитив.

Как говорят, есть сознание мухи и пчелы. Муха ищет навоз, а пчела - нектар. Вот я даже в слове демон нашел нектар (один из смыслов - святой, бог)... Называете меня графоманом\тролем\психом (демоном\асуром)- ну и что, а мне смешно и весело :-) от обозначений суть не поменяется.

Купил ассет -
https://assetstore.unity.com/packages/tools/gui/tree-view-65364


* Откапывая ошибки, теряют время, которое употребили бы, быть может, на открытие истин. (Вольтер)

Сообщение отредактировал VedaViz - Четверг, 09 Ноября 2017, 16:07
AlexRabbitДата: Воскресенье, 23 Декабря 2018, 20:04 | Сообщение # 225
старожил
Сейчас нет на сайте
Цитата VedaViz ()
Купил ассет -
https://assetstore.unity.com/packages/tools/gui/tree-view-65364

И зачем он в этом проекте?


Нам требуются партнеры для продвижения и поддержки нашего ПО
VedaVizДата: Суббота, 13 Июня 2020, 14:15 | Сообщение # 226
участник
Сейчас нет на сайте
Цитата AlexRabbit ()
И зачем он в этом проекте?

ну, пока думаю что сделаю перевод моей вики по Махабхарате на англ. язык. там есть список уровней сражений (кто кого убил, их имена, количество, если это не уникальные юниты). Нужно будет это потом забросить в SharpNLP, и если уровни названы просто - то легко их потом перебросить в XML (тулза есть уже), и в юнити3д. Дальше, используя этот самый tree-view, о котором вы спрашиваете зачем он - показывать уровни в виде дерева (хотя может быть сейчас, обучаясь на программиста уже год, я бы сделал это сам, или даже в Unreal Engine, время покажет). В итоге экономится время - для генератора уровней игр по типу героев меча и магии ;-)

кстати, небольшая новость. Сейчас я решил сделать игру типа Героев меча и магии 2. Причём сделать просто - вытащить все картинки/анимации (спрайты юнитов и т д). для этого дслела две программки. Они пока только для игры Герои меча и маги (изначально только версии 3-3,5, но потом я понял, что дух Героев Меча и магии настоящий именно во 2-й версии, так что теперь буду основную графику вытаскивать оттула), но для Диабло тоже можно исползовать и для других игр, которые имеют спрайты (хоть с анимацией, типа ГИФок, хоть без) - но где нет нормальной прозрачности...

итак, в архиве по этой ссылке - https://drive.google.com/file/d/1rCzCUJJzfOlVpF8Iyie9bdTgCbkUriZm/view?usp=sharing
1) утилитка Heroes2-3,5PicsTreeview_ClickToAddTransparency
она изначально задумывалась, чтобы добавить прозрачность. как известно, в героях меча и магии 2-3, есть фон - голубой. ну жесть. надо это голубизну убить, и изменить на прозрачность ;-) оказалось, это делается просто - есть функция MakeTransparent у класса Bitmap -
https://docs.microsoft.com/en-us/dotnet/api/system.drawing.bitmap.maketransparent?view=dotnet-plat-ext-3.1
что я успешно и ипользовал, чтобы превратить голубой цвет в героях2-3 - на прозрачный

у него код rgb 0, 254, 255 и 0, 255, 255

дальше, это всё поставленно "на ковеер". все файлы - а их тысячи и тысячи - автоматом можно сделать прозрачными этим методом. есть спосбом просто нажать на папку (нужно написать в путь и нажать энтер) - и все файлы в ней будут сделани с прозрачностью.
и есть вариант пройтись по всем подпапкам - тогда в каждой папке считывается весь список файлов, и все они делаются с прозрачностью, и так по каждой подпапке...

в итоге всё становится намного проще. не надо морочиться делать мод для героев. я пробовал этой зимой. ну его в... проще сделать самому. ведь есть утилиты для работы со спрайтами. главное можно эти спрайты вытащить. а дальше - дело простое - сделать самому редактор уровней из нужных спрайтов (хоть в юнити3д, правда там нужно тогда ставить в качестве текстуры - видео-файл, что странно... ну или просто покадрово менять картинки - что более вроде рационально, во всяком случае можно контроллировать скорость смены кажров, что хорошо)...

ещё одно: эта же моя микро прога также подойдёт и для Диабло. Моего "любимого" ;-) много играл в эту игру, как и героев. Думаю, вытащить из Диабло все спрайты (ну по возможности, там есть утилита для распаковки всех спрайтов анимации, но она тупит - нужно долго и нудно тыкать одни и те же кнопки - выбрать файл, нажать сохранить как, выбрать тип ГИФ и т д)... но если сосредоточиться на главных спрайтах, и подумать что это действительно хорошая цель - то вполне себе решаемо...

2) есть утилитка Heroes2_ExtractConvert для конвертировки всех спрайтиков из любимых, обожаемых всеми Героев меча и магии 2 - в обычные БМП...
вообще, можно сделать всё вручную - но там порядка 1000 файлов, или больше (а в каждом- могут быть десяток кадров) , то "задолбаешься"...
вобщем там объяснять ничего не буду - кому надо - заглянет в архив и всё поймет.
при помощи AggUnPack - распаковать все файлы из архива Героев2 (типа *.AGG).
и нам нужные главные две утилиты -
- til2img.exe - из FreeHeroes
- h2ICNunpack.exe
в первой надо задать через пробел путь к файлу типа til (это всякие текстуры на "землю" - типа травы, пустыни, снега, воды... и это я буду использовать в своей версии Героев 2 ;-) ) - и после имени файла типа til - указать папку - и в эту папку будут распакованы спрайты ;-)

во второй утилите тяжелее. там мешает даилог, что "всё ок". в итоге у меня было больше 800 файлов, и надо было тыкать ОК каждый раз (раньше была прога keyText для этого, но этот раз я обошелся без нее)... но все они удачно преобразованы в БМП :-)

всё, теперь добавть прозрачность - и спрайты готовы чтобы кинуть их в Юнити3д, или другой редактор (даже на WinForms/С# можно попробовать сделать, по крайней мере редактор уровней).

в итоге, я смотрю, что из героев 3 (3,5) вполне себе классно вытаскиваются интерфейсы - картинки-фона для списков чего-то там. в стиле типа под камень/мрамор, очень стильно (так же делают в Диабло). интерфейсы для бегания героя по карте. всякие там значки героев и замков (их вполне уместно поменять на свои)... плюс есть картинки замков, что внутри их - интерфейсы - куда вставляются портреты героя, его набранной армии... списко зданий в замках... - плюс интерфейсы - шаблоны, в которые вставляются что строить, кого нанимать... графика вся вытаскивается на УРА! ;-) с прозрачностью ;-)
впринципе, можно делать даже крос-платформенных героев - для Андроида, для Видны, Айфонов, при этом - добавлять любые в них спрайты хоть из Диабло, из Махабхараты (что я делаю как служение гуру, но это другая тема ;-) )...

я выбрал Героев 2-3 - птому что они без крови, очень медитативный, то есть классный эстетический стиль что музыки/звуков, что графики... И это круто!
Я бы сказал "герои меча и магии спасут мир" ;-).

да, нюансик. Для Диабло, чтобы сделать прозрачность, нужно вместо кода цвета 0, 255, 255 (для голубого фона в героях2-3) ставить чёрный. это я буду делать ещё потом. и не только из Диабло, думаю вытаскивать графику. делать прозрачность много где надо... (там кстати полный исходник, Visual Studio C# 2019 / WinForms. там ничего секретного и сложного нет ;-) )

качаем, и вдохновляемся, что можно сделать своих героев2-3 / Диабло "с нуля" - используя готовые картинки, текстуры, граф. интерфейсы (и курсорчики есть, и всякие стрелочки - куда герою меча и магии почти чтобы дойти куда надо ;-)... всё есть ;-) ) - так что любителям этих двух игр рекомендую. ну а кто не любит такое - я никого не заставляю ;-)

https://drive.google.com/file/d/1rCzCUJJzfOlVpF8Iyie9bdTgCbkUriZm/view?usp=sharing

p.s. видимо, свой "vedaviz" буду делать в стиле героев меча и магии 2-3 ;-)

Добавлено (22 Июня 2020, 13:35)
---------------------------------------------
я решил выложить в открытый доступ свои проэкты c#/Unity3d в открытый доступ. Одна причина - хочу перепрофилироваться на c++/Unreal Engine. Кроме того, даже не уверен что буду делать игры дальше. В каком-то смысле это - "песочница" (ну или творческий бассейн), потому там ценность не такая высокая. Но копирайт остаётся за мной. Если кто захочет на этом заработать деньги - то пусть имеет ввиду что я против (или это вам будет плохая карма, и Ямарадж будет вас за это судить ;-) ).

Вот мои основные проэкты за последние где-то лет 5 (начиная со времени как я сдесь начал писать, в этой теме, изучать Unity3d, и у меня стало что-то более-менее толковое получаться):

https://drive.google.com/drive/folders/1uiZ1NRNnuYxgnSyRsWy0TqTYQHUbWHns

там полтора десятка проэктов. Последний - это игра по типу Диабло, в которой проработана (почти всё ок) логика "подойти и атаковать" - как для игры Диабло. Короче, кому надо и интересно разберётся. Всё работает. проверял. Если в новой версии юнити будут выскакивать ошибки - то это изза того, что она добавляет какие-то доплнения (их надо просто удалить... они непонятно почему добавляются в новые пустые проэкты, раньше Юнити такого не делала)...

всем удачи. считайте это мой всем подарок на мой день рождения и международный день йоги ;-)
там есть ещё сырпризы внутри, но это пусть будет для тех кто разберётся где оно - пусть это будет неожиданностью, приятным подарком (ну принято в свой день рождения раздавать подарки)... как говорится, чем бескорыстнее - тем лучше. продвигать это всё за деньги - облом. понимаю, никто не купит. а в качесте беслпатного контента, который может привлечь в будущем к другому контенту (который может быть будет платным) - в самый раз ;-) хотя это скорее всего будет моя работа программистом (надеюсь), а пока я могу себе позволить "потроллить", ведь никакой работодавец надо мной не ставит рамки - "это можна, а это нельзя".

делать забесплатно имеет свой интересный вкус: это возвращается потом в более качественном варианте. И можно говорить о каких-то крутых вещах, о которых ранее может быть даже было бы страшно сказать. а так - это даёт свободу (ну типа как Сократу, который спокойно себе даже с политиками общался)... да, как в Героях меча и магии - если отдать добро (в моём случае мои исходники игр забесплатно, "VedaViz") - за просто так (за пожертвования), то это даёт серьёзный опыт. и видимо неслучайно оно так устроено, что тот, кто отдаёт бесплатно - более дорог Богу, Его преданным, ми более уважаем ;-) я это почувствовал, что это реально работает ;-) и это даже некий скажем так кайф, когда отдаёшь бесплатно... коечнор, кто-то скажет, что "деньги - это кровь организации, и надо обязательно брать за это всё деньги"... я думаю время ещё не пришло. а кто реально захочет их мне отдать - то для этого способ надётся... почему-то говорится, что природа всё так устроила идеально, что "всем всегда всего хватает" (как-то так по Ведам)...

мне важен feedback (реакция на всё это, на мой код). чтобы хоть кто-то оценил, эти идеи, игры, проэкты... и скоре всего такие люди будут среди тех, кто не хочет платить... им надо вначале показать забесплатно... а потом уже это может перерасти в что-то большее... появятся единомышленники. я рад, что порядка 200 людям в этой теме идея понравилась. да, это не много. и им всем тяжело (как и мне), было общаться с теми, кто ненавидел эту идею. слова - одно, дело другое. переходим от слов, теории - к практике...

всем удачи. надеюсь, тем, кто ставил лайки в этой теме, что "идея - хорошая", найдут мой полезный мой сегодняшний подарок (изначально я его выложил однокурсникам, преподавателю программиоранию, по Юнити в т ч), а теперь думаю, что вполне могу выложить и здесь (нет особо времени и желания что-то менять в тех архивах. там есть дубликаты, лишняя инфа, может чего-то не хватает, но по сути всё работает, и можно сложить впечатления о том что я делал в Юнити за последние годы. ну и в Си# не Unity, чисто в WinForms)... там не все проэкты. но это вроде самые большие и интересные.

С вас лайки ;-) Ну или ругайте меня , и распинайте меня своих крестах, как кто там хотел здесь. я согласен (без плохих последствий для вас) ;-)

Добавлено (18 Мая 2024, 16:17)
---------------------------------------------
"Эпоха искусственного интеллекта началась" - об этом написал Билл Гейтс в своих "записках":
https://www.gatesnotes.com/The-Age-of-AI-Has-Begun

Макрософт добавила Copilot в Windows (10/11+) -
https://copilot.microsoft.com
программу, к-рая понимает текстовые запросы, и выдаёт не только текстовые ответы, но может генерировать изображения. Правда, для этого нужно будет им заплатить. Аналогично, на ГитХабе есть версия Copilot
https://code.visualstudio.com/docs/copilot/overview
к-рая может предалагать как совет строки кода для языков программирования, например в Visual Studio Code,
но это удовольствие тоже не бесплатно. То, что работает в Copilot бесплатно как советчик по программированию - не такая уж большая радость.

Итак, если кто пропустил новости про искусственный интеллект, то сейчас просиходит такая себе революция, когда в искусственный интеллект стали вкладывать много денег такие компании, как Майкрософт, Гугл и прочие. В ИИ вкладывают миллиарды долларов, и поэтому он стал очень быстро развиваться.

Майкрософт решила перегнать конкурентов, заключив соглашение с OpenAI, и "влив" в них большие деньги. В итоге мы видим, как появились такие революционные технологии как GPT / ChatGPT - Для чата / создания ответов по запросу (можно голосовому), и даже DALL-E - генератор изображений из текста. Да, Конечно, OpenAI развивала эти технологии и без Майкрософт, но деньги Майкрософт - это конечно же ускоритель для новых достижений в ИИ.

Что самое интересное, что тот же OpenAI теперь также умеет генерировать видео из текста. Но тут пока тоже нечего особо радоваться. Технология пока что закрыта для большинства, она не бесплатна (даже за DALL-E нужно платить чтобы создать картинки). Но радует то, что постпенно цены становятся всё ниже и ниже, а значит программы для автоматического создания фильмов из текста становятся всё более доступны каждому.

https://ru.wikipedia.org/wiki/Sora
Sora - так назвали в OpenAI технологию для создания видео из текстов.

Впрочем, Гугл тоже создаёт свой аналог -
https://deepmind.google/technologies/veo/
Veo / VideoFX - технологию или нейросетевую "модель" для преобразования текстов в видеоряд.

В Гугл решили, возможно, сделать создание преобразователей (или "трансформеров") текста в фильм начиная с Алисы в стране чудес -
https://infinitewonderland.withgoogle.com
но этом сайте можно выбрать пред-сгенерированные изображения для предложений этой книги. Возможно, это используется чтобы с интересом создавать такой преобразователь и чему-то научить нейронную сеть на примере этой книги.
Ах, да, OpenAI использовало сотни тысяч книг, также обрабатывает видео с ютюба (субтитры в том числе), за что их критикуют за нарушение авторских прав. Дошло до того, что в Италии запретили ChatGPT (видимо Ватикан / Папа Римский тут "постарался"). И Европа решила создать закон для ограничения искусственного интеллекта.

А вся проблема в том, что не очень хорошие люди взяли midjourney - популярный генератор изображений из текста, и попросили сгенерировать что-то про Папу Римского, про президента США и т д, таким образом создавая Deep-Fake-и - дезинформируя и подделывая факты. Ах, беда. Даже сам OpenAI забеспокоился.

И в итоге мы имеем множество инструментов для преобразования текста в изображения и даже в видео (правда обычно длина таких видео - какие-то считанные секунды, да и качество видео не самое высокое - есть искажения в анатомии людей в движении и прочие артефакты)... но пользователям ставят "палки в колёса" - закрыв бесплатный доступ чтобы никого случайно не обидеть из политиков или других известных людей Deep-fake-ами.

https://en.wikipedia.org/wiki/Text-to-video_model
https://en.wikipedia.org/wiki/Text-to-image_model

Понятно, что когда в эти технологии вкладывают миллиарды долларов - мы можем ожидать, что качество программ для автоматического преобразования текстов в видео - будет всё увеличиваться. Это очень хорошо. Похоже, что в эту идею автоматического преобразования текста в аудио-визуальный ряд поверили люди с деньгами, и им интересно поиграться с этими генераторами текста и видео.

То, что разные компании сейчас начали соревнование между своими нейронными сетями по преобразованию искуссвтенным интеллектом текстов в видео - это будет значит что качество будет улучшаться, а цены будут всё падать ниже и ниже на подобные технологии. Для всех стало неожиданностью, что ИИ смог заняться творчеством.

Кстати, кто ещё не знает, в Яндекс браузере есть автоматический перевод видео с ютюба (с английского на русский - с озвучкой).

Я нешёл вот такой вот сайт, на котором собраны преобразователи текста в видео:
https://www.futurepedia.io/ai-tools/video
там же есть ссылки на генераторы изображений из текста:
https://www.futurepedia.io/ai-tools/text-to-image

не всё из этого работает бесплатно. не всё работает, как ожидается, но "чем богаты - тем и рады".

Ещё могу посоветовать интересный сайт для автоматического создания песен -
https://suno.com/create
бесплатно можно создать 5 песен в день (2 варианта для каждой).

Интересно, что известный Илон Маск также работал в OpenAI, но ему не понравилось, что OpenAI стал платным, отошёл от своих идеалов бесплатного ИИ. Все эти активные обсуждения ИИ пойдут всем только на пользу - будут найдены решения, технологии будут получать всё больше одобрения от собственников авторских прав или создателей контента. Люди перестанут бояться "творческого ИИ" или так называемого "генеративного ИИ". Да, ИИ может многое делать и очень быстро, но почему бы и нет? Зачем это ограничивать.

Раз уж Майкрософт решила внедрить ИИ (в виде Copilot) в каждый Windows, то это значит что кол-во платных пользователей таких программ будет большим, и у компаний, что разрабатывают такие ИИ системы будет всё больше денег на разработку, и они смогу всё "порешать" (решить проблеми с авторскими правами и т д). И, разумеется, со временем будут выходить всё более продвинутые и современные технологии, что будет со временем делать предыдущие версии "неактуальными" а значит - считайте бесплатными со временем. А это именно то что нужно конечно пользователю. Может быть Майкрософт будет как раз той компанией, к-рая сделает качественный ИИ также и бесплатным со временем (я имею ввиду тот, что создаёт бесплатно изображения из текста - в Copilot). Хотя это уже доступно, но с некоторіми ограничениями - через сайт
https://www.bing.com/images/create

Может быть мы идём к тому, что компьютерные гиганты, такие как Майкрософт, Гугл и прочие со временем станут разрабатывать программы для создания фильмов. Это интересно. Если это будет делаться при помощи ввода текста - тем более интересно.

Для меня этот прорыв в ИИ выглядит как неким логическим следствием огромного кол-ва данных в интернет. Есть много текста, картинок, видео. Но их не так легко обработать обычному человеку. Компьютер может обработать это всё быстрее. Может быть мы прийдём к тому, что люди будут в будущем искать в интернет не обычными поисковиками, а искуственными интеллектом.

От себя скажу, что я не ожидал что так скоро появятся такие преобразователи текста в картинки и видео. Уже есть фильмы, которые создаются при помощии ИИ (полностью или частично). Мне нравится результат. Вот к примеру - использщуя технологии OpenAI:
https://www.youtube.com/playlist?list=PLOXw6I10VTv9z1fIBypnJB_iZuqCKrX3P
пока что такие фильмы используют как бы "замедленную съемку", поскольку анимировать что-то быстрое ИИ пока особо не научился. Скорость прийдёт позже.

Ещё интересно, что поднимается вопрос о создании чипов, к-рые имеют встроенную поддержку ИИ. Это интересно. Так называемые NPU - Neural Processing Unit или ИИ-ускорители, имеют какие-то встроенные модули, помогающие быстрее проделывать операции ИИ. Даже nVidia поняла, что ИИ - "интересная фишка", и есть смысл добавлять в видеокарты чипы, чтобы быстрее генерировать 3д-модели для тех или иных слов.

Нас ожидает интересное будущее. Даже те, кто критикует ИИ
https://habr.com/ru/news/725522/
пишут, что сейчас - "лето ИИ, поэтому давайте насладимся этим, и постараемся что это это лето продлилось подольше".

У меня лично тоже было неприятие ИИ, когда в Unity3d я программировал каких-то врагов на то, чтобы они убивали игрока.
И, да, OpenAI Codex тоже умеет программировать игры:
https://www.youtube.com/watch?v=SGUCcjHTmGY

Добавлено (18 Мая 2024, 19:36)
---------------------------------------------
я просмотрел все сайты, предложенные futurepedia.io для Text To Video,
и, хочу сказать, что рад, что из всех сайтов, один оказался самым умным:
https://reelcraft.ai/
я вставил в reelcraft первые несколько предложений из Алисы в стране чудес, и сайт сам догадался, что там было продолжение про попадание в кроличью нору, то есть он как-то загуглил этот текст и добавил продолжение (я думал что того что я скопировал будет достаточно, но оказалось что нет).

Качество неплохое. Да, искажённая анатомия, но зато можно сгенерировать целую минуту видео и даже скачать результат в виде mp4 файла.
Всем рекомендую попробовать этот сайт reelcraft. это реально круто. Забесплатно сайт предоставляет очень классные возможности преобразования текста в видео.


* Откапывая ошибки, теряют время, которое употребили бы, быть может, на открытие истин. (Вольтер)

Сообщение отредактировал VedaViz - Суббота, 13 Июня 2020, 14:17
TLTДата: Воскресенье, 19 Мая 2024, 15:16 | Сообщение # 227
Сейчас нет на сайте
Цитата VedaViz ()
преобразования текста в видео

Пока это слабая ерунда... На начальных навыках монтаж можно сделать лучше, даже юзая просто фотки, как это сделано в Фолыче втором.


Дао, выраженное словами, не есть истинное Дао.
al_mtДата: Понедельник, 03 Июня 2024, 16:15 | Сообщение # 228
постоянный участник
Сейчас нет на сайте
Шли годы... И заметьте!!!
  • Страница 12 из 12
  • «
  • 1
  • 2
  • 10
  • 11
  • 12
Поиск:

Все права сохранены. GcUp.ru © 2008-2024 Рейтинг