У новом чланку Поинт-Е: Систем за генерисање 3Д облака тачака из сложених сигнала, истраживачки тим ОпенАИ представља Тачку Е, систем условне синтезе текста у 3Д облаку тачака који користи моделе дифузије за креирање разноврсних и сложених 3Д облика вођених сложеним текстом знакови.за неколико минута на једном ГПУ-у.
Невероватне перформансе данашњих најсавременијих модела генерисања слика подстакле су истраживања у генерисању 3Д текстуалних објеката.Међутим, за разлику од 2Д модела, који могу да генеришу излаз за неколико минута или чак секунди, објектни генеративни модели обично захтевају неколико сати рада ГПУ-а да би генерисали један узорак.
У новом чланку Поинт-Е: Систем за генерисање 3Д облака тачака из сложених сигнала, ОпенАИ истраживачки тим представља Поинт·Е, систем текстуалне условне синтезе за 3Д облаке тачака.Овај нови приступ користи модел пропагације за креирање различитих и сложених 3Д облика од сложених текстуалних сигнала за само минут или два на једном ГПУ-у.
Тим је фокусиран на изазов претварања текста у 3Д, што је кључно за демократизацију креирања 3Д садржаја за апликације у стварном свету, од виртуелне стварности и игара до индустријског дизајна.Постојеће методе за претварање текста у 3Д спадају у две категорије, од којих свака има своје недостатке: 1) генеративни модели се могу користити за ефикасно генерисање узорака, али се не могу ефикасно скалирати за различите и сложене текстуалне сигнале;2) унапред обучени модел текстуалне слике за руковање сложеним и разноврсним текстуалним знаковима, али овај приступ је рачунарски интензиван и модел се лако може заглавити у локалним минимумима који не одговарају смисленим или кохерентним 3Д објектима.
Стога је тим истражио алтернативни приступ који има за циљ да комбинује предности горња два приступа, користећи модел дифузије текста у слику обучен на великом скупу парова текст-слика (омогућујући му да обрађује различите и сложене сигнале) и 3Д модел дифузије слике обучен на мањем скупу парова текст-слика.скуп података пара слика-3Д.Модел текст-слика прво узоркује улазну слику да би направио једну синтетичку репрезентацију, а модел слика-3Д креира 3Д облак тачака на основу изабране слике.
Генеративни стек команде је заснован на недавно предложеним генеративним оквирима за условно генерисање слика из текста (Сохл-Дицкстеин ет ал., 2015; Сонг & Ермон, 2020б; Хо ет ал., 2020).Они користе ГЛИДЕ модел са 3 милијарде ГЛИДЕ параметара (Ницхол ет ал., 2021), фино подешен на приказаним 3Д моделима, као свој модел трансформације текста у слику, и скуп модела дифузије који генеришу РГБ облаке тачака као своје трансформациони модел.слике на слику.3Д модели.
Док је претходни рад користио 3Д архитектуре за обраду облака тачака, истраживачи су користили једноставан модел заснован на трансдуктору (Васвани ет ал., 2017) да побољшају ефикасност.У њиховој архитектури дифузионог модела, слике облака тачака се прво уносе у претходно обучени ВиТ-Л/14 ЦЛИП модел, а затим се излазне мреже уносе у конвертор као маркери.
У својој емпиријској студији, тим је упоредио предложену методу Поинт·Е са другим генеративним 3Д моделима за бодовање сигнала из ЦОЦО скупова података за детекцију, сегментацију и потпис.Резултати потврђују да је Поинт·Е у стању да генерише различите и сложене 3Д облике из сложених текстуалних сигнала и да убрза време закључивања за један до два реда величине.Тим се нада да ће њихов рад инспирисати даља истраживања синтезе 3Д текста.
Унапред обучени модел ширења облака тачака и код за евалуацију доступни су на ГитХуб-у пројекта.Доцумент Поинт-Е: Систем за креирање 3Д облака тачака од сложених трагова налази се на арКсив-у.
Знамо да не желите да пропустите ниједну вест или научна открића.Претплатите се на наш популарни билтен Синцед Глобал АИ Веекли да бисте добијали недељна ажурирања АИ.
Време поста: 28.12.2022