Нейросеть обучили воссоздавать изображения, о которых размышляет человек

Опубликовано 14 Января, 2018

Группа исследователей из Киотского университета разработала нейросеть, способную реконструировать изображения предметов, букв и обычных фигур на основе данных о мозговой активности смотрящих на них людей. Препринт исследования ученых был размещен на сайте bioRxiv.org, информирует zn.ua.

Представленная нейросеть не обращалась к библиотекам изображений и паттернов нейронной активности. В то же время люди смогли правильно определить пары «восстановленное изображение — оригинал» с точностью 96,5% и 99,1% соответственно, что информирует о выгоде использования DGN.

Для начала нейросеть обучили визуализировать простые геометрические фигуры, а после, поэтапно усложняя задачу, пришли к буквам алфавита. Чтобы научить нейросеть, добровольцам, помещенным в сканер для функциональной магнитно-резонансной томографии (фМРТ), показывали изображения, всего их было 1200; каждую картину участники опыта могли видеть по 5 раз.

Чтобы создаваемые программой изображениябыли максимально схожи на оригинал, создатели ввели дополнительную нейросеть — глубочайшая генеративная нейросеть (DGN). Общее совпадение между фотографией исходного объекта и полученным изображением — 79,7% без глубокой генеративной нейросети и 76,1% с ее использованием.

В 2015-м году японские нейробиологи из Университета Киото завершили эксперимент, в котором нейросеть реконструировала изображения по паттернам активности мозга, не обращаясь к существующей базе данных.

Хотя приведенные цифры сообщают о том, что нейросеть удачно справляется с задачей, ее создатели явно могут попробовать улучшить ее работу в части реконструкции фотографий.

Похожие новости