Японские ученые обучили нейросеть создавать изображения из мыслей человека

Опубликовано 12 Января, 2018

Создатели из Киотского университета под управлением Юкиасу Камитани создали сеть, которая отслеживает мозговую активность и на основе приобретенных данных воспроизводит изображение, о котором размышляет либо на которое смотрит человек. Об этом сказал сайт N+1 ссылаясь на препринт ученых.

После обучения нейросети удалось восстановить изображения букв, геометрических фигур и предметов (например, изображений животных). Затем на парах «изображение-активность» была обучена нейронная сеть. Эту систему «обучали» в процессе опыта, когда испытуемым по 5 раз демонстрировали 1200 различных ихображений, а нейросеть запоминала мозговую активность, которая соответсвует любому изображению.

Ученые также показали воссозданные и уникальные изображения людям и попросили попарно соотнести их.

Затем данные по изменению работы мозга получила нейронная сеть. Ученые отмечают, что созданная ими нейросеть умеет воссоздавать изображения многообразного рода предметов, о которых думают люди в тот либо иной момент.

Кроме этого, создатели также ввели в систему дополнительную нейросеть (DGN либо deep generative network — глубочайшая генеративная нейросеть), которая дает возможность сделать свойства приобретенного из мозговой активности изображения максимально похожими на свойства изначального изображения (например, цвет предмета). В дальнейшем специалисты хотят улучшить процесс распознавания, так как пока нейросеть не работает с настоящими объектами, идентифицируя в большей степени цифры и обыкновенные формы. Человеческая оценка оказалась еще выше: люди правильно угадывали воссозданные изображения (а точнее — определяли пары исходного и приобретенного изображения) в 99,1 проценте случаев с DGN и в 96,5 — без нее (что означает, что применение дополнительной нейросети имеет смысл для улучшения восприятия людьми).

Похожие новости