Workspace Digital Awards 2025 — успейте номинировать кейсы по льготной цене до 1 декабря. Принять участие!
red_mad_robot
Цифровая платформа Воображаемого музея Михаила Шемякина
red_mad_robot
WDA
2024
#Сайт под ключ

Цифровая платформа Воображаемого музея Михаила Шемякина

3238 
red_mad_robot
red_mad_robot Россия, Москва
Поделиться:
Клиент

ФЦТМКН, некоммерческая организация

Сфера

Культура и Искусство

Регион

Россия, Москва

Тип сайта

Порталы и сервисы

Сдано

Июнь 2023

Задача

В 2021 году вместе с Фондом цифровой трансформации мирового культурного наследия мы начали работу по созданию цифрового «Воображаемого музея» Михаила Шемякина.

Михаил Шемякин — художник и скульптор, исследователь культуры и истории. «Воображаемый музей» Михаила Шемякина — результат 60 лет его активной работы, исследований и аналитики. Художник провёл очень масштабное исследование: проанализировал сотни тысяч изображений на предмет параллелей и взаимосвязей в искусстве — 3 млн репродукций и тысячи тем: «Лестница», «Закутанная фигура», «Рука», «Крик», «Смазанность образа» и другие.

Все эти годы исследование велось исключительно в аналоговом формате — Михаил Шемякин собственноручно вырезал иллюстрации из книг, газет и журналов по искусству, анализировал и в соответствии с авторским методом наклеивал их на листы плотного картона, которые отправлялись в тематические папки. Именно эта коллекция и хранится в замке Шамуссо во Франции.

Задачей red_mad_robot было создание платформы цифрового музея, которая помогла бы сохранить исследование Шемякина, дополнить его цифровыми инструментами и открыть первым пользователям.

Решение

Платформа с умным поиском и применением нейросетей. Важный элемент цифрового музея — поиск среди огромного архива визуальных исследований. Для удобства пользователей на платформе есть два вида поиска: атрибутивный и машинный (на основе нейросети). Первый находит изображения по метаданным, а второй, кроме поиска по автору и дате создания, умеет искать картины на основе их содержания и смысла

1Аналоговый архив и Цифровая платформа

Все эти годы исследование велось исключительно в аналоговом формате — Михаил Шемякин собственноручно вырезал иллюстрации из книг, газет и журналов по искусству, анализировал, выделял схожие мотивы, разрабатывал темы и в соответствии с авторским методом наклеивал их на листы плотного картона, которые отправлялись в тематические папки. Именно эта коллекция и хранится в замке Шамуссо во Франции.

Колоссальная значимость исследования была понятна изначально — ещё в 2019 году команда red_mad_robot ездила в замок Шамуссо, чтобы вживую увидеть наследие Шемякина, изучить процесс работы с исследованиями и обсудить возможности создания цифровой платформы. Потом началась пандемия, и работы пришлось отложить.

В конце 2021 года мы вернулись к проекту и начали воплощать его в жизнь. Для оцифровки архива была привлечена французская компания ARKHENUM, которая ранее оцифровывала коллекции Лувра и других крупнейших музеев. За шесть месяцев было отсканировано больше 700 папок «Воображаемого музея» и создан облачный архив из 200 тысяч изображений.

После оцифровки архива команда приступила к созданию цифровой платформы, которая помогла бы сохранить исследование Шемякина, дополнить его цифровыми инструментами и открыть первым пользователям.

2Как это устроено: дизайн

В начале работы мы получили фотографии авторских листов из исследований Шемякина, на которые были наклеены изображения в определённом порядке.

Лаконичность и цветовое решение артефактов из реального мира (коробки с листами, подписи и почерк художника) натолкнули нас на будущий дизайн: шрифт Antiqua с засечками для привлечения внимания, коричневая и золотисто-чёрная палитра. Дизайн получился академичным, близким по духу к тематике искусства.

Выбранное направление дизайна пересекается с артефактами из реального мира. Это коробки с листами, подписи и почерк художника. 

Весь интерфейс нацелен на работу с изображениями — было решено отказаться от левого бокового меню, чтобы оно не «съедало» основное пространство с ними. А ещё изображения в Воображаемом музее ни в коем случае нельзя обрезать, ведь исследователь изучает каждый кусочек изображения и ему важно ничего не упустить. Поэтому мы встроили их во фрейм (контейнер) так, чтобы они всегда помещалось целиком, сохраняя пропорции. Это добавило динамики сетке страницы.

В верхней части страницы — переключение между модулями платформы, цифровым и аналоговым, и умный поиск по изображениям.

Если открыть изображение в Цифровом музее, то пользователь увидит информацию об этом артефакте и список листов Аналогового архива, в которых содержится это изображение.

И наоборот, при открытии листа в Аналоговом архиве в информации о нём есть список привязанных изображений.

3Как это устроено: технологии

Основная сложность разработки платформы заключалась в том, что в архиве было много изображений — 200 тысяч. Некоторые файлы весили по 300 мегабайт.

Умный поиск и нейросети

Мы хотели оптимизировать работу с большим количеством изображений и попытались «оцифровать» авторский метод Михаила Шемякина. Но нейросети оказались не настолько умны — хоть они отлично распознают объекты на изображениях, алгоритм пока не способен проводить тот анализ, который проводит сам художник. Именно это делает «Воображаемый музей» музеем Шемякина, а не кого-либо ещё.

Поэтому из нейросети было решено сделать «невидимого» помощника внутри поисковой системы. Задача нейросети — анализировать изображения ещё с одной точки зрения в дополнение к эталонному взгляду Шемякина, в фоновом режиме «награждать» их тегами с указанием объектов на изображении и за счёт этого расширять возможности поиска. Для этого мы выбрали уже существующую нейросеть CLIP.

CLIP использует два встроенных словаря: текстовый и визуальный — 32 тысячи уникальных слов и 4 тысячи уникальных объектов и концептов. Она анализирует входные данные и «понимает», насколько помещённое в неё изображение соотносится с понятиями из её же словаря.

Точность CLIP может варьироваться, поэтому запросы пришлось разбить на три категории:

- простая лексика,

- искусствоведческая лексика,

- специфическая лексика Михаила Шемякина.

Ещё мы использовали ruCLIP — ту же модель, но с русскоязычным словарём в основе.

Выбрав нейросеть, стали думать, как приблизиться к аналитическому методу Михаила Шемякина. Нейросеть выделяет признаки изображения. Сможет ли она определить их темы? Для проверки гипотезы мы создали выборку изображений из 32 тем: «Закутанная фигура», «Грифоны», «Кубы», «Тени», «Смазанность образов» и другие. Для каждого из них нейросеть сгенерировала набор тегов.

Параллельно для кластеризации мы составили выборку из 4 тысяч изображений из коллекции художника — и вот что получилось:

Во всех случаях выделялись только визуально похожие изображения. И ни один из применённых алгоритмов не смог воспроизвести группировку по темам самого Шемякина из-за сложности определения признаков, по которым художник объединяет изображения в темы.

Во всех случаях выделялись только визуально похожие изображения. И ни один из применённых алгоритмов не смог воспроизвести группировку по темам самого Шемякина из-за сложности определения признаков, по которым художник объединяет изображения в темы.

Как работает платформа

Важный элемент Цифрового музея — поиск среди огромного архива визуальных исследований. Для удобства пользователей на платформе есть два вида поиска: атрибутивный и машинный (на основе нейросети). Первый находит изображения по метаданным, а второй, кроме поиска по автору и дате создания, умеет искать картины на основе их содержания и смысла.

Например, нужно найти «винтовую красную лестницу». Атрибутивный поиск не справится с задачей, если такого описания нет в метаданных. Машинный же поиск подберёт изображения не просто с лестницами, а именно с красными винтовыми.

Более того, в рамках поиска нейросеть выдаёт пользователю список тегов, которые могут подтолкнуть исследователей к поиску новых смысловых связей в контексте метода Михаила Шемякина. Этот список можно брать за основу поиска и:

- находить изображения с такими же тегами и выделять их в отдельную тематику;

- сфокусироваться на ключевых особенностях и идеях, которые могут быть связаны с конкретной темой;

- развивать рекомендательную систему — она сужает круг интересующих тем, выдавая релевантные результаты на основе анализа.

Например, на этом изображении нейросеть увидела теги «пограничник», «сапёр», «плотник», «защитник», «плот», «трап», «подъём», «железнодорожный», «лестничный» и «лестница». Это даёт сотрудникам исследовательских проектов пространство для новых трактовок и экспериментов с «подсказками» от нейросети, при этом демонстрирует, что нейросеть пока не смогла воспроизвести аналитический метод художника.

4Лестница в искусстве: выставка Шемякина в Третьяковской галерее

Не менее важной частью проекта стала демонстрация цифрового музея в рамках выставки в Новой Третьяковке на Крымском валу. Нашей команде предстояло организовать демо-доступ к цифровой платформе, чтобы каждый желающий смог окунуться в мир «Воображаемого музея» и увидеть его глубину прямо на выставке. В преддверии запуска мы также создали лендинг, в котором можно чуть больше узнать о цифровом музее и методе Михаила Шемякина.

Цель выставки — показать «Воображаемый музей» на стыке современных информационных технологий и классических методов анализа произведений искусства.

В экспозиции — 54 произведения разных авторов из коллекции Третьяковской галереи на тему лестницы. Подбор и комбинация произведений позволили зрителю увидеть работу «Воображаемого музея»: как поиск на заданную тему помогает обнаружить неожиданные артефакты в наследии Михаила Ларионова, Бориса Кустодиева, Василия Поленова и других известных авторов и как при анализе мотивов выявляются новые архетипы и темы. Всё это стало возможным благодаря специальным тач-панелям с демо-версией цифровой платформы «Воображаемого музея», которые мы установили на экспозиции.

Результат

«Воображаемый музей Михаила Шемякина» — неисчерпаемый ресурс для создания новых выставок, книг и образовательных программ. Он интересен и исследователям, и практикам (художникам и дизайнерам), и широкой аудитории — всем, кто хочет «тренировать глаз» и развивать свои аналитические способности.

Комментарий агентства

Илья Самофеев
Илья Самофеев

Генеральный директор (CEO)

Для нас этот проект — возможность прикоснуться к уникальному исследованию культуры визуального искусства, которое сделал Михаил Шемякин. Более того, мы получили удивительную возможность открыть это наследие миру. В мире практически нет подобных проектов в сфере искусства, особенно такого масштаба. Это действительно культурный проект мирового значения.

Отзыв клиента

Алексей Абакумов
Алексей Абакумов

руководитель проекта «Цифровой Воображаемый музей», искусствовед

Благодаря цифровой платформе «Воображаемый музей» становится доступным из любой части света, а не только в аналоговом формате во французском замке Шамуссо. Это новый виток развития проекта, над которым Михаил Шемякин трудился 60 лет, — теперь «Воображаемый музей» может активно расширяться и развиваться в совершенно новом формате.

скан отзыва
https://www.imaginaire.art/#intro

Стек технологий


Награды


Выскажите мнение
Авторизуйтесь, чтобы добавить свой комментарий.
оставить заявку

Хотите заказать похожий проект?

red_mad_robot с удовольствием обсудит вашу задачу

Оставить заявку