Фотобанк "Комсомольской правды"

Разработать онлайн-версию банка фотографий "Комсомольской правды" с возможностью поиска по метаданным и продажи их СМИ-партнерам, редакциям и другим заинтересованным лицам.

В рамках реализации проекта перед нами стояло 3 основных задачи:

1. Перенести все материалы в новое хранилище, которое будет легко масштабироваться, не зависеть от “железа” и обеспечит стабильное и надежное хранение данных. 

2. Разработать для сотрудников и редакторов Издательства новое ПО для загрузки, обработки и поиска изображений, обеспечить их удобным онлайн-инструментом для работы. 

3. Спроектировать и реализовать публичный сервис для физических и юридических лиц с возможность поиска и покупки фотоматериалов издательства. 

Расскажем обо всем подробнее.

Издательский дом “Комсомольская правда” - одно из крупнейших издательств в России. Оно специализируется на выпуске одноименной газеты, у которой один из самых высоких тиражей в стране. По данным на 2022 г. тираж ежедневного выпуска составлял 1,5 млн. экземпляров.

Сегодня Комсомольская правда - это один из главных источников новостей, аналитических материалов и развлекательного контента для миллионов читателей по всей стране. В издательский дом кроме выпуска газеты входит интернет-портал и радиостанция.

На момент старта проекта архив фотоматериалов "Комсомольской правды" состоял из более чем 5 млн. фотографий. Изображения хранились на старом физическом сервере в инфраструктуре заказчика. Работа с ним осуществлялась через специальное прикладное ПО в локальной сети. Сервер не поддерживал обновлений и имел устаревшую конфигурацию. Заказчик понимал, что в любой момент сервер может полностью исчерпать свой ресурс. Затраты на восстановление данных будут непредсказуемы.

Кроме технических проблем с сервером были большие сложности с продажей фотографий. В издательство регулярно поступают запросы от других СМИ на покупку фотографий с разных событий и мероприятий. Текущее ПО не предоставляло возможности массовой выгрузки изображений, а возможности для поиска фото были крайне ограничены. Чтобы найти, выбрать нужные фото и выгрузить их с сервера, сотрудники Издательства тратили много сил и времени.  

Необходимость безопасного хранения данных, систематизации, удобного процесса поиска, выгрузки и тем самым нового канала продаж привели к идее создания онлайн-фотобанка Комсомольской правды.

Заказчик ранее уже предпринимал попытку создания фотобанка на CMS «1С-Битрикс», но данная система не смогла справиться с огромным объемом информации, обеспечить бесперебойную работу по загрузке и обработке изображений, и заказчик находился в поиске альтернативного решения.

Исходя из целей и задач проекта, выделили 2 основные группы пользователей сервиса:

1. сотрудники и редакторы Издательства, ответственные за работу с архивом материалов 

2. покупатели фотоматериалов

Мы прописали функциональные требования для этих ролей. Для удобства и наглядности представили их в формате карты пользовательских сценариев – User Story Map.

Сервис предоставляет для редакторов Издательства инструменты по загрузке фотографий, их систематизации и работе с метаданными:

- Реализовали сервис как онлайн-инструмент взамен старому десктопному ПО. 

- Выбрали Yandex.Cloud, чтобы все действия с изображениями происходили не на ядре сервиса, а в инфраструктуре и на вычислительных мощностях Яндекса. Таким образом, загрузка и обработка фотографий не нагружает публичный сервис и никак не отражается на взаимодействии пользователя с сервисом.

- Учитывая специфику обработки данных фотобанка, мы создали отдельные экраны для массового добавления и редактирования изображений в виде плиточной раскладки.

- При загрузке изображений в БД реализовали чтение и запись метаданных трех типов: IPTC, EXIF, XMP.

- Для продажи фотографий автоматически формируется три типа разрешений: low, middle, high, и наносится watermark.

- Как объектное хранилище выбрали Yandex S3, а также реализовали отдельный микросервис для обработки фото, чтения и записи метаданных c помощью Exiv2.

Метатеги у разных фото хранились в разной кодировке. За 20 лет существования фотобанка мы увидели настоящих “динозавров”, о которых сейчас мало кто вспомнит. C помощью различных методов мы определяли кодировку, делали мини-эвристику в рамках экспорта, импорта и редактирования, чтобы материалы корректно читались и записывались.

Основными покупателями материалов Издательства являются другие СМИ. Они покупают авторские фото, чтобы использовать их в своих материалах. Вся работа была построена в ручном режиме: менеджер покупателя обращался к менеджеру Комсомольской правды, делал запрос на фото, ждал выборку, выбирал фото к покупке, получал счет на оплату и после оплаты получал материалы.

Это была долгая и архаичная процедура, которая требовала автоматизации.

В итоге мы реализовали сервис, который позволяет:

- выбрать фото из каталога фотографий с помощью быстрого поиска по метаданным, фильтрам по дате, присутствию людей на фото, ориентации фото и автору.

- искать похожие фото и фото, сгруппированные по материалам съемки 

- формировать свои коллекции из выбранных фото

- делиться коллекциями с другими людьми

- получить ограниченный доступ к загрузке материалов в течение 14 дней после регистрации

- покупать фотографии в соответствии с тарифами сервиса. Для юридических лиц с оплатой по договору, реализована возможность постоплаты по факту приобретенных изображений.

- установили и настроили полнотекстовый поисковый движок Elasticsearch

- оптимизировали поисковые индексы для уменьшения размера базы и более быстрой отдачи данных из кластера Elasticsearch

- внедрили и настроили работу морфологического поиска

- реализовали подсказки через N-gram tokenizer от 2 до 12 символов, что помогло пользователям при вводе совершать меньше ошибок, а сервису - вычислять наиболее используемые в описаниях изображений слова и рекомендовать их в дальнейшей подсказке

- настроили строгий поиск и поиск по частичному совпадению

- реализовали фильтр поиска по параметрам: ориентация, дата съемки, автор и тд.

1. Пакеты изображений (поштучный и пакетный формат)

В случае пакетной покупки пользователь осуществляет предоплату пакета с заключением договора с Издательством. В случае поштучной покупки пользователь покупает изображения в кредит и каждый месяц ему выставляется счет за приобретенные изображения. 

2. Типы лицензий изображений: для интернета, для печати, эксклюзивная цена.

3. История покупок и загрузок

Отображаются оплаты за пакеты и за покупку поштучно. А также список приобретенных изображений (превью, дата скачивания, формат, стоимость, кнопка “скачать”). Если с файлом, который был скачан, что-то случится, то всегда можно скачать его еще раз. 

4. Автоматизированные отчеты как для авторов, которые публикуют свои изображения, так и для покупателей, что помогает избежать человеческого фактора в итоговых финансовых документах.

Новый фотобанк "Комсомольской правды" - это в первую очередь удобный, стабильный, масштабируемый сервис для внутреннего использования. Благодаря миграции данных в Yandex.Cloud со старого сервера (который в любой момент мог перестать работать) скорость загрузки увеличилась на 70%, а время на обработку изображений редакторами сократилось в 2 раза. 

Редакторы других СМИ и издательств с помощью удобного интерфейса, поиска, демонстрации изображений получили возможность самостоятельно находить, покупать и скачивать фотографии, минуя процедуру сложного и долгого запроса фотографий через менеджера КП.

В фотобанке хранятся изображения еще четырех изданий, в том числе Экспресс газеты, которые в свою очередь договорились продавать свои фотографии через сервис "Комсомольской правды". Таким образом, проект трансформировался не только в фотобанк для хранения и продажи фотографий "Комсомольской правды", а в онлайн-площадку для размещения и продажи изображений других СМИ и издательств.