Карточка заказа

Добрый день!
У нас небольшая команда, состоящая из 4-х разработчиков и 1 дизайнера.
Ранее мы справлялись с задачами по части DevOps своими силами, но поняли, что не можем обеспечивать должный уровень отказоустойчивости, безопасности и в целом это занимает довольно много времени

Мы хотели бы работать в инфраструктуре Yandex.Cloud на начальном этапе и использовать Managed Service решения от них. В дальнейшем, если сработаемся, то можно будет перейти на IaaS полностью. В качестве системы для управления проектами и репозиториями используем GitLab (опять же через Managed Service).

Сейчас у нас есть несколько проектов:

1. Web-сервис на FastAPI и React для загрузки и валидации файлов на S3 (на финальной стадии разработки);
2. Телеграм-бот на FastAPI (первая версия полностью готова);
3. Web-сервис (ERP-система) для внутреннего учета на FastAPI и React (на начальном этапе разработки);
4. Используем Apache Airflow на VM для оркестрации ETL процессов у себя, активно пишем новые DAG;
5. Небольшой сайт с SSR на FastAPI (в процессе разработки).

Далее по этим проектам и глобально у нас есть несколько задач, написаны они в порядке приоритетов. Обращение к проектам будет в формате: проект №3 и т.д.:

1. Для проекта №1 нужно настроить:

• dev и prod окружения;
• ci/cd.

2. Глобально, для всех проектов и vm нам нужно настроить:

• Сбор статистики работы сервисов в Prometeus (в рамках Yandex Monitoring);
• Сбор логов по запросам внутри сервисов (между бэкендом и фронтендом, грубо говоря);
• Наладить процесс code review внутри GitLab;
• Решить вопрос с хранением секретов проектов;
• Сбор аудитных логов в Yandex Cloud (но там это вроде не сильно сложно).

3. Для проекта №4 у нас иногда возникает ситуация, при которой в некоторые DAG попадает много файлов для обработки. Поэтому появилась идея развернуть AirFlow через Kubernetes, чтобы масштабироваться в таких случаях. Также нужно решить вопрос с тем, как нам параллельно разрабатывать разные DAS.

От совместного сотрудничества мы ждем, помимо исполнения поставленных задач, также предложения по оптимизации инфраструктуры. Также, если в задачах что-то не логично, то это тоже можно и нужно подсвечивать.

Также прилагаю схему, как я видел инфраструктуру для проекта №3. По идее такая должна подойти, так как нагрузка не очень высокая.

Далее будут возникать новые задачи, но это пока на ближайшее время планы.