УМ: автономный ИИ-агент, который сам пишет код и управляет компьютером

Создать автономную инженерную систему, которая получает цель на обычном языке и сама доводит её до результата на компьютере: исследует задачу, пишет и запускает код, работает с окнами и программами, проверяет результат по экрану и не застревает в длинных многошаговых задачах.

Планировщик и управляющий контур держат многошаговые задачи, состояние сохраняется между итерациями, агент может остановиться с вопросом и продолжить.

Адаптивные антицикловые контуры: анализ повторов, цепочек ошибок и отсутствия прогресса с несколькими уровнями смены стратегии.

Управление компьютером: shell, процессы, мышь, клавиатура, окна, снимки экрана, OCR и компьютерное зрение для обратной связи.

Единый маршрутизатор моделей: локальные модели через Ollama и облачные провайдеры, учёт стоимости и токенов.

Векторная память ChromaDB, голосовой ввод и синтез речи, живой голосовой диалог.

Управляемая самомодификация: версионирование, изолированная проверка, откат.

Удалённый режим: «мозг» работает на сервере, «руки» на рабочей машине через защищённый туннель.

Стек: Python, Ollama, ChromaDB, PyTorch, Tesseract OCR, SSH.

Система ведёт длинные инженерные задачи от постановки до проверенного результата: создаёт проекты, собирает и запускает их, исправляет ошибки по логам и по экрану.

Одна архитектура работает и с локальными моделями, и с облачными, что позволяет держать данные внутри компании и контролировать расходы.

Наработки применимы к заказным ИИ-агентам: автоматизация рабочих процессов, агенты с управлением компьютером и браузером, голосовые ассистенты, RAG и долговременная память.