СТРОКА: Как мы сделали безопасную ИИ-платформу для работы с LLM

В условиях растущего спроса на инструменты искусственного интеллекта компании сталкиваются с выбором: использовать публичные нейросети и загружать данные в иностранные облака или ограничить доступ и не использовать возможности для оптимизации, которые дает искусственный интеллект.

ИТ-компания «Лоция» приняла решение о разработке собственной безопасной ИИ-платформы «Строка» для управления большими языковыми моделями (LLM), чтобы предоставить возможность клиентам в полной мере применять инструменты ИИ, не беспокоясь о безопасности информации и не разворачивая собственную инфраструктуру.

Предпосылки создания собственной платформы

• Конфиденциальность данных. Использование внешних облачных сервисов создает неприемлемые риски утечки информации при работе с чувствительными данными.

• Стабильность и контроль. Изменения в API со стороны внешних разработчиков могут непредсказуемо влиять на производственные процессы. Собственная платформа гарантирует стабильность интерфейсов и протоколов.

• Оперативная техническая поддержка. Внутреннее решение позволяет специалистам компании незамедлительно реагировать на запросы пользователей, исключая задержки, связанные с коммуникацией с внешними службами поддержки.

• Технологический суверенитет. Использование зарубежных платформ сопряжено с юридическими и операционными сложностями, включая вопросы оплаты и соответствия внутренней политике компании.

 «Строка» — это корпоративная платформа для безопасной работы с ИИ, развернутая непосредственно в контуре компании. Мы возвращаем контроль, обеспечиваем безопасность и повышаем производительность, оставляя сотрудникам главное — удобный и мощный инструмент.

За основу платформы была взята опенсорсная инфраструктура, значительно доработанная под специфические бизнес-задачи. Ключевые функциональные модули включают:

• Мониторинг ресурсов. Система отслеживает загрузку LLM и позволяет эффективно распределять видеопамять — наиболее ценный вычислительный ресурс.

• Детальный аудит действий. Платформа фиксирует все действия пользователей: используемые модели и объем потребляемых токенов. Это дает прозрачную статистику для анализа эффективности и планирования мощностей.

• Интеграция с DLP. Реализуется интеграция с корпоративной системой предотвращения утечек данных для своевременного выявления и блокировки потенциально опасных действий.

• Сокрытие персональных данных. В разработке находится сервис автоматического маскирования персональной информации в запросах к LLM, предотвращающий ее выход за пределы контура.

• Хранение истории запросов. Все сотрудники могут воспользоваться удачными результатами запросов, существенно сокращая затраты рабочего времени.

Ключевые функции

Экспертный диалог: с ИИ как с аналитиком - сложные задачи и глубокие ответы с учетом контекста.

Работа с документами: Мгновенный анализ договоров (PDF, Word, Excel), извлечение данных, выводы и рецензирование. Платформа работает с любыми форматами, кроме бинарных.

Генерация контента: Создание и редактирование текстов, таблиц и презентаций в современном дизайне за секунды.

Аналитика встреч: Транскрибация аудиофайлов и автоматическое формирование протоколов собраний.

Корпоративные данные: Безопасный доступ и анализ внутренней информации компании.

Платформа «Строка» предоставляет единый API-доступ ко всем подключенным языковым моделям, что позволяет использовать их не только через пользовательский интерфейс, но и напрямую из корпоративных систем, сервисов и микросервисной архитектуры. Через API можно выстраивать гибкие сценарии обработки данных, включая реализацию RAG (Retrieval-Augmented Generation) — как внутри самой платформы с использованием встроенных инструментов индексации и поиска, так и во внешних системах с полной настройкой пайплайнов под конкретные бизнес-задачи. Это дает возможность создавать собственные ИИ-сервисы: от интеллектуальной маршрутизации заявок и анализа документов до агентных сценариев, автоматизации процессов и интеграции с существующими ИТ-ландшафтами. Платформа выступает как единая точка управления моделями, обеспечивая контроль, масштабируемость и повторное использование ИИ-функциональности в любых внутренних продуктах компании.

«Строка» понимает специфику работы каждого отдела:

• Топ-менеджмент: Управленческие отчеты, аналитика эффективности, сводки для принятия решений.

• Продажи: Подготовка КП, деловая переписка, анализ клиентской базы.

• Маркетинг и PR: Контент-планы, стратегии, анализ конкурентов, генерация текстов.

• Юристы: Юридическая экспертиза, анализ договоров, подготовка заключений.

• Финансы: Бюджетирование, прогнозирование, анализ показателей и финансовые обзоры.

• HR: Оценка кандидатов, подготовка кадровой документации, анализ вовлеченности.

• ИТ: Автоматизация рутины, техподдержка, документирование систем, кодогенерация.

Платформа «Строка» становится универсальным ИИ-инструментом, интегрируемым в широкий спектр направлений деятельности компании

Рост производительности

• Подготовка документов в 3-5 раз быстрее.

• Сокращение времени на рутину до 60%.

• Снижение количества ошибок в документации.

• Высвобождение времени сотрудников для стратегических задач.

Снижение рисков

• Полное исключение утечек данных в публичные сервисы.

• Работа в периметре корпоративной сети.

• Гранулярный ролевой доступ и аудит всех операций.

• Соответствие строгим требованиям информационной безопасности.

Масштабирование знаний

• Стандартизация качества работы.

• Мгновенная адаптация новичков.

• Сохранение и тиражирование корпоративной экспертизы.

ИТ-департамент и служба безопасности получают полную власть над ИИ-инструментами в компании.

• Локальное размещение: мощные ИИ-модели (DeepSeek, Qwen и др.) развернуты на ваших серверах. Данные физически не покидают контур компании.

• Изоляция: при необходимости возможна работа в полностью автономном режиме, без внешних подключений.

• Контроль доступа: четкая ролевая модель. Каждый пользователь видит только то, что ему положено.

• Управление ИТ: полный мониторинг, логирование и управление со стороны технических специалистов.