Memories.ai: платформа для обучения роботов
Компания Memories.ai из Сан-Франциско разрабатывает программное обеспечение и искусственный интеллект (ИИ) для помощи роботам в понимании физического мира. Основная задача — создание моделей для анализа видео и инфраструктуры данных, а также сбор и аннотирование видео от первого лица (эгоцентрического) для предоставления высококачественных обучающих данных робототехническим компаниям.
Долгосрочная цель Memories.ai — стать партнером по инфраструктуре данных для робототехники и физического ИИ, а не просто поставщиком данных. Это позволит ускорить развитие технологий, где роботы смогут эффективно взаимодействовать с реальной средой.
Платформа на основе видеоданных
Платформа Memories.ai предназначена для физического ИИ, робототехники, мировых моделей, моделей «зрение-язык-действие» (VLA) и гуманоидов. Она предоставляет тщательно отобранное хранилище видеоданных, включающее эгоцентрическое видео, а также услуги по индивидуальной аннотации и инструменты для создания наборов данных, необходимых для обучения моделей роботов.
Компания получает эгоцентрическое видео от сборщиков данных и партнеров, предоставляя им стандартизированное оборудование для захвата — модульную систему камер — и унифицированный процесс для последовательного сбора материала. Затем Memories.ai обрабатывает и аннотирует эти данные с помощью своих моделей, делая их доступными через свою инфраструктуру. Компания опубликовала несколько элементов своих исследований на GitHub, а также представила работы на конференциях ICLR, NeurIPS и EMNLP.
NVIDIA Cosmos и физический ИИ
Шон Шен, соучредитель и генеральный директор Memories.ai, подчеркнул, что их видение заключается в ускорении развития физического интеллекта и активном участии в робототехнической индустрии. «Мы действительно переносим робототехнику в реальный физический мир, и я верю, что это видение всей нашей команды. И все, что может помочь нам быстрее реализовать это видение, мы с радостью сделаем», — отметил Шен.
Компания сосредоточена на обработке собственных данных, а не на сборе видео из множества различных источников. Получив данные от партнеров, Memories.ai самостоятельно обрабатывает и аннотирует материал. В прошлом месяце компания сообщила, что использует NVIDIA Cosmos для интерпретации видео, поступающего в ее хранилище данных. Затем эти данные курируются для пост-обучения Cosmos под конкретные робототехнические и промышленные приложения клиентов. Этот цикл превращает видео из реального мира в модели, адаптированные для решения задач, необходимых заказчикам.
Модульная конструкция конвейера
Memories.ai отмечает, что ее система имеет модульную конструкцию для поддержки разнообразных задач и ракурсов камер. Шен заявил, что компания стремится развиваться вместе с отраслью по мере того, как модели ИИ становятся более зрелыми для различных робототехнических приложений.
«Мы хотим быть долгосрочными партнерами, — сказал он. — Мы не хотим просто продавать вам данные. В будущем мы хотим работать с вами над моделями. Мы хотим работать с вами над инфраструктурой, потому что знаем, что вы тоже ограничены в ресурсах». Для клиентов в сфере робототехники Memories.ai планирует адаптировать данные под их нужды, предлагать эксклюзивные или неэксклюзивные соглашения и потенциально расширять свою роль в разработке моделей и видеоинфраструктуры.
