BFL выпустила модель FLUX 3 Action для управления роботами
BFL выпустила модель FLUX 3 Action для управления роботами. Нейросеть создана на основе видеомодели FLUX 3 и способна предсказывать последовательность движений на основе текстовых задач и визуальных данных.
Для обучения основа видеомодели была дообучена на записях работы роботов, где кадры с камер синхронизированы с положениями суставов и действиями. Модель на 7B учится совместно восстанавливать из шума будущие кадры и последовательность движений.
По текстовой задаче, текущим кадрам и состоянию робота система предсказывает движения суставов и захвата вместе с их визуальным результатом. Робот исполняет часть команд, получает новые кадры и пересчитывает следующие движения.
На симуляционном RoboLab-120 разработка заняла первое место с 42.9% успешных попыток против 36.8% у Cosmos 3 Nano на 16B. Под нового робота нужно дообучение. Веса распространяются под FLUX Community License, код доступен под Apache 2.0, также опубликован техрепорт.
Добавить комментарий