Ничего, можно записать данные с камер, лидаров и управления и обучить этому какую-либо пекарню.
Делов-то - сверточную сеть смержить с входом лидара и подать на вход рекуррентной (я так говорю, будто не выебался в процессе реализации на порядки более простого эксперимента).