Физический искусственный интеллект собирает данные из реального мира с помощью датчиков, таких как камера, лидар и радар, чтобы модели ИИ, используемые в автономных системах и роботах, могли понимать физическое пространство и работать в реальных условиях.

Слияние данных с датчиков — это процесс объединения информации от нескольких датчиков для повышения точности и надежности получаемых данных. Объединяя сведения от различных типов датчиков (таких как LiDAR, радары и камеры), система может формировать более полное представление об окружающей среде. Слияние данных с датчиков также позволяет снизить влияние ошибок или сбоев отдельного датчика. Эта технология применяется в различных сферах, включая автономные транспортные средства (AV) и робототехнику.

Одним из самых распространённых применений слияния данных с датчиков является объединение различных сенсоров, установленных на роботакси, включая трёхмерные облака точек с LiDAR и двумерные изображения с передних, боковых и задних камер.

Датчики — это устройства, которые обнаруживают и реагируют на физические воздействия, такие как свет, тепло и звук. Различные датчики используют разные технологии для выполнения своих функций. Например, датчики LiDAR и радар используют лазеры и радиоволны для определения окружающей среды, а ультразвуковые датчики используют звуковые волны.

LiDAR (определение расстояния с помощью света и обнаружения объектов)

Высокая точность, большой диапазон и быстрая сбор данных. LiDAR идеально подходит для картографирования и предотвращения столкновений в автономных транспортных средствах и роботах.

РАДАР (радиолокация — обнаружение и определение расстояния с помощью радиоволн)

Радарные датчики способны обнаруживать объекты в различных погодных условиях и на больших расстояниях, что делает их идеальным решением для предотвращения столкновений и автономного вождения.

СОНАР (звуковая навигация и определение расстояния)

Датчики сонар излучают звуковые волны и измеряют время, за которое волны возвращаются после отражения от объекта. В робототехнике и автомобильной сфере их можно использовать для определения расстояния до объекта.

Структурированный свет

Датчики структурированного света используют 3D-сканер для измерения трёхмерных размеров объекта. Высокое разрешение и точность делают их подходящими для задач 3D-сканирования и построения карт.

Сенсор Time-of-Flight (ToF)

ToF-датчики используются для измерения расстояния с помощью технологии определения глубины. Они работают быстро и надежно, поэтому отлично подходят для распознавания жестов, отслеживания объектов и навигации роботов.

Стереоскопический датчик

Стереоскопические датчики используют два (или более) сенсора для имитации человеческого бинокулярного зрения. Высокоточное определение глубины, хорошее пространственное разрешение и низкая стоимость делают их подходящими для задач обхода препятствий, 3D-картографирования и навигации роботов.

Ультразвуковой датчик

Ультразвуковые датчики недороги, просты в использовании и способны обнаруживать широкий спектр материалов, что делает их подходящими для таких применений, как помощь при парковке и обнаружение объектов.

Шаг 1: Наложите данные

• Первым шагом является калибровка и выравнивание всех видов датчиков, после чего все ваши данные объединяются в один общий вид. Такой объединённый вид предоставляет вашему специалисту по разметке больше контекста, позволяя определить, какие группы облаков точек что представляют.

Шаг 2: Разметьте 3D-облака точек

• Мы рекомендуем сначала размечать в 3D, а затем переходить к 2D по нескольким причинам, даже если это может показаться нелогичным. Разметка сначала в 3D зачастую оказывается значительно более эффективной, даже если ваша основная задача — получить 2D-разметку.
• Представьте, что вы проезжаете мимо неподвижного объекта, например, дорожного знака. Этот дорожный знак, оснащенный несколькими камерами, остается видимым на трех из них, пока вы проезжаете мимо, занимая примерно 100 кадров.
• Аннотирование этого сценария с использованием двумерных ограничивающих рамок потребует разметки всего 300 объектов. Однако в трехмерном пространстве для аннотирования этого статичного, неподвижного дорожного знака потребуется всего одна кубоидная аннотация.
• Хотя разметка 3D-кубоида занимает в три раза больше времени, чем аннотирование 2D-рамки, этот процесс всё равно в 100 раз эффективнее, чем разметка непосредственно на изображениях.

Шаг 3: Проецирование на двумерные изображения

• После того как вы разметите свои 3D-облака точек, вы сможете откалибровать и совместить их с 2D-изображениями. Segments.ai автоматически перенесёт идентификаторы объектов в 2D-данные, что позволит сэкономить часы на разметке ограничивающих рамок. Во время проверки качества потребуется лишь незначительная корректировка.

Переход от подхода позднего объединения к подходу раннего объединения становится все более распространённым среди компаний, занимающихся автономными транспортными средствами и робототехникой, в их моделях машинного обучения (ML).

Позднее объединение предполагает использование отдельных моделей машинного обучения для каждого используемого датчика, которые формируют индивидуальные результаты. Затем эти результаты объединяются для создания целостного 3D-представления сцены. Этот подход подразумевает независимую работу нескольких моделей с последующим объединением их результатов.

Ранняя интеграция использует более современный подход. Вместо отдельных моделей для каждого датчика все данные с датчиков поступают в одну модель машинного обучения. Эта объединённая модель предназначена для прямого прогнозирования в трёхмерном пространстве.

Для эффективной ранней интеграции воксельные сетки оказываются удобным способом представления сцены. Воксельные сетки обладают регулярной структурой, что делает их подходящими для такого подхода. Их можно рассматривать как тензоры, что позволяет осуществлять сквозное предсказание. Весь процесс — от входных данных до результата — может быть предсказан с помощью одной модели.