Расчеты с оптоволокном
Простое оптическое волокно может выполнять миллионы арифметических операций. Необычный эксперимент показывает будущий потенциал оптических компьютеров.
Свет уже давно используется в передаче данных. Незначительно малые потери энергии и возможность параллельной передачи информации - а именно в виде импульсов разного цвета - по одному стекловолокну не оставляют шансов старым медным линиям. Однако для швейцарской исследовательской группы волокна - это больше, чем просто каналы передачи данных. Вместо этого вы хотите использовать само волокно для обработки данных.
Сложное взаимодействие света с материалом стекловолокна делает это возможным. Если вы сделаете это с умом, они смогут изменить обрабатываемые данные точно так же, как в противном случае это должен был бы сделать компьютерный чип. Исследовательская группа представила, как это работает, в августе прошлого года в журнале Nature Computational Science. Их система под названием SOLO (Scalable Optical Learning Operator) относится к области искусственного интеллекта (ИИ). И хотя это все еще базовое исследование, SOLO уже удалось оценить возраст тех, кто изображен на портретных фотографиях, или обнаружить заболевания Covid-19 на рентгеновских снимках легких - и все это с небольшой долей энергии, необходимой в противном случае.
Обычный компьютерный чип имеет то преимущество, что его можно использовать повсеместно. Он может выполнять очень разные процессы, в зависимости от того, для чего вы его программируете. Однако если большое количество данных нужно обрабатывать одинаково, это становится недостатком - процессор обрабатывает отдельные процессы один за другим, что требует времени по сравнению с системой, обрабатывающей их параллельно. Эта проблема возникает особенно в AI. Искусственные нейронные сети, особенно «глубокие» сети так называемого глубокого обучения, в последние годы показали потрясающую производительность. Обычно именно они стоят за достижениями в области распознавания изображений или речи, они позволяют все большему количеству автомобилей управлять независимо во все большем количестве ситуаций. Но они также ставят традиционное оборудование на колени, учитывая огромный объем данных, которые необходимо обработать, особенно в процессе обучения.
Если, например, одну и ту же математическую функцию приходится использовать миллионы раз подряд, обычные процессоры становятся узким местом, а вот оптические системы действительно показывают свои сильные стороны в этой области. Так как световые импульсы разного цвета передают данные параллельно по одному и тому же оптическому волокну, оптические схемы также могут выполнять несколько вычислений одновременно. Тот факт, что такие оптические схемы теперь могут быть перенесены на компактные микросхемы, во всем остальном мотивирует стартапы по всему миру создавать свои первые коммерческие продукты.
Материал из стекловолокна выполняет арифметическую работу
Группа швейцарских исследователей во главе с Кристофом Мозером и Деметри Псалтисом из Федеральной политехнической школы Лозанны использует в своей работе другой, довольно необычный подход. Потому что в то время как современные подходы к оптическим компьютерам в основном основаны на отображении конкретных числовых значений с интенсивностью световых импульсов и изменении их как можно умнее и конкретнее, швейцарцы используют свойства материала стекловолокна для манипулирования сигналом. Способом, который в значительной степени неясен в деталях, но тем не менее он работает. «Это похоже на глубины искусственных нейронных сетей», - говорит Мозер. «Часто приходится признать, что вы не можете точно понять взаимодействие миллионов нейронов».
В классическом тестовом случае для приложений ИИ система должна решить, изображена ли на изображении собака или кошка. Экспериментальная установка исследовательской группы в Лозанне довольно проста: лазер освещает пассивный экран, который использует падающий свет для создания изображения размером 600 x 600 пикселей, которое в конечном итоге должно быть классифицировано. Вместо того, чтобы направлять каждый из этих пикселей по отдельности в глубокую нейронную сеть, как это обычно бывает в машинном обучении, линза объединяет все изображение и связывает его со стеклянным волокном. Внутри разные области картины смешиваются. На другом конце выходящий свет фиксируется камерой.
Сначала изображение с этой камеры передается в обычную, но очень простую нейронную сеть, в которой каждый отдельный пиксель изображения представлен своим нейроном. Каждый из этих нейронов в свою очередь соединен с двумя выходными нейронами «собака» и «кошка». Во время обучения сети показываются изображения, модифицированные оптоволоконным кабелем, и она учится распознавать, где изначально изображена собака, а где кошка. Для этого он регулирует силу связей между пиксельными нейронами и выходными нейронами до тех пор, пока не активируется нейрон «собака» для изображения собаки и нейрон «кошка» для изображения кошки.
Если бы вы давали этой простой сети картинки собак и кошек просто так, т.е. необработанные, для обучения, то не было бы шансов узнать разницу между животными. Поэтому в обычных нейронных сетях между входными пикселями исходного изображения и выходными нейронами вставляется большое количество промежуточных слоев с нейронами. Это приводит к тому, что многие миллионы параметров должны быть оптимизированы во время обучения, и все они должны быть пропущены при последующем использовании. С другой стороны, в новой модели волокно берет на себя роль этих глубоких слоев. «Нам нужно всего лишь около одной сотой энергии обычной нейронной сети», - говорит Мозер. «Однако мы все еще на несколько процентов хуже, когда речь идет о надежности классификации. Хотя это звучит не так уж и много, нам еще предстоит решить эту проблему."
Нелинейные эффекты делают это возможным
Но что происходит с изображением, когда оно проходит через волокно? И как получается, что этот довольно простой трюк может более-менее заменить миллионы параметров нейросети, оптимизированных в сложном процессе обучения? Ответ - нелинейные эффекты. Они также являются незаменимым компонентом обычных нейронных сетей. По сути, все, что не может быть математически представлено прямой линией, т. е. что выходит за рамки сложения или простого умножения с постоянным значением, является нелинейным. В искусственных нейронных сетях нелинейные функции выступают своего рода стражем, который решает в каждом отдельном нейроне, передаются ли поступающие сигналы последующим узлам или нет. Нелинейные «функции активации» гарантируют, что выход нейрона не просто пропорционален входным сигналам, но принимает определенные высокие значения, даже если порог активации лишь незначительно превышен.
«Эти нелинейные эффекты имеют решающее значение для способности сети обучаться», - объясняет Мозер. Однако их обычно трудно воспроизвести на оптических чипах. «Чтобы создать что-то подобное в оптике, обычно нужны очень высокие энергии». Однако, поскольку его группа в определенной степени ограничивает свет стеклянным волокном, им удалось добиться там эффектов с низкой интенсивностью света и, следовательно, с низкими потерями энергии. «Волокно полностью смешивает информацию от пикселей примерно через каждые полмиллиметра», - говорит Мозер. «Это сравнимо с тем, что происходит в одном слое глубокой нейронной сети». Текущая структура длиной пять метров соответствует чрезвычайно глубокой сети.
Сами исследователи до сих пор ломают голову над тем, почему результат, захваченный камерой на выходе из волокна, можно так легко классифицировать и с помощью одного дополнительного нейронного слоя. В любом случае есть признаки того, что трансформация еще не оптимальна. Например, производительность зависит от точной формы стекловолокна. Так что он изменится, если его случайно согнуть или свернуть по-другому. Хотя это дает возможность дальнейшей оптимизации путем проб и ошибок, эта нестабильность также создает проблему: «Если из этого когда-либо появится коммерческий продукт, система должна быть достаточно стабильной, чтобы давать надежные результаты спустя месяцы и годы после обучения». говорит Мозер. Таким образом, оптоволокно, которое в настоящее время все еще не подключено, должно быть постоянно интегрировано в чип. По словам Мозера, уже сегодня можно написать световод метровой длины на поверхности кремниевого чипа - в виде спирали всего в один квадратный сантиметр.
Более «обычные» оптические чипы также развиваются
«Оптические вычисления особенно многообещающи, если вы интегрируете их в чипы и полагаетесь на элементы, с которыми вы уже хорошо разбираетесь», - соглашается Корнелия Денц, возглавляющая рабочую группу в Институте прикладной физики при университете. Мюнстера для Nonlinear Photonics и в прошлом году был соавтором обзорной статьи в журнале Nature об оптических вычислениях и искусственном интеллекте. Такие системы, интегрированные на кремниевых чипах, уже очень продвинуты и частично изготавливаются по тем же методам, которые используются и при производстве обычных электронных чипов, - за исключением того, что вместо транзисторов в кремний записывают световоды, светоделители и другие оптические элементы.. Таким образом, преимущества оптических вычислений, такие как низкие потери, высокая тактовая частота и возможность параллельной обработки данных, могут быть объединены очень многообещающим образом. «Поэтому можно предположить, что вскоре это будет использоваться и в коммерческих продуктах», - говорит Денц. «Вы, вероятно, услышите об этом больше в ближайшие пять-десять лет. Нынешние стартапы также показывают, что это возможно».
Чипы от двух американских стартапов Lightmatter и Lightelligence кажутся особенно продвинутыми. Они основаны на той же научной статье, опубликованной в 2017 году исследователями из Массачусетского технологического института. Два ведущих автора теперь соревнуются в захватывающей гонке за новой технологией. С чисто финансовой точки зрения, Lightmatter стала лидером в 2021 году благодаря дополнительному вливанию 80 миллионов долларов от GV (ранее Google Ventures) и Hewlett Packard, среди прочих. А вот конкурент Lightelligence тоже может стоить в общей сложности 100 миллионов долларов. Согласно их собственным заявлениям, оба стартапа собираются выпустить на рынок свои продукты.
По сравнению с SOLO, Lightelligence и Lightmatter относительно близки к своим электронным моделям с точки зрения архитектуры своих оптических чипов, за исключением того, что в качестве элементарных переключающих элементов они используют так называемые интерферометры Маха-Цендера. Эти оптические компоненты сначала разделяют световой пучок на две части на своем входе и снова объединяют их на выходе. Поскольку скорость, с которой свет распространяется по двум различным путям, может избирательно изменяться, рекомбинация лучей происходит с задержкой. Таким образом, положения гребней и впадин волн могут смещаться друг относительно друга, заставляя их конструктивно или деструктивно интерферировать при последующем наложении. Таким образом, устройство представляет собой модулятор, который изменяет интенсивность светового луча.
«Практически любую математическую операцию можно реализовать с помощью сети интерферометров Маха-Цандера», - объясняет Рольф Дрекслер, возглавляющий отдел исследований киберфизических систем в Немецком исследовательском центре искусственного интеллекта и рабочей группе по компьютерной архитектуре. в Бременском университете зав. В последние годы исследователь и его команда разработали инструкции по соединению между собой оптических компонентов для самых разных целей. Они использовали крошечные интерферометры, потому что они лучше всего работают на современном уровне техники и, следовательно, являются наиболее перспективными для будущих приложений.«В принципе, можно было бы даже создать полностью функциональный оптический компьютер», - говорит Дрекслер. Однако многие вещи еще не могли быть технически реализованы с желаемой надежностью и качеством. Кроме того, техническое приложение также должно быть компактным и недорогим, чтобы его можно было использовать в коммерческих целях.
Нынешние стартапы еще не предоставили окончательных доказательств того, что оптика может преобладать, по крайней мере, в специальных приложениях ИИ, по сравнению с кремниевой электроникой, которая оптимизировалась на протяжении десятилетий. Но, похоже, настало время дать искусственному интеллекту немного оптики.