На этой неделе на 38-й Международной конференции по машинному обучению (ICML 21) исследователи из Центра кибербезопасности Нью-Йоркского университета при Инженерной школе Тандон Нью-Йоркского университета раскрывают новое понимание основных функций, которые определяют способность нейронных сетей. сети, чтобы делать выводы о зашифрованных данных.
В статье «DeepReDuce: ReLU Reduction for Fast Private Inference» команда фокусируется на линейных и нелинейных операторах, ключевых особенностях фреймворков нейронных сетей, которые, в зависимости от операции, приводят к большим затратам времени. и вычислительные ресурсы. Когда нейронные сети вычисляют зашифрованные данные, многие из этих затрат связаны с выпрямленной линейной функцией активации (ReLU), нелинейной операцией.
Брэндон Рейген, профессор информатики и инженерии, электротехники и вычислительной техники, а также группа сотрудников, включая Нандан Кумар Джа, доктор философии. студентка и Захра Годси, бывшая докторантка, под руководством Сиддхарта Гарга разработали фреймворк под названием DeepReDuce. Он предлагает решение путем перестановки и сокращения ReLU в нейронных сетях.
Рейген объяснил, что этот сдвиг требует фундаментальной переоценки того, где и сколько компонентов распределено в системах нейронных сетей.
«Что мы пытаемся сделать, так это переосмыслить, как устроены нейронные сети в первую очередь», - объяснил он. «Вы можете пропустить многие из этих ресурсоемких и ресурсоемких операций ReLU и по-прежнему получать высокопроизводительные сети с ускорением времени работы в 2-4 раза».
Команда обнаружила, что по сравнению с самыми современными решениями для частных выводов DeepReDuce повысила точность и уменьшила количество ReLU на 3,5% и 3,5× соответственно.
Запрос носит не только академический характер. По мере того, как использование ИИ растет вместе с заботой о безопасности личных, корпоративных и государственных данных, нейронные сети все чаще выполняют вычисления с зашифрованными данными. В таких сценариях, включающих нейронные сети, генерирующие частные выводы (PI) о скрытых данных без раскрытия входных данных, именно нелинейные функции имеют самые высокие «затраты» времени и мощности. Поскольку эти затраты увеличивают сложность и время, необходимое для обучения машин для выполнения PI, исследователи изо всех сил пытались облегчить нагрузку, которую ReLU возлагают на такие вычисления.
Работа команды основана на инновационной технологии под названием CryptoNAS. Описано в более ранней статье, среди авторов которой Годси и третий доктор философии. студент, Акшай Велданда, CryptoNAS оптимизирует использование ReLU, как можно было бы изменить порядок расположения камней в ручье для оптимизации потока воды: он перебалансирует распределение ReLUS в сети и удаляет избыточные ReLU.
DeepReDuce расширяет возможности CryptoNAS, еще более оптимизируя процесс. Он включает в себя набор оптимизаций для разумного удаления ReLU после реорганизации функций CryptoNAS. Исследователи протестировали DeepReDuce, используя его для удаления ReLU из классических сетей, и обнаружили, что они смогли значительно сократить задержку логического вывода при сохранении высокой точности.
Рейган вместе с Михалисом Маниатакосом, научным сотрудником, профессором электротехники и вычислительной техники, также участвует в сотрудничестве с компанией по обеспечению безопасности данных Duality для разработки нового микрочипа, предназначенного для обработки вычислений на основе полностью зашифрованных данных.
Исследование ReLUS проводилось при поддержке ADA и программы защиты данных в виртуальных средах (DPRIVE) Агентства перспективных исследовательских проектов Министерства обороны США (DARPA) и Центра архитектуры приложений.