NTT и Университетът на Токио разработват първия в света оптичен изчислителен AI, използвайки алгоритъм, вдъхновен от човешкия мозък

Сътрудничеството напредва в практическото приложение на нискоенергийния, високоскоростен AI, базиран на оптични изчисления

ТОКИО–(BUSINESS WIRE)–#TechforGood-NTT Corporation (Президент и главен изпълнителен директор: Акира Шимада, „NTT“) и Токийски университет (Bunkyo-ku, Токио, президент: Teruo Fujii) разработиха нов алгоритъм за обучение, вдъхновен от обработката на информация в мозъка, който е подходящ за многослойни изкуствени невронни мрежи (DNN), използващи аналогови операции. Този пробив ще доведе до намаляване на консумацията на енергия и времето за изчисления за AI. Резултатите от тази разработка са публикувани в британското научно списание Nature съобщенията на 26 декември^th.

Изследователите постигнаха първата в света демонстрация на ефективно изпълнено оптично DNN обучение, като приложиха алгоритъма към DNN, който използва оптично аналогово изчисление, което се очаква да даде възможност за високоскоростни устройства за машинно обучение с ниска мощност. В допълнение, те са постигнали най-високата производителност в света на многопластова изкуствена невронна мрежа, която използва аналогови операции.

В миналото изчисленията за обучение с голямо натоварване се извършваха чрез цифрови изчисления, но този резултат доказва, че е възможно да се подобри ефективността на частта за обучение чрез използване на аналогови изчисления. В технологията Deep Neural Network (DNN) повтаряща се невронна мрежа, наречена дълбоко резервоарно изчисление, се изчислява чрез приемане на оптичен импулс като неврон и нелинеен оптичен пръстен като невронна мрежа с рекурсивни връзки. Чрез повторно въвеждане на изходния сигнал към същата оптична верига, мрежата се задълбочава изкуствено.

DNN технологията позволява усъвършенстван изкуствен интелект (AI), като машинен превод, автономно шофиране и роботика. Понастоящем необходимата мощност и време за изчисление се увеличават със скорост, която надхвърля нарастването на производителността на цифровите компютри. Технологията DNN, която използва аналогови сигнални изчисления (аналогови операции), се очаква да бъде метод за реализиране на високоефективни и високоскоростни изчисления, подобни на невронната мрежа на мозъка. Сътрудничеството между NTT и Токийския университет разработи нов алгоритъм, подходящ за аналогова операция DNN, който не предполага разбирането на параметрите за обучение, включени в DNN.

Предложеният метод се учи чрез промяна на параметрите за обучение на базата на крайния слой на мрежата и нелинейната случайна трансформация на грешката на желания изходен сигнал (сигнал за грешка). Това изчисление улеснява прилагането на аналогови изчисления в неща като оптични схеми. Може също така да се използва не само като модел за физическа реализация, но и като авангарден модел, използван в приложения като машинен превод и различни AI модели, включително DNN модела. Очаква се това изследване да допринесе за решаването на възникващи проблеми, свързани с изчисленията с ИИ, включително консумация на енергия и увеличено време за изчисление.

В допълнение към изследването на приложимостта на метода, предложен в тази статия за специфични проблеми, NTT също ще насърчи широкомащабна и дребномащабна интеграция на оптичен хардуер, с цел създаване на високоскоростна оптична изчислителна платформа с ниска мощност за бъдещи оптични мрежи.

Подкрепа за това изследване:

JST/CREST подкрепи част от резултатите от тези изследвания.

Публикация в списанието:

Magazine: Nature съобщенията (Онлайн версия: 26 декември)

Заглавие на статията: Физическо задълбочено обучение с биологично вдъхновен метод на обучение: Безградиентен подход за физически хардуер

Автори: Мицумаса Накаджима, Кацума Иноуе, Кенджи Танака, Ясуо Кунийоши, Тошиказу Хашимото и Кохей Накаджима

Обяснение на терминологията:

1. Оптична схема: Верига, в която силициевите или кварцови оптични вълноводи са интегрирани върху силиконова пластина, като се използва технология за производство на електронни схеми. В комуникацията разклоняването и сливането на оптични комуникационни пътища се извършва чрез оптична интерференция, мултиплексиране/демултиплексиране по дължина на вълната и други подобни.
2. Метод на обратно разпространение (BP): Най-често използваният алгоритъм за обучение в дълбокото обучение. Градиентите на тегла (параметри) в мрежата се получават, докато се разпространява сигналът за грешка назад, и теглата се актуализират, така че грешката да стане по-малка. Тъй като процесът на обратно разпространение изисква транспониране на матрицата на теглото на мрежовия модел и нелинейна диференциация, е трудно да се приложи върху аналогови схеми, включително мозъка на жив организъм.
3. Аналогово изчисление: Компютър, който изразява реални стойности използва физически величини като интензитета и фазата на светлината и посоката и интензитета на магнитните завъртания и извършва изчисления чрез промяна на тези физични величини според законите на физиката.
4. Метод на директна обратна връзка (DFA): Метод за псевдоизчисляване на сигнала за грешка на всеки слой чрез извършване на нелинейна произволна трансформация на сигнала за грешка на крайния слой. Тъй като не изисква диференциална информация на мрежовия модел и може да се изчисли само чрез паралелна случайна трансформация, той е съвместим с аналоговото изчисление.
5. Резервоарно изчисление: Тип повтаряща се невронна мрежа с повтарящи се връзки в скрития слой. Характеризира се с произволно фиксиране на връзки в междинен слой, наречен резервоарен слой. При изчисленията на дълбоки резервоари обработката на информация се извършва чрез свързване на слоевете на резервоар в множество слоеве.

NTT и логото на NTT са регистрирани търговски марки или търговски марки на NIPPON TELEGRAPH AND TELEPHONE CORPORATION и/или нейните филиали. Всички други споменати имена на продукти са търговски марки на съответните им собственици. © 2023 NIPPON TELEGRAPH AND TELEPHONE CORPORATION

Контакти

Стивън Ръсел

Кабелни комуникации®

За NTT

+ 1-804-362-7484

[имейл защитен]