Стартирането на AI чип NeuReality представя своята обектно-ориентирана хардуерна архитектура NR1-P

Пространството на AI чиповете процъфтява, като иновациите идват от множество стартиращи компании в допълнение към обичайните заподозрени. Може би никога не сте чували за NeuReality преди, но изглежда вероятно ще чуете повече за това след днес.

NeuReality е стартъп, основан в Израел през 2019 г. Днес той обяви NR1-P, който нарече нова платформа за AI-ориентиран извод. Това е смела претенция за неизвестно досега и много кратко време за пристигане там – дори ако това е първото от повече внедрявания, което следва.

ZDNet свързан с главния изпълнителен директор и съосновател на NeuReality Моше Танах, за да разбере повече.

Основана от ветерани от индустрията

Tanach има повече от 20 години опит в областта на полупроводниците и системите, като е работил върху решения от изчислителни и безжични до мрежи и съхранение на центрове за данни. Той и неговите съоснователи, вицепрезидент „Операции“ Цвика Шмуели и вицепрезидент VLSI Йоси Касус, изминават дълъг път назад и имат впечатляващ списък от предишен опит на ключови позиции помежду им.

Habana Labs, Intel, Marvell и Mellanox са няколко от компаниите, в които са работили основателите на NeuReality. Xilinx също е ключов партньор за NeuReality, както обясни Танах. На този етап NR1-P е внедрен като прототип на FPGA на Xilinx. Целта е да се внедри NR1-P като система на чип (SoC) в крайна сметка.

NeuReality вече започна да демонстрира NR1-P на клиенти и партньори, въпреки че имената не бяха разкрити. Компанията твърди, че прототипната платформа потвърждава своята технология и позволява на клиентите да я интегрират в организирани центрове за данни и други съоръжения.

NeuReality направи крачки за сравнително кратко време. Habana Labs, Intel, Marvell и Mellanox са няколко от компаниите, в които са работили основателите на NeuReality.

Танах дестилира философията на NeuReality, като каза, че системите и полупроводниците трябва да бъдат проектирани отвън навътре: “Трябва да разберете системата. Ако можете да изградите системата, както прави Qualcomm, те изграждат телефон и базова станция с цел да се направят най-добрите чипове за телефони “.

От самото начало NeuReality направи избор да се фокусира изключително върху работните натоварвания на извода. Както Tanach отбеляза, заниманието с това как да се обучават модели на AI привлече много внимание и доведе до много скъпи компютърни шушулки, които имат отлични резултати в обучителните модели.

Но когато натискате AI да се използва в приложения от реалния живот, трябва да се грижите за начина, по който моделът е разгърнат и използван – следователно, извод. И когато се опитате да използвате скъпа шушулка, цената на всяка операция на AI остава много висока и е трудно да решите двата проблема заедно.

Тази философия беше и част от това, което доведе д-р Naveen Rao, бивш генерален мениджър на Intel AI Products Group, в Съвета на директорите на NeuReality. Рао беше основателят на Nervana, която бе придобита от Intel през 2016 г. Докато работеше в Intel, Rao имаше две продуктови линии, една за обучение и друга за умозаключение.

Махалото на изчислението

Рао оценява “свежия поглед” на NeuReality, както се изрази Танах. Но какво точно означава това? NR1-P силно се опира на FPGA решения, поради което партньорството с Xilinx е много важно. Xilinx, отбеляза Танах, не е просто програмируема логика и FPGA:

“Когато погледнете как са изградени техните усъвършенствани FPGA днес, те са система на чип. В тях има ARM процесори вътре в най-новата си технология Versal ACAP. Те също така са интегрирали набор от VLAW двигатели, които можете да програмирате. И заедно с тях бихме могли да създадем шаси за сървър с 16 карти, което е много мощно “.

NeuReality внедри NR1-P в Xilinx FPGA, така че не трябваше да измислят нищо – те просто изграждат шасито. Както Tanach отбеляза, те са работили с Xilinx и са измислили механизъм за извод, който е автономен и е внедрен в FPGA. SoC е в процес на разработване и ще бъде въведен в началото на 2022 г.

Това означава, че NR1-P не е насочен към вградени чипове, тъй като не би било практично да се използват FPGA за това. Дори когато SoC е налице обаче, NeuReality ще продължи да се насочва към решения от най-краищата:

“Edge устройствата се нуждаят от още по-оптимизирани решения, специално създадени за нуждите на устройството. Трябва да правите неща в микроватове, миливати или по-малко от 50 миливата. Но има махалото на изчисленията. Настоящата тенденция е да се натискат все повече и повече изчисляваме в облака. Но започваме да виждаме махалото да се връща.

Погледнете сделката между Microsoft и AT&T за изграждане на много центрове за данни в САЩ в AT&T съоръжения, за да приближите повече изчислителна мощност до ръба. Много IoT устройства няма да могат да вграждат AI възможности поради разходи и мощност, така че ще им е необходим изчислителен сървър, който да ги обслужва по-близо до мястото, където се намират. Преминаването до облака и обратно въвежда висока латентност “.

Обектно-ориентирана хардуерна архитектура

„Тайният сос“ на NeuReality е концептуално прост, според Tanach: други ускорители за дълбоко обучение могат да свършат много добра работа при разтоварване на обработката на невронната мрежа от приложението, но те са PCI устройства. Те трябва да бъдат инсталирани на целия сървър, а това струва много.

Процесорът е центърът на системата и когато разтоварва нещата, той изпълнява драйвера на устройството. Това не важи за NeuReality. NR1-P е автономно устройство, свързано към мрежата. Той има всички функции на пътя за данни, така че не е необходимо да се изпълняват в софтуер. Това ограничено място е премахнато, като елиминира необходимостта от допълнителни устройства. Tanach посочи това като обектно ориентиран хардуер:

“Основният обект тук е AI изчислителният механизъм. Използваме обектно-ориентиран софтуер от дълго време и той промени начина, по който кодираме нещата. Обгръщаме основния обект с функциите, от които се нуждае. Време е да разработим хардуер, който прави същото. Ако искате да инвестирате в AI изчислителни двигатели, направете го основното “.

neurealitys-ai-centric-платформа-интегрирана-с-xilinx.jpg

NeuReality работи в тясно сътрудничество с Xilinx, използвайки FPGA като първа стъпка за доставяне на своята система на чип. Изображение: NeuReality

Друга тема, която Танах засегна, е използваният комуникационен протокол. Решенията за изводи като Nvidia използват REST API, което прави много скъпи мрежи, отбеляза той. NeuReality има и други начини да го направи, които ще разкрие в бъдеще.

Не на последно място еластичността и използването в облачните центрове за данни също е важно. Съществуващите ускорители на дълбоко обучение са извън това уравнение, каза Танах. Kubernetes връзки, комуникация с оркестратора, всичко това се извършва на процесора, хостващ тези ускорители на дълбоко обучение. NeuReality интегрира тези функции в устройството.

Всичко това се изразява в много ниска цена за операция по извеждане на изкуствен интелект, както по отношение на капиталовите разходи, така и на оперативните разходи, добави Танах. Понастоящем FPGA могат да се използват в центрове за данни и места като 5G базови станции, където мощността е по-малка. SoC ще се предлага в два варианта, един за центрове за данни и друг за по-ниски разходи и спецификации на мощността за възли по-близо до ръба.

NeuReality твърди 15-кратно подобрение в производителността на долар в сравнение с наличните графични процесори и ASIC, предлагани от доставчиците на ускорители на дълбоко обучение. На въпрос за справка за тези твърдения, Tanach спомена, че използва MLPerf като основа за вътрешен бенчмаркинг. NeuReality скоро ще сподели предложените актуализации на MLPerf, добави Танах.

Ранни дни

Освен че доставя своя SoC, NeuReality работи и по предоставянето на своя софтуерен стек. Целта е да можете да работите с каквато и да е рамка за машинно обучение, която хората използват, било то PyTorch или TensorFlow или нещо друго. Танах отбеляза, че ONNX улеснява това, а NeuReality инвестира в софтуер.

Бъдещето на AI изчислителното разтоварване е да разтовари напълно тръбопровода, добави той. Обещанието е, че софтуерният стек на NeuReality ще поддържа изчислително графично представяне, което ще позволи това. По отношение на клиентите, NeuReality е насочена към три сегмента.

Хиперскакери и доставчици на облачни услуги от следваща вълна, доставчици на решения, които изграждат центрове за данни за клиенти като военните, правителствата и финансовата индустрия, и не на последно място OEM производителите.

Днешното съобщение следва NeuReality излизане от стелт през февруари 2021 г. с инвестиция в семена от 8 милиона долара. Разбира се, все още са ранни дни за NeuReality. Историята на компанията и първите признаци обаче я карат да си струва да се следи:

Публикациите се превеждат автоматично с google translate

Източник: www.zdnet.com