За да измери AI с ултра ниска мощност, MLPerf получава TinyML еталон

Светът е на път да бъде потънал от софтуер за изкуствен интелект, който може да е вътре в стикер, залепен на лампа.

Това, което се нарича TinyML, широко движение за писане на форми за машинно обучение на AI, които могат да работят на устройства с много ниска мощност, сега получава свой собствен набор от тестове за производителност и консумация на енергия.

Тестът, MLPerf, е създаването на MLCommons, индустриален консорциум, който вече издава годишни бенчмарк оценки на компютрите за двете части на машинното обучение, така нареченото обучение, където се изгражда невронна мрежа, като нейните настройки се прецизират в множество експерименти ; и така нареченото заключение, където завършената невронна мрежа прави прогнози, докато получава нови данни.

Тези бенчмарк тестове обаче бяха фокусирани върху конвенционални изчислителни устройства, вариращи от лаптопи до суперкомпютри. MLPerf Tiny Inference, както се нарича новият изпит, се фокусира върху новата граница на нещата, работещи на смартфони, до неща, които могат да бъдат тънки като пощенска марка, без никаква батерия.

mlperf-мъничко-оформление-за-twitter.jpg

Референтната реализация за MLPerf Tiny Inference тества колко латентност е направена и колко енергия се изразходва при изпълнение на четири представителни такси за машинно обучение на микроконтролерна платка, базирана на ST MIcroelectronics Nucleo ARM за вградени системи.

„Това допълва спектъра от показатели за микро-ватове до мегавати“, каза Дейвид Кантер, изпълнителен директор на MLCommons, индустриалния консорциум, който контролира MLPerf, в брифинг с пресата.

Също: Бенчмаркът за производителност на AI индустрията, MLPerf, също за първи път измерва енергията, която консумира машинното обучение

Тестовете измерват латентността в милисекунди и консумацията на енергия в micro-Jules, за да изпълнят четири представителни задачи за машинно обучение, като по-ниската е по-добра и в двата случая. Това е вторият път, когато ML Commons въвежда измерване на енергията. През април групата въведе мярка за променливотоково потребление, използвана във ватове, в съществуващия тест MLPerf Inference.

mlperf-tiny-inference-benchmark-metrics.jpg

TinyML представлява доста задачи, които са познати на мнозина, използващи мобилни устройства, като например думата за събуждане, която активира телефон, като „Хей, Google“ или „Хей, Сири“. (Уордън довери на присъстващите с усмивка, че той и колегите му трябва да наричат ​​„Хей, Google“ в офиса като „Хей, Джи,“ за да не излизат телефоните един на друг постоянно.)

В този случай четирите задачи включват засичане на ключови думи, но също така и три други: това, което се нарича визуални будни думи, когато обект в зрителното поле задейства някаква активност (мисля, че видео звънец); класификация на изображенията на широко използвания набор от данни CIFAR-10; и откриване на аномалии, система за визуална проверка, която може да се използва във фабричен етаж.

mlperf-tiny-inference-tasks.jpg

Бенчмаркът е конструиран чрез референтна реализация, където тези четири задачи се изпълняват на малка вградена компютърна платка, ST Microelectronics ‘Nucleo-L4R5ZI, която работи с вграден процесор ARM Cortex-M4.

Nucleo се счита от ML Commons за достатъчно широко използване за представяне на устройства с много ниска мощност. Nucleo управлява софтуерната система на Google за TinyML, наречена TensorFlow Lite, в случая версия, специално проектирана за микроконтролери.

Четири групи представиха резултатите си на бенчмарка: Syntiant, дизайнер на AI процесори, базиран в Ървайн, Калифорния; LatentAI, базирано в Менло Парк, Калифорния, отделяне на изследователски институт SRI International, което прави SDK за разработчици за AI; Лаборатория Peng Cheng, изследователска лаборатория в Шензен, Китай; и hls4ml, колекция от изследователи от Fermilab, Колумбийския университет, UC San Diego и CERN.

Syntiant използва бенчмарка на процесор ARM Cortex-M0, докато LatentAI използва система Raspberry Pi 4 с чип Broardcom, а hls4ml използва процесор Xilinx на платка за разработка на Pynq-Z2.

Може би най-интересното представяне от хардуерна гледна точка е персонализираният процесор на лабораторията Peng Cheng, който е проектирал и е произведен от китайската Semiconductor Manufacturing International. Тази част изпълнява отворения набор от инструкции RISC-V, проект на Калифорнийския университет в Бъркли, който получава все по-голяма подкрепа като алтернатива на инструкциите за ARM чипове.

Официален документ, описващ еталона, е наличен за изтегляне на OpenReview.net, автор на двама от академичните съветници на организацията, Колби Банбъри и Вижай Джанапа Реди от Харвардския университет, заедно с множество автори. Този доклад е изпратен на тазгодишната NeurIPS, най-голямата академична конференция в областта на ИИ.

Бенчмаркът е създаден в продължение на осемнадесет месеца чрез колективен принос от работещи членове на ML Commons, които включват представители на CERN, Колумбийския университет и UC Сан Диего, Google, производители на чипове Infineon, Qualcomm, Silicon Labs, STMicro и Renesas, AI стартиране SambaNova Производителят на софтуер за системи и чипове Synopsys, наред с други.

Реди от Харвард каза, че дизайнът е резултат както на гласуване от тези съветници, така и на процес на избор измежду предложенията.

„Задвижва се чрез гласуване, но ние искаме да разберем каква е обратната връзка от потребителите или клиентите“, каза Реди.

„Има елемент на групов консенсус и има елемент на осъществимост“, каза Кантер, имайки предвид, занимавайки се с ограниченията на това, какви набори от данни могат на практика да се използват за тестове. „Ако не правите оценка на реален набор от данни, няма да получите супер значими резултати“, каза той. Набори от данни като CIFAR-10 гарантират, че резултатите ще бъдат “сравними и добре разпознати”, добави той.

“Това е фактор на задържане”, каза Кантер от проблема с набора от данни. „Има много приложения, на които бихме се радвали да можем да измерваме производителността, но в крайна сметка вие някак си погледнете какви са наличните ресурси, особено като се има предвид, че това е първоначално усилие.“

Едно от най-големите предизвикателства на бенчмаркинга на TinyML е, че софтуерният стек, всички слоеве за кодиране от хардуерни инструкции, включени през рамките на машинното обучение, като TensorFlow Lite на Google, представляват много по-разнообразна колекция от софтуер, отколкото обикновено се намира в програми, написани за персонални компютри и суперкомпютри в TensorFlow, PyTorch и софтуера CUDA на Nvidia.

Тестовете позволяват на компаниите, които се представят, да използват собствена версия на алгоритъм на невронна мрежа или да използват стандартен модел, същият като всички останали, наречен съответно „отворен“ или „затворен“ бенчмарк резултат.

Допълнително усложнение е дефинирането на точната обвивка на захранването. „Измерването на мощността за базираните на батерии системи е много предизвикателно“, отбеляза Кантер. Системите за вградени платки, използвани в тестовия пакет, се изпълняват в контролирана тестова настройка, където тяхната абсолютна мощност по време на изпълнение на задачите се „прихваща“ от монитор на мощността, който всъщност доставя захранването.

„Току-що изрязахме цялата подсистема на батерията“, каза Питър Торели, президент на Консорциума за вграден микропроцесорен бенчмарк, група, която от десетилетия измерва производителността на вградените системи, работещи върху енергийния компонент на бенчмарка.

Също: Машинното обучение на ръба: TinyML става все по-голям

mlperf-range-of-покрытие.jpg

В реалния свят различни обстоятелства ще посрещнат всяко устройство, което действително работи с мобилен телефон или фабрично подово устройство. Ръководителят на разработката на Google за TinyML, Пийт Уордън, твърди, че усилията на TinyML трябва да се съсредоточат върху устройства, които се захранват с батерии, без връзка със стенен контакт.

Уордън предполага, че дори по-опростените устройства TinyML биха могли да използват събирането на енергия, така че те дори нямат батерия, а по-скоро биха осигурявали енергията си чрез слънцето или чрез организми или структури, излъчващи топлина наблизо.

Въпреки че по принцип ML Commons е в съгласие с виждането на Warden, че много устройства TinyML ще имат само захранване от батерията или събиране на енергия, еталоните включват устройства като Raspberri Pi, които може да използват стенен източник на енергия. С мощност от 3,5 вата, Raspberri Pi е доста по-голям от микровата от най-малките видове вградени системи.

Като се има предвид колко нов е еталонът, каза Кантер, само референтната система от Реди и Банбъри в Харвард всъщност предлага измерването на мощността в този първи набор от резултати; четирите други податели не предоставиха измервания на мощността.

“Очакваме да видим доста енергийни измервания за следващия кръг,” каза той ZDNet чрез имейл.

Също: Изпълнителният директор на Google AI вижда свят от трилиони устройства, необвързани от човешките грижи

Публикациите се превеждат автоматично с google translate

Източник: www.zdnet.com