Програмски системи за поузданост и ефикасност апликација вештачке интелигенције

Апстракт:

Развој система вештачке интелигенције (ВИ) отвара велике могућности за нове апликације. Поузданост (trustworthyness) и ефикасност (efficiency) ВИ система је од кључне важности да буду прихваћени и да не проузрокују материјалну штету и нашкоде људима. За потврду својстава поузданости – као што су робустност, правичност, или одсуство системских предрасуда, системи за верификацију пружају различите гаранције. За побољшање ефикасности ВИ система, укључујући смањену латенцију и потрошњу енергије, нова генерација компајлера за тензорске апликације аутоматски примењује оптимизације које искоришћавају хардверске карактеристике система. Доданто, специјалне оптимизације смањују величину неуралних мрежа, да би побољшали њихову брзину или ниво тачности помоћу техника као што су квантизација (quantization), орезивање (pruning), фино подешавање (fine tuning), или поправка (repair). Подршка за све ове особине истовремено, захтева нове програмске системе који ће аутоматизовати проверу и оптимизацију ВИ апликација.
У овом предавању приказаћемо неколико техника из нашег истраживања:

1. Верификација особина поузданости је веома активна област истраживања и модерне технике могу да верификују значајно веће ДНН-ове него раније.
   Међутим, ове технике су и даље не-ефикасне када програмери мењају тежине неурона у мрежи или поједине делове архитектуре мреже после тренинга. Када се оптимизације примене на ДНН-ове, конвенционална верификација је неефикасна јер програмери морају после сваке промене ДНН-а поново да покрену рачунски скупу верификацију од почетка. Описаћу наше системе за поузданост омогућавају инкременталну ДНН верификацију које синергистички користе технике из машинског учења, програмских језика и формалних метода.
2. Да би се побољшала ефикасност система за ВИ, бројне оптимизације се могу применити на често коришће не операторе, као што су множења матрица или конволуције. Ове оптимизације на пример мењају редослед петљи, извршавају операције у другачијем редоследу, или спајају код више оператора да би максимално искористили особине хардера. Приказаћемо примере неких оптимизација и наше нове оптимизационе системе које користе методе претраге градијентног спуста да ефикасно нађу најбоље комбинације оптимизација. Наши алгоритми релаксирају проблем претраге који је суштински дискретан у континуалан проблем на оригиналан начин и показују да је таква претрага могућа и на неуралним мрежама за визуелне задатке (ЦНН) и за обраду језика (ЛЛМ).

Коначно, осврнућемо се на будуће трендове за успостваљање поверења у вештачку интелигенцију. Остварење тог циља захтеваће креативно комбиновање теорија из математичке анализе, вероватноће и дискретне математике са ефикасним програмским системима и хардвером да одговоре сложености будућих ВИ апликација.
Стил предавања ће бити доступан студентима друге и виших година основних студија, као и мастер студентима.

Биографија. Саша Мисаиловић је ванредни професор на Школи за Computing and Data Science Универзитета Илиноис Урбана-Шемпејн и шеф катердре за Програмске језике, формалне методе и софтверско инжењерство. Основне и мастер студије завршио је на ЕТФ Београд а докторат на МИТ. Једну годину пост-докторског тренинга је провео на ЕТХ у Цириху а један сабатикал на Универзитету Тексас у Остину. До сада је објавио преко осамдесет радова на престижним конференцијама из програмских језика (PLDI, POPL, OOPSLA, ASPLOS, PPOPP, ESOP, ECOOP, CGO, SAS), софтверског инжењерства (FSE, ICSE, ISSTA, ICST), машинског учења (ICLR, MLSYS, UAI), формалних метода (CAV, ATVA, RV), рачунарске архитектуре (HPCA), и система у реалном времену (DAC, DATE, EMSOFT).