Напредна фузија оператора машинског учења у тензорским компајлерима за графичке процесоре

Апстракт: Ово предавање ће приказати како оптимизовати перформансе вештачке интелигенције (ВИ) помоћу техника програмских језика и преводилаца. Фузија оператора постала је кључна оптимизација за ВИ, која комбинује више ВИ оператора како би побољшала поновна употребљивост података и смањио пренос података из глобалне меморије. Међутим, постојећи тензорски компајлери имају потешкоћа са фузијом сложених редукција као што су механизми пажње (енгл. attention mechanisms), које укључују зависности пренесене кроз петље (енгл. loop-carried dependencies). 

У оквиру рада ће бити представљен Нептун (Neptune), тензорски компајлер за напредну фузију оператора у секвенцама оператора редукције. Нептун представља нови приступ напредној фузији оператора, који намерно нарушава поједине постојеће зависности и то компензује конструисањем алгебарских израза за корекцију који омогућавају кернелу да израчуна исправан резултат. Примена Нептунове напредне фузије на обичан оператор пажње генерише операторе еквивалентне ручно писаним FlashAttention и FlashDecoding операторима. На десет референтних варијанти оператора пажње, Neptune – полазећи од обичног кода за варијанте механизама пажње – надмашује постојеће преводиоце као што су Triton, TVM и FlexAttention, укључујући и имплементације FlashAttention-а засноване на Тритону. На четири различите GPU архитектуре графичких картица NVIDIA и AMD, кернелски кодови које је генерисао Neptune остварују просечно убрзање од 1.35× у поређењу са следећом најбољом алтернативом, уз убрзање до 2.65× на Nvidia GPU-овима и до 3.32× на AMD GPU-овима, што демонстрира његову ефикасност за радна оптерећења у дубоком учењу. Наша скорашња истраживања показују да је ова стратегија погодна и за нове Hopper и Blackwell графичке процесоре. 

Нептун је представљен на PLDI’26 и доступан на линку https://doi.org/10.1145/3808298. 

На крају предавања ће бити представљене и могућности за сарадњу кроз  UIUC летње праксе и израду докторских дисертација.

Биографија: др Саша Мисаиловић је ванредни професор на Универзитету Илиноис Урбана-Шемпејн (University of Illinois Urbana-Champaign - UIUC), где је почео да ради после доктората на МИТ-у. Његов рад обухвата програмске језике, компајлере и софтверско инжењерство. Његово истраживање се бави програмским системима за апликације у којима су шумови у улазним подацима, непоуздана комуникација, апроксимативно рачунање и неизвесне одлуке инхерентне особине. Такве апликације су распрострањене у различитим областима, укључујући вештачку интелигенцију, аналитику података, обраду мултимедије и роботику. Његово претходно истраживање помогло је у постављању основа апроксимативног рачунања и пробабилистичког програмирања.

У последње време, главни фокус његове групе је развој иновативних програмских система како би апликације које користе вештачку интелигенцију биле тачне, поуздане, робусне и ресурсно ефикасне. Ово истраживање комбинује дискретне и континуалне апстракције, изграђене на основама диференцијабилности и вероватносног закључивања, и користи их за проналажење исплативих компромиса између утрошка ресурса и квалитета резултата. Главни правци његовог рада кроз системску хијерархију укључују компајлерску инфраструктуру за сложене AI апликације, поуздано ограничено генерисање за велике језичке моделе (LLM), статичку анализу робусности AI програма, као и синтезу и анализу софтвера који ради у неизвесним условима.

Улаз на предавање је слободан, уз претходну регистрацију путем линка: https://forms.gle/MZ4NJgzFbASPVcqo8