Napredna fuzija operatora mašinskog učenja u tenzorskim kompajlerima za grafičke procesore

Apstrakt: Ovo predavanje će prikazati kako optimizovati performanse veštačke inteligencije (VI) pomoću tehnika programskih jezika i prevodilaca. Fuzija operatora postala je ključna optimizacija za VI, koja kombinuje više VI operatora kako bi poboljšala ponovna upotrebljivost podataka i smanjio prenos podataka iz globalne memorije. Međutim, postojeći tenzorski kompajleri imaju poteškoća sa fuzijom složenih redukcija kao što su mehanizmi pažnje (engl. attention mechanisms), koje uključuju zavisnosti prenesene kroz petlje (engl. loop-carried dependencies). 

U okviru rada će biti predstavljen Neptun (Neptune), tenzorski kompajler za naprednu fuziju operatora u sekvencama operatora redukcije. Neptun predstavlja novi pristup naprednoj fuziji operatora, koji namerno narušava pojedine postojeće zavisnosti i to kompenzuje konstruisanjem algebarskih izraza za korekciju koji omogućavaju kernelu da izračuna ispravan rezultat. Primena Neptunove napredne fuzije na običan operator pažnje generiše operatore ekvivalentne ručno pisanim FlashAttention i FlashDecoding operatorima. Na deset referentnih varijanti operatora pažnje, Neptune – polazeći od običnog koda za varijante mehanizama pažnje – nadmašuje postojeće prevodioce kao što su Triton, TVM i FlexAttention, uključujući i implementacije FlashAttention-a zasnovane na Tritonu. Na četiri različite GPU arhitekture grafičkih kartica NVIDIA i AMD, kernelski kodovi koje je generisao Neptune ostvaruju prosečno ubrzanje od 1.35× u poređenju sa sledećom najboljom alternativom, uz ubrzanje do 2.65× na Nvidia GPU-ovima i do 3.32× na AMD GPU-ovima, što demonstrira njegovu efikasnost za radna opterećenja u dubokom učenju. Naša skorašnja istraživanja pokazuju da je ova strategija pogodna i za nove Hopper i Blackwell grafičke procesore. 

Neptun je predstavljen na PLDI’26 i dostupan na linku https://doi.org/10.1145/3808298. 

Na kraju predavanja će biti predstavljene i mogućnosti za saradnju kroz  UIUC letnje prakse i izradu doktorskih disertacija.

Biografija: dr Saša Misailović je vanredni profesor na Univerzitetu Ilinois Urbana-Šempejn (University of Illinois Urbana-Champaign - UIUC), gde je počeo da radi posle doktorata na MIT-u. Njegov rad obuhvata programske jezike, kompajlere i softversko inženjerstvo. Njegovo istraživanje se bavi programskim sistemima za aplikacije u kojima su šumovi u ulaznim podacima, nepouzdana komunikacija, aproksimativno računanje i neizvesne odluke inherentne osobine. Takve aplikacije su rasprostranjene u različitim oblastima, uključujući veštačku inteligenciju, analitiku podataka, obradu multimedije i robotiku. Njegovo prethodno istraživanje pomoglo je u postavljanju osnova aproksimativnog računanja i probabilističkog programiranja.

U poslednje vreme, glavni fokus njegove grupe je razvoj inovativnih programskih sistema kako bi aplikacije koje koriste veštačku inteligenciju bile tačne, pouzdane, robusne i resursno efikasne. Ovo istraživanje kombinuje diskretne i kontinualne apstrakcije, izgrađene na osnovama diferencijabilnosti i verovatnosnog zaključivanja, i koristi ih za pronalaženje isplativih kompromisa između utroška resursa i kvaliteta rezultata. Glavni pravci njegovog rada kroz sistemsku hijerarhiju uključuju kompajlersku infrastrukturu za složene AI aplikacije, pouzdano ograničeno generisanje za velike jezičke modele (LLM), statičku analizu robusnosti AI programa, kao i sintezu i analizu softvera koji radi u neizvesnim uslovima.

Ulaz na predavanje je slobodan, uz prethodnu registraciju putem linka: https://forms.gle/MZ4NJgzFbASPVcqo8