GNNSched:面向GPU的圖神經(jīng)網(wǎng)絡(luò)推理任務(wù)調(diào)度框架

摘要： 由于頻繁的顯存訪問(wèn)，圖神經(jīng)網(wǎng)絡(luò)GNN在GPU上運(yùn)行時(shí)往往資源利用率較低?，F(xiàn)有的推理框架由于沒(méi)有考慮GNN輸入的不規(guī)則性，直接適用到GNN進(jìn)行推理任務(wù)共置時(shí)可能會(huì)超出顯存容量導(dǎo)致任務(wù)失敗。對(duì)于GNN推理任務(wù)，需要根據(jù)其輸入特點(diǎn)預(yù)先分析并發(fā)任務(wù)的顯存占用情況，以確保并發(fā)任務(wù)在GPU上的成功共置。此外，多租戶場(chǎng)景提交的推理任務(wù)亟需靈活的調(diào)度策略，以滿足并發(fā)推理任務(wù)的服務(wù)質(zhì)量要求。為了... （共11頁(yè)）