[AI] [Nvidia Clara 4] NVIDIA Triton Inference Server 進行 Client 端運作,上傳Model及操作說明(3D Slicer)

Charlie Chen (陳慶裕)
6 min readFeb 21, 2022

上一篇【[AI] [Nvidia Clara 4] NVIDIA Triton Inference Server 建置說明 (WSL2-Ubuntu 20.04)】介紹完 Server 端建置說明後,本篇將進行 Client 端實務操作,說明的流程大致分以下幾點來看:

— — — — — — — — — — — — — — — — — — — — — — —

一、上傳 Model 至 Triton Inference Server

二、下載 Client 端標記程式 (3D Slicer)

三、3D Slicer 伺服器設置 Triton Inference Server 位址

四、自動標記操作說明

— — — — — — — — — — — — — — — — — — — — — — —

一、上傳 Model 至 Triton Inference Server

Clara 訓練好的 Model 可以從 Nvidia NGC 上去做下載的動作,這邊就不再細細說明,就直接從現有的 Model 進行上傳,以下是我已經從 NGC 下載的 Model 名稱為【clara_pt_covid19_ct_lung_segmentation.zip】

再來我們確定一下 Triton Inference Server 的 Docker 是否還在運作中,執行以下指令

sudo docker ps

確認沒有問題後,就可以準備一下 Model 準備上傳,從 NGC 準備好的模型名稱『clara_pt_covid19_ct_lung_segmentation.zip』來進行上傳

先到檔案目錄下: (依自己放置位子)

接下來進行指令上傳:

curl -X PUT "127.0.0.1:5000/admin/model/clara_pt_covid19_ct_lung_segmentation" -F "data=@clara_pt_covid19_ct_lung_segmentation.zip"

若出現以上訊息代表成功,接下來我們就進行 Client 端標記實做。

二、下載 Client 端標記程式 (3D Slicer)

接下來 client 端程式,目前 Clara 官方支援二套程式為 3D Slicer、MITK,現在要說的是運用 3D Slicer 來進行自動標記作業,請先至以下網址下載安裝

https://download.slicer.org/

這邊是下載最近的版本Preview Release,原因是跟Stable Release版本相差快1年時間,兩者之間還是存在一些小落差,所以比較建議用最新版本,執行後如下畫面:

首先要先在 3D Slicer 進行安裝 AIAA 的擴充套件,從『view』-->『Extensions Manager』

出現新視窗後點選『Install Extensions』--> 搜尋套件 『NvidiaAIAssistedAnnotation』然後進行安裝。

三、3D Slicer 伺服器設置 Triton Inference Server 位址

接下來我們需要進行 Triton Inference Server 的連結設定,請點選以下圖示位址【Edit】 →【Application Settings】

再請以下紅框設定,Url為 Server 端 Triton Inference Server 的位址,如果有改變設定,也請一併改掉。

以上就大致設定好 Client 端連結 Server 端的參數,接下來就要進入自動推論

四、自動標記操作說明

首先請下載好資料集,請根據您上傳的 Model 來選擇 Dataset,以下已經有自行下載 lung 的資料集,請各位自行去搜尋。(本篇預防有任何侵權行為,將不提供資料集下載)

  1. 載入圖片

接下來就會出現圖示在 3D Slicer上

2.再來我們進行標記作業的流程

3.出現以下畫面,再進行點選【Add】和【AIAA】的圖示,然後就可以點選【Start】。(藍色框的部份需要注意一下server端位址和model的填選)

回傳成功後就會像以下的畫面,代表自動推論已經把 lung 的區域(藍色透明)標記出來,是不是很神速~完全不經人手操作標記

這篇就介紹到這邊,本篇多是以 Client 端操作為主,如果有興趣的話,可以自己進行玩看看吧!(記得上一篇【[AI] [Nvidia Clara 4] NVIDIA Triton Inference Server 建置說明 (WSL2-Ubuntu 20.04)】需要先操作完喔)

--

--