[AI] [Nvidia Clara 4] NVIDIA Triton Inference Server 建置說明 (WSL2-Ubuntu 20.04)

AI 推論工作流程

關於 Triton Inference Server 的說明可參閱一下官方的說明如下：

https://developer.nvidia.com/nvidia-triton-inference-server

https://blogs.nvidia.com.tw/2021/01/26/simplifying-and-scaling-inference-serving-with-triton-2-3/

這邊主要是說明如何快速建置 Triton Inference Server 系統，所以只用下面簡單的一句話開門見山。

Triton Inference Server 打造影像人工智慧的標記伺服器服務，目的在於自動回傳推論標記結果。

所以可想而知，在 AI 訓練過程中，最需要人力繁瑣的地方，莫過於標記圖檔的工作，所以 Triton Inference Server 等於是為 AI 標記的工作員省下很多手工的部份，也為 AI 標記邁向新的里程碑。

— — — — — — — — — — — — — — — — — — — — — — —

安裝流程如下列表：

一、安裝 Docker

二、安裝 Docker-Compose

三、安裝 Nvidia-Container-Runtime

四、安裝 PyTorch

五、安裝 MONAI

六、下載 Docker image (Clara-Train-SDK、TritonServer)

七、建置啟動 Server 端 Docker (Clara-Train-SDK、TritonServer)

— — — — — — — — — — — — — — — — — — — — — — —

Triton Inference Server 建置，開始進行安裝流程：

一、安裝Docker

1.1 需要等一陣子，並輸入root密碼

curl https://get.docker.com | sh

1.2

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)

1.3

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -

1.4

curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

1.5 更新軟件

sudo apt-get update

1.6

sudo apt-get install -y nvidia-docker2

1.7

sudo service docker stop
sudo service docker start

1.8 問題排解，在啟動docker出現下面訊息的話，再執行以下指令
>>> docker: unrecognized service

curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh
(需要等待10~20分鐘)
sudo service docker start

二、安裝Docker-Compose

2.1

sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

2.2

sudo chmod +x /usr/local/bin/docker-compose

2.3

sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

2.4

docker-compose --version

2.5

docker-compose migrate-to-labels

三、安裝 Nvidia-Container-Runtime

3.1

sudo apt-get install nvidia-container-runtime

3.2

sudo which nvidia-container-runtime-hook

四、安裝PyTorch

4.1

sudo pip3 install torch==1.10.0+cu113 torchvision==0.11.1+cu113 torchaudio==0.10.0+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html

4.2

sudo apt install net-tools

五、安裝MONAI

5.1

sudo pip install monai

5.2

sudo pip install monai-weekly

5.3

sudo pip install git+https://github.com/Project-MONAI/MONAI#egg=monai

5.4

sudo BUILD_MONAI=1 pip install git+https://github.com/Project-MONAI/MONAI#egg=monai

5.5

sudo BUILD_MONAI=1 pip install --no-build-isolation git+https://github.com/Project-MONAI/MONAI#egg=monai

六、下載 Docker image (Clara-Train-SDK、TritonServer)

6.1 pull clara-train-sdk:v4.0 image

sudo docker pull nvcr.io/nvidia/clara-train-sdk:v4.0

6.2 pull tritonserver:21.02-py3 image

sudo docker pull nvcr.io/nvidia/tritonserver:21.02-py3

七、建置啟動 Server 端 Docker (Clara-Train-SDK、TritonServer)

7.1 製作資料夾 aiaa_experiments

mkdir aiaa_experiments
sudo chmod -R 777 .
cd aiaa_experiments

7.2 參考以下網址製作二份檔案 (docker-compose.yml、docker-compose.env)，並放入 aiaa_experiments 資料夾

Getting Started — Clara Train SDK v4.0 documentation (nvidia.com)

7.3 執行以下指令

docker-compose --env-file docker-compose.env -p aiaa_triton up --remove-orphans -d

sudo docker ps

以上若有看到二個docker都已經順利執行，而這篇文章就交代好 Server 端的設置成功為止，下一篇文章主要會來說明 Client 端程式如何做到自動標記，謝謝。