1. triton inference server 설치 및 테스트
triton inference server를 사용해보자 https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver 트리톤 서버에 대해서 문서를 참조하면 좋을것 같다. 사용에 맞는 도커 컨테이너 뿐만 아니라 헬름차트토 함께 배포 한다. Triton 추론 서버란 무엇인가요? Triton Inference Server는 CPU와 GPU에 최적화된 클라우드 및 에지 추론 솔루션을 제공합니다. Triton은 원격 클라이언트가 서버에서 관리하는 모든 모델에 대한 추론을 요청할 수 있도록 하는 HTTP/REST 및 GRPC 프로토콜을 …