HermesFlow: 멀티모달 모델의 이해와 생성 성능 차이를 줄이는 방법 HermesFlow: 멀티모달 모델의 이해와 생성 성능 차이를 줄이는 방법 이 글에서는 HermesFlow라는 새로운 프레임워크를 통해, 멀티모달 모델(MLLM)에서 자주 발생하는 “이해 능력과 생성 능력 간의 격차” 문제를 어떻게 해결할 수 있는지 자세히 살펴보겠습니다. 최근의 인공지능은 텍스트, 이미지, 영상 등 다양한 형태의 데이터를 동시에 처리할 수 있는 멀티모달 …
ReLearn: LLM 학습 제거 기술 분석 ReLearn: LLM 학습 제거 기술 분석 최근 대형 언어 모델(LLM)이 방대한 데이터를 학습하면서, 특정 정보를 제거해야 하는 필요성이 대두되고 있습니다. 예를 들어, 개인 정보 보호, 저작권 준수, 보안 유지 등의 이유로 특정 데이터를 잊도록 만드는 기법이 점차 필수적으로 자리 잡고 있는데요. 단순히 데이터를 수집하고 활용하는 단계를 넘어, 더 이상 …
ZeroBench: 최신 멀티모달 모델이 풀 수 없는 벤치마크 ZeroBench: 최신 멀티모달 모델이 풀 수 없는 벤치마크 최근 대형 멀티모달 모델(LMM)은 언어 및 이미지 이해 능력이 빠르게 발전하고 있지만, 시각적 추론에서는 여전히 한계를 보이고 있습니다. 이런 한계를 보다 명확하게 평가하기 위해 등장한 것이 바로 ZeroBench입니다. ZeroBench란 무엇인가? ZeroBench는 기존의 시각적 벤치마크들이 빠르게 모델 발전에 의해 무력화되는 …
최근 Deepseek모델 발표후 모델의 성능과 관련하여 큰 파장이 있었다. 그와 관련하여 대중적으로 사용하는 평가지표들을 확인 해 보자! 평가지표에는 아래와 같이 다양한 사항들이 있다. 출처 : https://huggingface.co/deepseek-ai/DeepSeek-R1 Category Benchmark (Metric) Claude-3.5-Sonnet-1022 GPT-4o 0513 DeepSeek V3 OpenAI o1-mini OpenAI o1-1217 DeepSeek R1 Architecture – – MoE – – MoE # Activated Params – – 37B – – …
triton inference server를 사용해보자 https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver 트리톤 서버에 대해서 문서를 참조하면 좋을것 같다. 사용에 맞는 도커 컨테이너 뿐만 아니라 헬름차트토 함께 배포 한다. Triton 추론 서버란 무엇인가요? Triton Inference Server는 CPU와 GPU에 최적화된 클라우드 및 에지 추론 솔루션을 제공합니다. Triton은 원격 클라이언트가 서버에서 관리하는 모든 모델에 대한 추론을 요청할 수 있도록 하는 HTTP/REST 및 GRPC 프로토콜을 …
