S/W Develop하면서 생기는 모든 카테고리들
triton inference server를 사용해보자 https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver 트리톤 서버에 대해서 문서를 참조하면 좋을것 같다. 사용에 맞는 도커 컨테이너 뿐만 아니라 헬름차트토 함께 배포 한다. Triton 추론 서버란 무엇인가요? Triton Inference Server는 CPU와 GPU에 최적화된 클라우드 및 에지 추론 솔루션을 제공합니다. Triton은 원격 클라이언트가 서버에서 관리하는 모든 모델에 대한 추론을 요청할 수 있도록 하는 HTTP/REST 및 GRPC 프로토콜을 …
윈도우즈 도커로 도커 환경에서 빌드를 할때 이미지를 계속 도커 허브에서 가져오게 되거나 혹은 나중에 폐쇄망에서 도커 이미지를 가져와야될 경우 등이 생기면서, 도커 레포지토리를 구축하게 되었다. 넥서스환경에 도커 레포지토리를 구축했다. 이에 따라 윈도우즈에서 넥서스에 구축된 도커 레포지토리를 바라보면서 이미지를 pull/push하는 환경을 설정하게 됐다. 이미 도커를 사용하고 있다고 가정하고 작성하겠습니다. 도커 공식 홈페이지의 글을보니 자세히 나와있었다. 하지만 …
파이썬으로 데이터분석, 머신러닝, 딥러닝등 코딩을 하려면 여러가지 개발환경이 있지만 그 중에서 가장 많이 사용하는 환경은 jupyter notebook 환경이라고 생각한다. 그럼 다양한 가상환경을 만들수 있는 아나콘다를 활용하여 가상환경을 만들고, 주피터 노트북을 설치하여 나만의 개발환경을 만들어 보자. 1. 아나콘다 설치 anaconda라고 구글에 치면 아나콘다 사이트가 나온다. https://www.anaconda.com/ 여기서 우측 위에 있는 다운로드를 클릭하여 다운로드를 들어가서 운영체제에 맞는 …
구성설정 모든 구성설정에는 5가지로 나뉜다. 이렇게 숫자로 표현해서 쓰니 뭔가 옛날에 데이터 분석 공부할때 데이터 분석방법론 같다는 생각이 갑자기 든다. 아무튼 구성설정을 설정 해야한다. 1. 환경설정(Environment Settings) 2. 데이터 설정 recbole에서는 데이터설정을 위해 recbole에 맞는 데이터셋을 만들어야한다. 데이터셋 만들기는 뒤에서 차근차근 또 살펴볼 예정이다. 환경설정, 데이터만 했는데 많은 글이 나와서. 이 뒤의 설정부분은 한번 끊고 …
Recbole이란? https://recbole.io/docs/index.html 추천시스템을 공부하고 알고리즘을 찾아보다보니 자연스럽게 Recbole이라는곳으로 도착하게 됐다. 간단하게 말해 유명한 추천시스템 알고리즘들이 모여있는 오픈소스 프레임워크이다. 나도 머신러닝, 딥러닝 프레임워크를 만드는 프로젝트를 했을때 고려해야할부분들이, 요구사항들이 많았고, 코어부분만 만드는데도 시간과 많은 정성이 들어갔는데, 이 라이브러리를 보면서 그때의 생각이 났다. 성능이 좋다 안좋다를 떠나서, 간단하게 각 알고리즘들을 구현해 볼수 있어서 개발 전 단계라던지, 알고리즘을 찾아보는단계에서 …
버전 hive 3.1.2 mariadb 10.3.xx mysql-connector-java 8.0.26 java : jdk 8(1.8.0) hadoop.3.1.1 java, hadoop은 앞서 적어논 게시글을 따라왔다면 깔려있다. 이제 hive를 올려볼 차례다 그전에 앞서 mariadb 다운로드하기 출처 https://zetawiki.com/wiki/CentOS7_MariaDB_%EC%84%A4%EC%B9%98 hive 설치 https://dlcdn.apache.org/hive/ 버전 맞게 -> bin 링크 따오기 조회되면 exit <mysql 커넥터 설치하기 !> 1. 버전확인하기 https://dev.mysql.com/doc/connector-j/5.1/en/connector-j-versions.html 2. 다운받기 https://downloads.mysql.com/archives/c-j/ /눌린뒤 name복사해서 붙혀넣기 한 뒤 …
실습만을 위해서 데이터노드 0으로 만들예정입니다. centos 다운받기 필요한 버전등 선택하셔서 다운 받으시면 됩니다. # 버츄얼머신 -> Centos7.9 # SSH -> movaxterm 하둡다운링크 환경변수 설정해주기
미니콘다를 설치하기 전 원래 아나콘다를 사용 했었다. 왜 설치하냐면 2020년 9월 아나콘다는 서비스 약관을 변경하여 200명 이상의 직원이 있는 기업 또는 정부 조직이 Anaconda Repository를 사용하는 경우 유료로 구매하게 하였다. 그래서 200명이 넘어가는 기업에 종사하고있는 환경이면 미니콘다를 설치하여야 한다. 그래서 앞으로는 미니콘다를 더 많이 사용하게 될수도 있다고 생각이 들어서 미니콘다를 설치하고 미니콘다 환경에 조금씩 더 …
Read more “0. 간단죽죽이 미니콘다 바로 설치 하기 / miniconda install 왜 필요하나?”
최근에 워드프레스 블로그에 이미지를 업로드하던 중, 이미지 픽셀 초과로 인해 업로드가 실패하는 문제가 발생했습니다. 해당 오류 메시지는 다음과 같았습니다. [error] 이 문제를 해결하기 위해선 서버의 nginx 설정을 수정해야 했습니다. 여기서는 그 해결 과정과 함께 각 설정값의 의미를 자세히 살펴보겠습니다. 1. 문제 원인 이미지 업로드에 실패한 이유는 주로 이미지의 크기가 서버가 처리할 수 있는 픽셀 수를 …
crontab을 활용한 시작시 파일 실행, 버츄얼박스를 통하여 쿠버네티스 환경 및 쿠베플로우환경을 만들었다. 가끔 서버를 껐다 키게되는데, 그럴때마다 그에 필요한 정보들을 재 시작하는게 너무 비 효율적이었다. Shell파일 생성 #!/bin/bash를 적어주어 bash에서 아래의 명령들을 실행한다. 괄호를 해줘서 실행후 실행완료 커맨드에서 벗어난다.
