1. triton inference server 설치 및 테스트

triton inference server를 사용해보자 https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver 트리톤 서버에 대해서 문서를 참조하면 좋을것 같다. 사용에 맞는 도커 컨테이너 뿐만 아니라 헬름차트토 함께 배포 한다. Triton 추론 서버란 무엇인가요? Triton Inference Server는 CPU와 GPU에 최적화된 클라우드 및 에지 추론 솔루션을 제공합니다. Triton은 원격 클라이언트가 서버에서 관리하는 모든 모델에 대한 추론을 요청할 수 있도록 하는 HTTP/REST 및 GRPC 프로토콜을 …

도커 데몬 설정 ( 윈도우즈 도커)

윈도우즈 도커로 도커 환경에서 빌드를 할때 이미지를 계속 도커 허브에서 가져오게 되거나 혹은 나중에 폐쇄망에서 도커 이미지를 가져와야될 경우 등이 생기면서, 도커 레포지토리를 구축하게 되었다. 넥서스환경에 도커 레포지토리를 구축했다. 이에 따라 윈도우즈에서 넥서스에 구축된 도커 레포지토리를 바라보면서 이미지를 pull/push하는 환경을 설정하게 됐다. 이미 도커를 사용하고 있다고 가정하고 작성하겠습니다. 도커 공식 홈페이지의 글을보니 자세히 나와있었다. 하지만 …

Anaconda 설치 및 Jupyter notebook 사용

파이썬으로 데이터분석, 머신러닝, 딥러닝등 코딩을 하려면 여러가지 개발환경이 있지만 그 중에서 가장 많이 사용하는 환경은 jupyter notebook 환경이라고 생각한다. 그럼 다양한 가상환경을 만들수 있는 아나콘다를 활용하여 가상환경을 만들고, 주피터 노트북을 설치하여 나만의 개발환경을 만들어 보자. 1. 아나콘다 설치 anaconda라고 구글에 치면 아나콘다 사이트가 나온다. https://www.anaconda.com/ 여기서 우측 위에 있는 다운로드를 클릭하여 다운로드를 들어가서 운영체제에 맞는 …

Recbole 입력 파라미터 알아보기 [추천시스템 라이브러리]

구성설정 모든 구성설정에는 5가지로 나뉜다. 이렇게 숫자로 표현해서 쓰니 뭔가 옛날에 데이터 분석 공부할때 데이터 분석방법론 같다는 생각이 갑자기 든다. 아무튼 구성설정을 설정 해야한다. 1. 환경설정(Environment Settings) 2. 데이터 설정 recbole에서는 데이터설정을 위해 recbole에 맞는 데이터셋을 만들어야한다. 데이터셋 만들기는 뒤에서 차근차근 또 살펴볼 예정이다. 환경설정, 데이터만 했는데 많은 글이 나와서. 이 뒤의 설정부분은 한번 끊고 …

추천시스템 프레임워크 Recbole 사용하기, 사용법 정리하기

Recbole이란? https://recbole.io/docs/index.html 추천시스템을 공부하고 알고리즘을 찾아보다보니 자연스럽게 Recbole이라는곳으로 도착하게 됐다. 간단하게 말해 유명한 추천시스템 알고리즘들이 모여있는 오픈소스 프레임워크이다. 나도 머신러닝, 딥러닝 프레임워크를 만드는 프로젝트를 했을때 고려해야할부분들이, 요구사항들이 많았고, 코어부분만 만드는데도 시간과 많은 정성이 들어갔는데, 이 라이브러리를 보면서 그때의 생각이 났다. 성능이 좋다 안좋다를 떠나서, 간단하게 각 알고리즘들을 구현해 볼수 있어서 개발 전 단계라던지, 알고리즘을 찾아보는단계에서 …

다시 블로그를 잘 써보자 주절주절

요즘들어서 블로그를 쓰는것에 게을러지고있다… 아마도 여러가지 일도 많았고.. 현실에서 이사도 하고 신경써야할것이 많아져서인것 같다. 그래도 내가 공부하면서 배운것들이나 알게된것들을 꼭 블로그에 메모해서 미래의 나에게 도움이 됐으면 좋겠다. 다시한번 잘 적어보도록… 힘내자

kafka 설치/

kafaka version 2.0.0 -kafka install url- https://kafka.apache.org/downloads 출처 : https://ko.linux-console.net/?p=381

크롤링(bs4, selenium)

bs만 사용하면 동적웹을 다룰수 없기 때문에 selenium을 사용하여 다음페이지로 이동 및 그때 그때해당하는 이벤트를 처리 해줘야한다. 우선, 아마존 리뷰 데이터를 가져 오는것을 목표로 할 예정이다.(프로젝트) 리뷰가 긍정, 부정으로 나줘져 있기 때문에 제일 상단 위치에 main.py를 만들고 한뎁스 들어가서 긍정(cri), 부정(pos).py 를 만들었다. 그리고 를 이용하여 main에서 실행하면 작동하게 바꾸었다. if 부분에 이제 코드를 넣는데  이런식으로  …

hive설치하기 /hive3.1.2/centos7/실습용 간단히

버전 hive 3.1.2 mariadb 10.3.xx mysql-connector-java 8.0.26 java : jdk 8(1.8.0) hadoop.3.1.1 java, hadoop은 앞서 적어논 게시글을 따라왔다면 깔려있다. 이제 hive를 올려볼 차례다 그전에 앞서 mariadb 다운로드하기  출처  https://zetawiki.com/wiki/CentOS7_MariaDB_%EC%84%A4%EC%B9%98 hive 설치 https://dlcdn.apache.org/hive/ 버전 맞게 -> bin 링크 따오기 조회되면 exit <mysql 커넥터 설치하기 !> 1. 버전확인하기 https://dev.mysql.com/doc/connector-j/5.1/en/connector-j-versions.html 2. 다운받기 https://downloads.mysql.com/archives/c-j/ /눌린뒤 name복사해서 붙혀넣기 한 뒤 …

plotly custom font set / 플롯틀리 개인 글꼴 변경하기 / TTF파일

1. 폰트를 다운 받는다.(ttf) 2. 윈도우즈에 폰트 추가한다 ( 제어판 – 모양및 개인설정 – 글꼴) * windw 10기준 3.     fig.update_layout(                      font=dict( {‘family’:’KoPubDotum’} ) # 파란색 글씨 기준으로 쓰면된다 “KoPubDotum”                     ) 4. 적용 안될시 주피터 노트북 기준 커널 종료 했다가 다시 들어와서 실행 시킬것.