요즘들어서 블로그를 쓰는것에 게을러지고있다… 아마도 여러가지 일도 많았고.. 현실에서 이사도 하고 신경써야할것이 많아져서인것 같다. 그래도 내가 공부하면서 배운것들이나 알게된것들을 꼭 블로그에 메모해서 미래의 나에게 도움이 됐으면 좋겠다. 다시한번 잘 적어보도록… 힘내자

kafaka version 2.0.0 -kafka install url- https://kafka.apache.org/downloads 출처 : https://ko.linux-console.net/?p=381

bs만 사용하면 동적웹을 다룰수 없기 때문에 selenium을 사용하여 다음페이지로 이동 및 그때 그때해당하는 이벤트를 처리 해줘야한다. 우선, 아마존 리뷰 데이터를 가져 오는것을 목표로 할 예정이다.(프로젝트) 리뷰가 긍정, 부정으로 나줘져 있기 때문에 제일 상단 위치에 main.py를 만들고 한뎁스 들어가서 긍정(cri), 부정(pos).py 를 만들었다. 그리고 를 이용하여 main에서 실행하면 작동하게 바꾸었다. if 부분에 이제 코드를 넣는데  이런식으로  …

Read more “크롤링(bs4, selenium)”

1. 폰트를 다운 받는다.(ttf) 2. 윈도우즈에 폰트 추가한다 ( 제어판 – 모양및 개인설정 – 글꼴) * windw 10기준 3.     fig.update_layout(                      font=dict( {‘family’:’KoPubDotum’} ) # 파란색 글씨 기준으로 쓰면된다 “KoPubDotum”                     ) 4. 적용 안될시 주피터 노트북 기준 커널 종료 했다가 다시 들어와서 실행 시킬것.

1. fast api에서 307 Temporary Redirect 나온뒤 404에러 혹은 200코드가 출력됨     => custom error exception으로 만든 404에러 메세지가 출력되지 않음 2. 찾아본 결과 마지막 endpoint에 /가 있으면 자동으로 redirect를 수행 한다는점을 알게됨 2.1 나의경우 route가 많이 있었고 app의 tags 옵션을 사용하여 tag까지의 url로 post를 전송하면 위와 똑같이 304 -> 404 패턴에 걸리게 됨 …

Read more “fast api 307 Temporary Redirect #python”

토치 pip conda 막깔다가 생긴 오류들 우선 allennlp사용하려고 기존의 토치 1.6버전이 있었는데  위의 라이브러리는 pip install로 설치 해야 했다. (conda에 없었음) 그러고 보니 강제로 콘다와는 상관없이 pip에서 토치 버전을 마음대로 바꿔서 갑자기 오작동오작동을 일으켰다. 지금은 에러를 해결하여서 에러가 기억이 안남.. ㅠ흑 .. 적어놨어야하는데 그래서 pip uninstall torch하고 그리고 토치비전, 토치오디오 도 다 삭제하였고.  C:\Users\xxxx\Anaconda3\pkgs 에 …

Read more “토치 pip conda 막깔다가 생긴 오류들”

다음에 또 설치할수도 있으니깐 적어놓는 내 노트 (1). 원하는 버전을 확인한다.(토치) 나같은 경우에는 nlp라이브러리를 사용하기 위하여 1.5 이상  1.6 미만의 버전이 필요했다. 그리고 토치, 텐서, 케라스 등등을 사용할때는 gpu가 필수이므로 토치비전과 함께 콘다에 설치해주는것이 좋다. (2) 쿠다 버전확인 하기 cmd창을 열어서 cuda버전을 확인한다. nvcc –version 결과는 10.2였다. 그래서 토치비전 1.5.1과 함께 설치 하였다. (아래의 링크로 …

Read more “pytorch / torchvision 설치하기 쉽게 한방에.”