프로그래밍/AI:ML:DL (35) 썸네일형 리스트형 따릉이 신규사용자 시계열 분석 ( 2018년 6월 70대이상 사용자수의 이상치) [Colab] TPU 사용 훈련시 에러. ValueError: Operation 'tpu_140644740262992/VarIsInitializedOp' has been marked as not fetchable. google colab 을 이용하면, 비싼 GPU 머신을 구입하지 않고, 구글이 너그럽게 제공해 주는 GPU와 TPU를 이용하여 간단한 훈련을 할 수 있다. 간단한 이미지분류모델을 케라스로 작성하여, colab 에서 실행해 보았는데, 노트북에서 실행한다는 제약이 있지만, 아주 만족스러웠다. GPU로 실행하는 것은 코드 변경도 필요없이 실행환경 런타임에서 GPU만 선택하면 됐다. 하지만 실행환경을 TPU로 선택하는 것만으로 TPU를 활용할 수는 없었다. TPU를 사용하기 위해선 코드를 조금 변경하여야 한다. (자세한 내용을 변경될 수도 있고, colab에서 제공하는 예제 노트북에 너무 잘 나와있으므로 생략.) 환경변수를 확인하고, 만들어진 케라스모델을 keras_to_tpu_model 함수를 이용하여 tp.. Prophet plot 그래프 설명 prophet plot 그래프 설명 https://mikulskibartosz.name/prophet-plot-explained-31df79087e24 Bartosz Mikulski 2018-11-14 Prophet 이 만들어낸 플롯을 보고 당황했다. 문서에서 설명을 찾아봤지만 없었다. 구글링을 해도, 스택오버플로우에서조차 설명을 찾을 수 없었다. 이해하기를 포기하거나, 아니면, 소스코드를 파보는 두가지 방법 밖에 없었다. 다행히도 prophet 의 plot 함수 소스코드를 보니, 모든 것이 명확해졌다. 예제 문서를 보면, 위키백과의 Peyton Manninng 페이지의 일간 페이지뷰 로그를 입력데이터로 사용한다. 첫번째 단계로, 데이터셋을 다운로드하고, 라인플롯으로 플로팅해 보았다. import fbp.. [Python|Prophet] fbprophet 윈도우에 설치하기 알림 : 2021년 5월 이름이 바뀐 prophet 패키지에서도 유사한 에러가 발생하며, 같은 방식으로 문제 해결이 가능합니다. Anaconda 를 이용한 설치. 매우 간단한 방법은 Anaconda 에서 conda install 을 통해 설치하는 것이다. fbprophet 은 conda-forge 채널에 있으므로, 해당 채널을 인스톨명령에서 지정하여 설치한다. conda install -c conda-forge fbprophet Anaconda가 아닌 바닐라 파이썬에서 설치. Anaconda 가 아닌 바닐라 파이썬 에 pip 명령으로 설치하고자 할 때는, 종속된 pystan 패키지 설치 때문에 매우 고달프다. 어쨌든 가장 간단해 보이는 방법을 소개한다. 성공한 파이썬의 버전은 3.6 64비트 이고, 3... [GENSIM] LDA 주제 분포 기준 문서간 유사도를 비교하는 방법 google gensim 그룹스에 How to compare the topical similarity between two documents fromo their LDA topic distributions? 란 질문이 올라왔음. 그 타래 중에 일부를 번역한다. 코사인 유사도 보다 쿨백-라이블러( kullback-leiber divergence )가 더 적절할지 모른다. - Victor Wang gensim 튜토리얼에 따르면, Kullback-Leibler divergence 가 코사인 유사도 보다 더 적절한 유사도이다. https://radimrehurek.com/gensim/tut3.html "코사인 유사도는 벡터스페이스모델에서의 표준적인 방식이지만, 벡터가 확률분포를 나타낼 때에는 다른 유사도 측정방.. windows 에서 pytorch / autokeras 설치하기 2019-03-26 포스팅최초작성 : pytorch 나 autokeras 등은 버전이 바뀌면서 설치방법이 바뀔 수 있기 때문에, 본 포스팅을 보는 시점이 작성시점과 너무 차이가 난다면, 다른 방법을 검색하십시오. 2019-07-09 버전변경에 따른 주의사항 : 현재 최신버전인 autokeras 4.0.0 버전에서는 torch 디펜던시 버전이 1.0.1.post2 로 바뀌면서, 윈도우에서의 설치는 불가능한 것으로 보입니다. 아래 lay님과의 댓글을 참조. 본 포스팅의 내용을 따라해 보려면, pip install "autokeras [BERT] bert-as-service server port conflict on windows bert-as-service 프로젝트를 윈도우에서 테스트해 보았다. (2019년 2월)방법은 간단하다.파이썬 가상환경을 만들고,프로젝트 소개에서 지시하는 패키지들을 깔고,pretrained bert model 을 다운받아 로컬폴더에 풀고,가상환경 script 폴더의 bert-serving-start 를 적당한 인자를 주어 실행한다. 그런데, 이 과정에서 에러가 발생하며 서버가 실행되지 않아 고생을 조금 했다. (결국에는 성공함.) 에러메시지는 다음과 같다. C:\PythonEnv\bertsvc3664\Scripts>bert-serving-start.exe -model_dir c:\BertModels\multi_cased_L-12_H-768_A-12 -num_worker=2 usage: C:\PythonE.. fasttext, word2vec, pretrained word vector 평가 인터넷에서 찾을 수 있는 한국어 fasttext 와 word2vec 의 pretrained vector 들이 얼마나 쓸만한 것인지 궁금했다. gensim KeyedVecor 에는 accuracy, evaluate_word_analogies 메소드로 그 성능을 측정해 볼 수 있다.측정을 위한 아날로기 데이터는 영문의 경우에는 gensim 패키지에 들어 있지만, 한국어는 패키지에 포함되어 있지 않고, https://github.com/SungjoonPark/KoreanWordVectors 에서 받을 수 있다. github fasttext 에 있는 fasttext wiki pretrained model, github kyubyong 에 있는 word2vec 과 fasttext pretrained model 로.. 이전 1 2 3 4 5 다음
