본문 바로가기

프로그래밍/AI:ML:DL

 (35)
[gensim|fasttext] KeyError: 'all ngrams for word absent from model' gensim 의 FastText 모델을 이용하여, pretrained 된 fasttext word vector 를 이용해 보려 했다. github.com/Kyubyong 의 pretrained model 을 다운받아서, fasttext word vector 를 구하려고 해봤다. fasttext 는 word2vec 과는 달리 train 시에 없었던 단어에 대한 word vector 도 구해준다고 알고 있었기 때문에, 단어가 아닌 단어로 테스트를 해 보았다. 그런데, 에러가 발생했다. 아래를 보자. from gensim.models import FastTextmodel = FastText.load_fasttext_format('kyubyong_pretrained/fasttext/ko.bin')model.wv..
[SPACY] windows 에 spacy 설치 윈도우의 바닐라 파이썬 pip 명령으로 spacy 를 설치하려 하면, 윈도우용 바이너리가 제공되지 않고, 소스만 제공되기 때문에, 컴파일러가 없으면 설치가 되지 않는다. 두가지 방법이 있다. 파이썬 설치에 익숙한 사람들에게는 별스러운 이야기는 아니지만, spacy 예제를 찾아보면, ubuntu 환경에서 실행한 예만 나와서 윈도우 환경에선 불가능할 거라고 생각했었는데, 의외로 간단하게 설치가 되어서 포스팅을 작성. 방법1. 아나콘다( anaconda ) 배포판을 이용하여 설치.바닐라 파이썬이 아니라 아나콘다를 설치하여 아나콘다 가상환경을 만들어 설치하면 간편하게 설치된다.가상환경을 생성하고,conda create -n envspacytest생성한 가상환경을 활성화하고,activate envspacytest..
[QUORA|번역] word2vec 과 fasttext의 가장 큰 차이점은 무엇인가? https://www.quora.com/What-is-the-main-difference-between-word2vec-and-fastText word2vec 과 fasttext의 가장 중요한 차이점은 다음과 같다. word2vec은 각 단어를 (쪼개질 수 없는) 원자적 단위로 취급해서, vector 를 만든다. 이점에서 word2vec 과 glove는 동일하다. fasttext 는 본질적으로 word2vec 모델을 확장한 것이지만, 단어를 문자(character)의 ngram 조합으로 취급한다. 그래서, 한 단어에 대한 벡터는 이들 ngram 의 합으로 만들어진다. 예를 들자면, "apple" 이란 단어의 벡터는 "", "ppl", "ppple", "pple>", "ple", "ple>", "le>" ..
[TENSORFLOW] cpu버전 tensorflow 1.6 이상에서 DLL 초기화 루틴을 실행할 수 없습니다 에러. cpu버전의 tensorflow 를 윈도우 피씨(한국어 윈도우 10)에 설치해서 잘 테스트해 보고 있었다. 그런데, 오늘 tensorflow 를 다시 설치하고, 테스트 하려 하였더나, import tensorflow as tf 문에서 에러가 발생했다.에러 메시지는 대략 다음과 같았다. File "", line 994, in _gcd_import File "", line 971, in _find_and_load File "", line 955, in _find_and_load_unlocked File "", line 658, in _load_unlocked File "", line 571, in module_from_spec File "", line 922, in create_module File "", ..
[NLP] Word2Vec 튜토리얼 - 스킵-그램 모델 Word2Vec 튜토리얼 - 스킵-그램 모델http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/ 2016 년 4 월 19 일 이 튜토리얼에서는 Word2Vec의 스킵 그램 신경망 아키텍처에 대해 다룹니다. 이 튜토리얼은 Word2Vec에 대해 일반적으로 소개하는 추상적인 통찰이 아닌, 조금 더 구체적인 내용을 살펴볼 것입니다. 특히 여기에서는 스킵 그램 신경망 모델을 다뤄 보겠습니다. 모델 스킵 그램 신경망 모델의 기본적인 개념은 사실 아주 간단합니다. 복잡해 지는 것은 세부적인 트릭과 개선사항에 대한 설명에 들어갔을 때라고 생각됩니다. 높은 수준의 직관에서부터 살펴봅시다. Word2Vec은 머신러닝의 다른 곳에서 아마 보았을 ..
[GENSIM] "You must specify either total_examples or total_words, for proper job parameters updation 간단한 gensim doc2vec 코드를 실행하다가 다음과 같은 에러 메시지가 발생했다."You must specify either total_examples or total_words, for proper job parameters updation"ValueError: You must specify either total_examples or total_words, for proper job parameters updationand progress calculations. The usual value is total_examples=model.corpus_count. 실행했던 코드는, 2015년 파이콘 코리아에서 lucypark 이 발표한 슬라이드 안의 코드로 ( https://www.lucypark...
[KERAS] Live Loss Plot Live Loss Plot keras 학습(fit)과정을 주피터노트북 상에서 그래프로 보여주는 패키지. https://github.com/stared/livelossplot/blob/master/README.md 딥러닝 모델 학습을 깜깜이로 하지 마시오! 매 이포크(epoch)의 학습과정을 직접 눈으로 확인하라! 케라스, 파이토치 주피터노트북에서 실시간 학습 로쓰그래프. from livelossplot import PlotLossesKeras model.fit(X_train, Y_train, epochs=10, validation_data=(X_test, Y_test), callbacks=[PlotLossesKeras()], verbose=0) 설치 pip install livelossplot
[TensorFlow] tensorflow 1.6.0 No module named '_pywrap_tensorflow_internal' 에러 window 10, 64bit, python 3.6.3 64bit 환경에서 tensorflow (cpu) 를 새롭게 설치하여 import 하였을 때 에러가 발생했다.에러는 ModuleNotFoundError: No module named '_pywrap_tensorflow_internal' 및 ImportError: DLL load failed: DLL 초기화 루틴을 실행할 수 없습니다. 보통은 이 메시지는 visual c++ 2015 redistributable (64bit) 가 안 깔려있는 경우에 발생하였었다. 하지만, 이번에는 다른 문제였다.간략히 결론을 말하면, tensorflow cpu 1.6.0 버전에서 문제가 발생했었고, 1.5.0 버전으로 버전을 낮추어 다시 깔아 문제가 해결됐다. (문제해..

티스토리툴바