본문 바로가기

단어벡터

(2)
fasttext, word2vec, pretrained word vector 평가 인터넷에서 찾을 수 있는 한국어 fasttext 와 word2vec 의 pretrained vector 들이 얼마나 쓸만한 것인지 궁금했다. gensim KeyedVecor 에는 accuracy, evaluate_word_analogies 메소드로 그 성능을 측정해 볼 수 있다.측정을 위한 아날로기 데이터는 영문의 경우에는 gensim 패키지에 들어 있지만, 한국어는 패키지에 포함되어 있지 않고, https://github.com/SungjoonPark/KoreanWordVectors 에서 받을 수 있다. github fasttext 에 있는 fasttext wiki pretrained model, github kyubyong 에 있는 word2vec 과 fasttext pretrained model 로..
[NLP] Word2Vec 튜토리얼 - 스킵-그램 모델 Word2Vec 튜토리얼 - 스킵-그램 모델http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/ 2016 년 4 월 19 일 이 튜토리얼에서는 Word2Vec의 스킵 그램 신경망 아키텍처에 대해 다룹니다. 이 튜토리얼은 Word2Vec에 대해 일반적으로 소개하는 추상적인 통찰이 아닌, 조금 더 구체적인 내용을 살펴볼 것입니다. 특히 여기에서는 스킵 그램 신경망 모델을 다뤄 보겠습니다. 모델 스킵 그램 신경망 모델의 기본적인 개념은 사실 아주 간단합니다. 복잡해 지는 것은 세부적인 트릭과 개선사항에 대한 설명에 들어갔을 때라고 생각됩니다. 높은 수준의 직관에서부터 살펴봅시다. Word2Vec은 머신러닝의 다른 곳에서 아마 보았을 ..