본문 바로가기

자연어처리

(4)
[Python|LexRankr] 한국어 문서 요약 lexrankr 이라는 문서요약 패키지를 테스트 해 보았음. ( https://github.com/theeluwin/lexrankr ) 실행해 본 코드는 패키지 홈페이지의 예제코드이므로 별다를 것이 없다. 과거에는 설치시에 konlpy 를 설치해야 하고, scipy 와 numpy 설치에도 까다로운 부분이 있었기 때문에 윈도우에서는 약간 번거로운 점이 있었다. 하지만, 2019년 현재는 konlpy 설치는 konlpy 설치 가이드를 잘 따라하면 큰 무리가 없다. 자바sdk, 자바 홈 변수 설정 정도만 잘 신경쓰면 되고, jpype1 을 수동으로 설치할 필요가 없음. jpypye1 패키지도 pypi 에 윈도우용 바이너리가 잘 올라가 있음. lexrankr 의 설치시 jpype1-py3 충돌문제 (2019년 ..
[BERT] bert-as-service server port conflict on windows bert-as-service 프로젝트를 윈도우에서 테스트해 보았다. (2019년 2월)방법은 간단하다.파이썬 가상환경을 만들고,프로젝트 소개에서 지시하는 패키지들을 깔고,pretrained bert model 을 다운받아 로컬폴더에 풀고,가상환경 script 폴더의 bert-serving-start 를 적당한 인자를 주어 실행한다. 그런데, 이 과정에서 에러가 발생하며 서버가 실행되지 않아 고생을 조금 했다. (결국에는 성공함.) 에러메시지는 다음과 같다. C:\PythonEnv\bertsvc3664\Scripts>bert-serving-start.exe -model_dir c:\BertModels\multi_cased_L-12_H-768_A-12 -num_worker=2 usage: C:\PythonE..
[SPACY] windows 에 spacy 설치 윈도우의 바닐라 파이썬 pip 명령으로 spacy 를 설치하려 하면, 윈도우용 바이너리가 제공되지 않고, 소스만 제공되기 때문에, 컴파일러가 없으면 설치가 되지 않는다. 두가지 방법이 있다. 파이썬 설치에 익숙한 사람들에게는 별스러운 이야기는 아니지만, spacy 예제를 찾아보면, ubuntu 환경에서 실행한 예만 나와서 윈도우 환경에선 불가능할 거라고 생각했었는데, 의외로 간단하게 설치가 되어서 포스팅을 작성. 방법1. 아나콘다( anaconda ) 배포판을 이용하여 설치.바닐라 파이썬이 아니라 아나콘다를 설치하여 아나콘다 가상환경을 만들어 설치하면 간편하게 설치된다.가상환경을 생성하고,conda create -n envspacytest생성한 가상환경을 활성화하고,activate envspacytest..
[PYTHON|KONLPY] Konlpy 설치시 문제점. 2016년 7월에 windows (8.1, 64bit) / python 3.5.1 64비트 환경에서 Konlpy 패키지를 설치하면서 발생했던 문제점들. http://konlpy.org/ko/v0.4.4/install/#id2 의 설치지침을 따라함. JAVA JDK 설치 java jdk 1.8 이 이미 설치되어 있었음. JPype1 설치 JPype1-0.6.1-cp35-none-win_amd64.whl 을 내려받아서 pip 로 설치함 pip install jpype1-0.6.1-cp35-none-win_amd64.whl whl 파일명에서 cp35 는 Python 3.5용 이라는 뜻이고, amd64 부분은 64비트 Python용 이라는 뜻이다. konlpy 설치 pip install konlpy 명령으로 설..