본문 바로가기

분류 전체보기

 (469)
[BERT] bert-as-service server port conflict on windows bert-as-service 프로젝트를 윈도우에서 테스트해 보았다. (2019년 2월)방법은 간단하다.파이썬 가상환경을 만들고,프로젝트 소개에서 지시하는 패키지들을 깔고,pretrained bert model 을 다운받아 로컬폴더에 풀고,가상환경 script 폴더의 bert-serving-start 를 적당한 인자를 주어 실행한다. 그런데, 이 과정에서 에러가 발생하며 서버가 실행되지 않아 고생을 조금 했다. (결국에는 성공함.) 에러메시지는 다음과 같다. C:\PythonEnv\bertsvc3664\Scripts>bert-serving-start.exe -model_dir c:\BertModels\multi_cased_L-12_H-768_A-12 -num_worker=2 usage: C:\PythonE..
PIP 수동으로 설치하기 참고 : https://github.com/pypa/pip/issues/2351#issuecomment-69994524 pip 를 업그레이드 설치하다가 pip 명령이 들지 않는 문제가 발생했다. 윈도우 환경에서는 pip 를 업데이트할 때, python -m pip install -U pip로 명령을 주지 않고, pip install -U pip 로 명령을 주었을 때, 자신을 삭제하고 업데이트된 버전의 설치는 진행하지 않고 끝내면서, pip 가 지워지는 사태가 가끔 발생하는 것 같다. (리눅스 환경에선 문제가 없음.) (aigpu3664) D:\Temp> pip list Traceback (most recent call last): File "D:\Python3664\lib\runpy.py", line 1..
[번역|StackOverflow|Mysql] mysqldump with INSERT ... ON DUPLICATE mysqldump with INSERT ... ON DUPLICATEhttps://dba.stackexchange.com/questions/5033/mysqldump-with-insert-on-duplicate 데이터베이스를 다른 데이터베이스로 합치고 싶다. 그래서, mysqldump 를 이용해 덤프를 만들었고, 다른 데이터베이스로 import 했다. (테이블 구조는 동일하다.) 이런 방식으로 하면 (중복데이터 등과 같은) 문제는 아직까지는 없다. [번역생략] mysqldump 를 생성하면서, ON DUPLICATE 옵션을 같이 넣을 수 있나? 아니면, 덤프를 합치면서, 새로운 데이터는 insert 하고, 변경된 데이터는 update 하는 방법이 있나? 물론, ON DUPLICATE 문을 덤프에 수동으로..
[Konlpy|Mecab] Ubuntu 에서 Mecab-ko를 설치했으나, Mecab이 설치되었는지를 다시 묻는다. Mecab 형태소 분석기를 이용해 보기 위해서, Ubuntu 환경에서 konlpy 와 Mecab-ko 설치를 진행해 보았다. http://konlpy.org/ko/latest/install/ 의 가이드를 따라 mecab 설치까지 진행하였으나, mecab 은 구동되지만, Mecab 클래스 인스턴스를 만드는 부분에서 mecab 설치가 안 되었다는 에러가 발생했다. 환경은 Ubuntu 18.x 이고, 다른 파이썬 패키지와의 꼬임을 방지하기 위해서, python3 venv 를 이용해 가상환경(virtual env)를 따로 만들어 진행했다. 문제는 가이드에서 제공하는 스크립트는 가상환경에 대한 고려가 되어 있지 않았기 때문에, 가상환경에 수동으로 추가적으로 패키지를 깔아주어야 했던 것이다. 진행한 순서는 다음과 ..
[Python|Numpy|Matplotlib] 푸리에 시리즈 사각파 10년전 포스팅에 C로 사각파 푸리에 시리즈를 구현한 것이 있었다. 이걸 파이썬, numpy, matplotlib 를 이용해 다시 구현해 본다. import numpy as np import matplotlib.pyplot as plt def F(n, X): """ 1 F (t) = ------- sin ( (2n+1) t ) n 2n + 1 """ return np.sin((2*n+1)*X)/(2*n+1) def RectWave(n, X): """ n Sigma F (t) k=1 """ y = np.zeros(X.shape) for k in range(n+1): y = F(k, X) + y return y X = np.linspace(-5, 5, 1000) for i in (1, 5, 50, 100):..
VBox, Ubuntu 공유폴더 설정하였지만, 권한문제로 파일을 볼 수 없을 때 windows 10 위의 VirtualBox 에 ubuntu 를 설치하여 사용하였다. windows 호스트와 파일을 공유하기 위해 virtualbox 의 공유폴더 설정을 하였다. 하지만 공유폴더를 접근하지 못했다. 이에 대해 검색하여 다음과 같은 해법을 찾았다. https://unix.stackexchange.com/questions/52667/file-permission-issues-with-shared-folders-under-virtual-box-ubuntu-guest-wind 파일 접근권한을 얻는 일반적인 방법은 VirtualBox 로 공유폴더를 자동마운트시키고, (그렇게 하면 /media/sh_디렉토리명 으로 보일 것) 사용하는 우분투 사용자를 vboxsf 그룹에 추가하는 것입니다. (명령은 루..
[Python] 이항분포 그래프 그리기 import sys from functools import lru_cache import math import numpy as np import matplotlib.pyplot as plt @lru_cache(None) def ncr(n, r): """조합. 재귀식을 이용함. n이 커지면 스택오버플로우 발생. """ if r in (0, n): return 1 return ncr(n - 1, r) + ncr(n - 1, r - 1) def bidist(n, p): """이항분포""" q = 1 - p dist = np.array([ncr(n, k) * (p ** k) * (q ** (n - k)) for k in range(n + 1)]) return dist def bicoeff(n): """이항계수...
[Python] pandas read_csv issue regarding non-ascii filename (textanal3664) D:\Users\daewon\Downloads\crime>python ana.pyTraceback (most recent call last): File "ana.py", line 5, in df = pd.read_csv('2000년.csv', encoding='euc-kr') File "D:\PythonEnvs\textanal3664\lib\site-packages\pandas\io\parsers.py", line 678, in parser_f return _read(filepath_or_buffer, kwds) File "D:\PythonEnvs\textanal3664\lib\site-packages\pandas\io\parsers.py", line 440, in _read ..

티스토리툴바