본문 바로가기
[Python|Jupyter] ipywidgets 관련링크 https://github.com/jupyter-widgets/ipywidgets https://towardsdatascience.com/interactive-controls-for-jupyter-notebooks-f5c94829aee6?fbclid=IwAR3NkHUejJai2-F3GM5J_W6CsGIHFU_fF7RpjxhTrLdrVSPtNYvZ6y587Oc https://www.youtube.com/watch?v=SN0Bflf14C4
[Python|Jupyter] 노트북(.ipynb)을 nbconvert 로 html 로 변환하다 UnicodeDecodeError 가 발생하였다. 주피터 노트북으로 데이터를 분석하고, 그 결과물을 .html 로 변환하려 하였다. 변환메뉴를 선택하였으나, 변환되지 않고, 다음과 같은 UnicodeDecodeError가 발생하였다. Traceback (most recent call last): File "D:\Python3664\lib\runpy.py", line 193, in _run_module_as_main "__main__", mod_spec) File "D:\Python3664\lib\runpy.py", line 85, in _run_code exec(code, run_globals) File "D:\PyEnvs\aicpu3664\Scripts\jupyter-nbconvert.EXE\__main__.py", line 9, in File "d:..
[번역] 디바이스네임과 심볼릭 링크 이해하기 device : 장치, 디바이스 device name : 장치이름, 디바이스이름, 디바이스네임, 디바이스명 namespace : 명칭공간, 네임스페이스, 이름공간 Object Manager : 개체 관리자, 객체 관리자, 오브젝트 매니저, 오브젝트 관리자 디바이스네임과 심볼릭 링크 이해하기 / Understanding Device Names and Symbolic Links 요약 / SUMMARY 하드디스크, 직렬포트, 병렬포트 같은 디바이스(장치)는 기본적으로 내부 윈도우즈 NT 디바이스네임을 갖고, 옵션으로 MS-DOS 디바이스네임도 가질 수 있다. 이 두가지 이름은 윈도우즈 NT 개체 관리자 (Windows NT Object Manager) 이름공간(namespace)에 있게 된다. 윈도우즈 NT와..
이등변직각삼각형 이등분각 무한급수 문제는 http://ggomjirak.tistory.com/224. 이등변 직각삼각형에서 아래 그림의 회색부분의 넓이의 합을 구하는 것이 문제임. 삼각형을 분할하는 방법은, 남겨진 각을 계속 이등분하는 것임. (선분 (0, 1)을 1/2지점, 3/4지점, 7/8지점, ... 으로 분할하는 것처럼.) 값이 얼마인지 궁금하여 파이썬으로 간단히 계산해 본 소스코드는 다음과 같다. import math # . # |\ # |o\ # | \ # | \ # | \ # | \ # | \ # | \ # | \ # ._________\____ # P # # pi / n \ # o_n = ---- | 1 - 0.5 | # 4 \ / # def P(n): o_n = (math.pi/4)*(1 - (.5)**n) return..
[Python] cmd 에서 python 인터프리터 진입시 UnicodeDecodeError 아나콘다 프롬프트에서 python 을 입력하여, 파이썬 인터프리터로 진입하려 하였을 때, 아래와 같은 UnicodeDecodeError 가 발생했다. 인터프리터 진입시마다 에러 메시지가 발생하여 꺼림직해서, 검색을 해서 해결책을 찾아봤다. 에러메시지를 보면, read_history_file 함수 안에서 파일을 open 하는 부분에서 에러가 발생하는 것이었다. 스택오버플로우의 한 질문답변에서 원인을 찾았다. %USERPROFILE%/.python_history ( C:\Users\username\.python_history ) 파일(윈도우 환경임. 다른 운영체제는 위치가 다를 것.)에 파이썬 인터프리터 명령이 저장되어 있는데, 이 파일에 한글등이 포함되어 있으면, 파일을 읽는 과정에서 UnicodeDeco..
[Python|OPENAPI] 기상청 기상관측 자료 OPENAPI requests 샘플코드 기상청에서 openapi 로 제공하는 자료를 openapi 를 이용하여, 받아서 활용할 수 있다. 보통 python 으로는 requests 모듈을 이용하여, requests.get(url, params=params) 형식으로 간단하게 가져와서 내용은 json으로 파싱하여 사용하는 것이 익숙한 방법이다. 그런데, 기상청에 회원가입하여 발급받은 apikey 에 requests 에서 자동으로 url encoding 을 해 버리는 특수문자 %와 / 이 포함되어 있었다. 그래서, 기본적인 방법으로는 500 에러가 발생하였으며, 약간의 꼼수 코드가 필요했다. 기상청 게시판을 보니까 비슷한 상황에 있는 사람들이 있는 것도 같아서, 내가 사용하여 성공한 코드를 포스팅한다. 사용한 코드 스니펫( 즉 아래의 noq_Ses..
pandas 의 read_excel 읽기 속도를 좀 더 빠르게 하는 방법 출처 : https://stackoverflow.com/questions/50695778/how-to-increase-process-speed-using-read-excel-in-pandas pandas 의 read_excel 읽기 속도를 좀 더 빠르게 하는 방법 읽을 행과 열의 수를 제한한다 parse_cols, skip_footer 인자를 이용하여 행과 열의 갯수를 제한할 수 있다. 이렇게 하면 읽기 시간을 줄일 수 있고, sheetname = None 인 경우에도 잘 동작한다. 예를 들면, 다음과 같이주면, 첫 3 컬럼, 그리고 100줄짜리 시트라면, 처음 20줄만 읽어들이게 된다. df = pd.read_excel('file.xlsx', sheetname=None, parse_col..
[Colab] TPU 사용 훈련시 에러. ValueError: Operation 'tpu_140644740262992/VarIsInitializedOp' has been marked as not fetchable. google colab 을 이용하면, 비싼 GPU 머신을 구입하지 않고, 구글이 너그럽게 제공해 주는 GPU와 TPU를 이용하여 간단한 훈련을 할 수 있다. 간단한 이미지분류모델을 케라스로 작성하여, colab 에서 실행해 보았는데, 노트북에서 실행한다는 제약이 있지만, 아주 만족스러웠다. GPU로 실행하는 것은 코드 변경도 필요없이 실행환경 런타임에서 GPU만 선택하면 됐다. 하지만 실행환경을 TPU로 선택하는 것만으로 TPU를 활용할 수는 없었다. TPU를 사용하기 위해선 코드를 조금 변경하여야 한다. (자세한 내용을 변경될 수도 있고, colab에서 제공하는 예제 노트북에 너무 잘 나와있으므로 생략.) 환경변수를 확인하고, 만들어진 케라스모델을 keras_to_tpu_model 함수를 이용하여 tp..

티스토리툴바