본문 바로가기

프로그래밍/AI:ML:DL

(35)
음성 데이터 관련 모음 kaggle cornell birdcall recognition : https://www.kaggle.com/c/birdsong-recognition Cornell Birdcall Identification | Kaggle www.kaggle.com kaggle free sound audio tagging 2019 : https://www.kaggle.com/c/freesound-audio-tagging-2019 Freesound Audio Tagging 2019 | Kaggle www.kaggle.com kaggle rainforest connection species audio detection : https://www.kaggle.com/c/rfcx-species-audio-detection Rai..
2021년 5월 konlpy 설치시 문제점들 konlpy 를 오랜만에 설치하고 테스트해 보았다. 설치시에 문제점들이 발견되어 정리하여 공유한다. 테스트는 윈도우에서 수행하였고, openjdk 가 (adoptopenjdk를 이용) 깔려 있으며, JAVA_HOME 과 PATH 설정도 되어 있는 상태이다. 1. python 3.7 새롭게 3.7 가상환경을 만들었다. py -3.7 -m venv v3764 해당 가상환경에 들어가서 konlpy 를 설치했다. c:\PYENVS> v3764\Scripts\activate (v3764) c:\PYENVS> pip install konlpy python 인터프리터로 들어가 konlpy 헬로월드를 해 보자. 에러가 발생한다. (v3764) C:\PYENVS>python Python 3.7.9 (tags/v3.7.9..
Autoencoder 가 잘 학습되었는지를 확인하려면 오줌싸다가 갑자기 떠오른건데, "autoencoder 가 잘 학습되었는지를 확인하고 싶을 때 어떻게 할까?" 이런 질문이 생각났다. 아주 무식하게는 latent z 공간에서 고르게 랜덤포인트를 샘플링해서, autoencoder 의 decoder 파트를 통과시켜 생성된 결과물이, 우리가 기대하는 평범한 데이터 범위에 있는지를 확인하면 되지 않을까? z 공간에서 고르게 랜덤포인트를 샘플링한다고 할 때, 각 차원의 최소-최대 구간이 필요하겠구나. 아하, 범위를 고려하기 위해서 정규분포를 상정해서 만드는 게 VAE 인건가? 생성된 결과물의 평범한 데이터의 범위라는 게 다시 추상적인 문제이고, 이걸 구체적으로 확인하는 방법을 고안하는 것이 다시 문제일텐데, 일단은 이렇게 단순하게 생각해 보자. 이게 GAN의 Ge..
GPU 사용 모니터 nvidia-smi-gui ubuntu 에서 2020년/2022년에 실행확인한 내용임. AI 훈련할 때 gpu 를 사용하고 있는건지 모니터해 보고 싶을 때가 있다. nvidia-smi 명령으로 많이 확인하는데, 텍스트 화면을 읽으려니 내겐 가독성이 너무 나빴다. gui 그래픽 윈도우를 띄워서 확인해 보고 싶은 욕구가 드는데, 이걸 만들어 놓은 사람이 있다. github nvidia-smi-gui 로 검색하면 레포지토리( https://github.com/imkzh/nvidia-smi-gui )가 있고, 레포 clone 해서 간단한 몇가지 디펜던시만 설치해 주고 실행하면 다음과 같이 예쁜 윈도우가 뜬다. 간단하게 사용할 수 있으니 한번씩 사용해 보길 바란다. 나는 sh 파일을 하나 만들고, /usr/local/bin/ 에 링크해 놓..
[YOLO] shape_optimizer failed: Invalid argument, remapper failed: Invalid argument, layout failed: Invalid argument qqwweee 의 keras-yolo3 를 실행하다가 다음과 같은 에러가 발생하였다. ( 내 실행환경은 tensorflow 1.15 였음. ) E tensorflow/core/grappler/optimizers/meta_optimizer.cc:502] shape_optimizer failed: Invalid argument: Subshape must have computed start >= end since stride is negative, but is 0 and 2 (computed from start 0 and end 9223372036854775807 over shape with rank 2 and stride-1) E tensorflow/core/grappler/optimizers/meta_op..
tensorflow 2.1 : Could not load dynamic library 'libnvinfer.so.6' ubuntu + anaconda3 + python3.6 + tensorflow2.1 설치된 환경에서 import tensorflow as tf 를 하였을 때 'libnvinfer.so.6' 등의 라이브러리를 로드하지 못하였다는 경고메시지( 메시지 첫머리의 W 는 Warning 이란 뜻. )가 나온다. 검색해 보니, Nvidia gpu 의 TensorRT 라이브러리에 관련된 경고메시지이며, 일단 무시해도 된다고 한다. 경고메시지 >>> import tensorflow as tf 2020-03-18 17:20:22.911535: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'libnv..
[PyTorch] Tensors and Variables have merged 위키북스의 PyTorch 를 활용한 머신러닝, 딥러닝 철저입문 (코이즈미 사토시) 을 따라하다가. 예제코드에 아래와 같이 torch.Tensor 를 autograd.Variable 로 형변환시키는 코드가 있었다. 책이 2018년 1월의 pytorch api 를 기준으로 하면서, 최신 버전과 api 사용에 사소한 차이가 있는 듯 하다. for epoch in range(300): # 계산 그래프 구성 train_x, train_y = Variable(train_x), Variable(train_y) optimizer.zero_grad() # ... 다른 튜토리얼에서는 필요가 없었기 때문에 의문을 가지고 있었는데, 역주를 보니 Variable 이 deprecated 예정이었다. 2020년 1월 현재 1.2...
[번역|Yolo|darknet] darknet 구현에 대한 비교 (ycombinator) from : https://news.ycombinator.com/item?id=18317879 joshvm on 2018-10-28 몇달동안 darknet 을 테스트 해 봄. 진지한 프로젝트에는 추천하지 않는다. 라즈베리파이에서 사용하거나, 매우 빨리 가져다 쓸려면 모를까. tiny yolo 면 1.2 FPS 성능이 나온다. 아니면 신경망스틱을 사는 게 낫다. yolo 자체는 매우 인상적이다. 빠르고 정확해서 여러 용도에 쓸 수 있다. 오리지널 레포 ( github pjreddie darknet ) 은 업데이트가 많지 않다. AlexeyAB 의 포크 ( github alexeyab darknet ) 에 개선사항이 많다. 하지만 여전히 괴로운 부분이 있다. 뭔가 실수했을 때, 아무 메시지 없이 실패한다. ..