본문 바로가기

pandas

(8)
pandas ValueError: If using all scalar values, you must pass an index pandas 로 간단한 데이터프레임을 만들려고 했다. 코드는 다음과 같다. import pandas as pd df = pd.DataFrame({"name":"강수연", "sex":"F"}) 너무 간단한 코드이다. 데이터프레임 생성인자로 사전형식으로 데이터를 만들어 넘겼다. 아래와 같은 에러가 발생한다. Traceback (most recent call last): File "", line 1, in df = pd.DataFrame({"name":"강수연", "sex":"F"}) File "C:\PROGRAMS\Python3864\lib\site-packages\pandas\core\frame.py", line 614, in __init__ mgr = dict_to_mgr(data, index, colu..
tksheet 으로 csv 파일 내용을 tkinter 창에서 보여주기 tksheet 이라는 패키지가 있다. tkinter 기반의 GUI 프로그래밍을 할 때에, table 형식의 데이터, 즉, pandas dataframe 형식의 데이터를 보여주는 위젯을 사용할 수 있다. tksheet github 에 있는 예제를 거의 그대로 가져와서 csv 파일을 읽어 보여주는 코드를 만들어 봤다. from tksheet import Sheet import tkinter as tk import pandas as pd class demo(tk.Tk): def __init__(self): tk.Tk.__init__(self) self.grid_columnconfigure(0, weight=1) self.grid_rowconfigure(0, weight=1) self.frame = tk.Fra..
[Python] pd.to_datetime 과 datetime.fromtimestamp 의 결과가 다르다. 타임스탬프로 시간이 주어진 데이터가 있는데, 이걸 데이트타임으로 변환하기 위해 다음 두가지 방법을 써 보았는데, 결과가 다르게 나왔다. import time import pandas as pd import datetime t = time.time() # 1562770422.6544123 dt1 = pd.to_datetime(t, unit='s') # dt1 = Timestamp('2019-07-10 14:53:42.654412270') dt2 = datetime.datetime.fromtimestamp(t) # dt2 = datetime.datetime(2019, 7, 10, 23, 53, 42, 654412) 두 결과의 타입이 조금 다르지만, 그걸 무시하고 봐도, 날짜가 같..
따릉이 신규사용자 시계열 분석 ( 2018년 6월 70대이상 사용자수의 이상치)
pandas 의 read_excel 읽기 속도를 좀 더 빠르게 하는 방법 출처 : https://stackoverflow.com/questions/50695778/how-to-increase-process-speed-using-read-excel-in-pandas pandas 의 read_excel 읽기 속도를 좀 더 빠르게 하는 방법 읽을 행과 열의 수를 제한한다 parse_cols, skip_footer 인자를 이용하여 행과 열의 갯수를 제한할 수 있다. 이렇게 하면 읽기 시간을 줄일 수 있고, sheetname = None 인 경우에도 잘 동작한다. 예를 들면, 다음과 같이주면, 첫 3 컬럼, 그리고 100줄짜리 시트라면, 처음 20줄만 읽어들이게 된다. df = pd.read_excel('file.xlsx', sheetname=None, parse_col..
[Python] pandas read_csv issue regarding non-ascii filename (textanal3664) D:\Users\daewon\Downloads\crime>python ana.pyTraceback (most recent call last): File "ana.py", line 5, in df = pd.read_csv('2000년.csv', encoding='euc-kr') File "D:\PythonEnvs\textanal3664\lib\site-packages\pandas\io\parsers.py", line 678, in parser_f return _read(filepath_or_buffer, kwds) File "D:\PythonEnvs\textanal3664\lib\site-packages\pandas\io\parsers.py", line 440, in _read ..
[PYTHON|PIP] pip 설치 에러 unable to find vcvarsall.bat pip 로 설치하다보면, 종종 패키지를 설치하면서 컴파일이 필요하여 에러가 발생하는 경우가 있습니다.그런 경우에는 vc 컴파일러가 설치되어 있으면 컴파일이 진행되며 설치되지만, 컴파일러가 없는 경우 대략 아래와 같은 오류가 발생하게 됩니다. creating build\lib.win32-2.7\vpython\data copying vpython\data\glow.2.1.min.js -> build\lib.win32-2.7\vpython\data copying vpython\data\glowcomm.js -> build\lib.win32-2.7\vpython\data copying vpython\data\jquery-ui.custom.min.js -> build\lib.win32-2.7\vpython\dat..
[PYTHON|PANDAS] pandas.read_csv MemoryError 문제 대략 아래와 같은 코드로 3기가 짜리 csv 파일을 pandas.read_csv 로 읽으려 했다. import pandas as pddf = pd.read_csv('big_dataset.csv') 아래와 같이 MemoryError 를 발생하며 성공하지 못했다. return pd.read_csv(train_path) File "C:\Python27\lib\site-packages\pandas\io\parsers.py", line 470, in parser_f return _read(filepath_or_buffer, kwds) File "C:\Python27\lib\site-packages\pandas\io\parsers.py", line 256, in _read return parser.read() Fi..