read_csv (4) 썸네일형 리스트형 [R] read_csv vs. read.csv R을 조금씩 익히고 있다. 책에서 배운 것은 read.csv 였는데, codecademy 의 Learn R 코스에서는 read_csv 를 쓰고 있었다. 무슨 차이인지 궁금했다. 구글링해서 medium.com/r-tutorials/r-functions-daily-read-csv-3c418c25cba4 와 같은 아티클을 발견했다. 이 글에 따르면, read_csv 는 데이터를 읽은 결과가 tibble 이라는 형식이고, read.csv 는 일반적인 R dataframe 이다. read_csv 는 tidyverse의 readr 패키지의 함수이다. (따라서 install , library 명령이 필요하다.) pandas 의 read_excel 읽기 속도를 좀 더 빠르게 하는 방법 출처 : https://stackoverflow.com/questions/50695778/how-to-increase-process-speed-using-read-excel-in-pandas pandas 의 read_excel 읽기 속도를 좀 더 빠르게 하는 방법 읽을 행과 열의 수를 제한한다 parse_cols, skip_footer 인자를 이용하여 행과 열의 갯수를 제한할 수 있다. 이렇게 하면 읽기 시간을 줄일 수 있고, sheetname = None 인 경우에도 잘 동작한다. 예를 들면, 다음과 같이주면, 첫 3 컬럼, 그리고 100줄짜리 시트라면, 처음 20줄만 읽어들이게 된다. df = pd.read_excel('file.xlsx', sheetname=None, parse_col.. [Python] pandas read_csv issue regarding non-ascii filename (textanal3664) D:\Users\daewon\Downloads\crime>python ana.pyTraceback (most recent call last): File "ana.py", line 5, in df = pd.read_csv('2000년.csv', encoding='euc-kr') File "D:\PythonEnvs\textanal3664\lib\site-packages\pandas\io\parsers.py", line 678, in parser_f return _read(filepath_or_buffer, kwds) File "D:\PythonEnvs\textanal3664\lib\site-packages\pandas\io\parsers.py", line 440, in _read .. [PYTHON|PANDAS] pandas.read_csv MemoryError 문제 대략 아래와 같은 코드로 3기가 짜리 csv 파일을 pandas.read_csv 로 읽으려 했다. import pandas as pddf = pd.read_csv('big_dataset.csv') 아래와 같이 MemoryError 를 발생하며 성공하지 못했다. return pd.read_csv(train_path) File "C:\Python27\lib\site-packages\pandas\io\parsers.py", line 470, in parser_f return _read(filepath_or_buffer, kwds) File "C:\Python27\lib\site-packages\pandas\io\parsers.py", line 256, in _read return parser.read() Fi.. 이전 1 다음