본문 바로가기

Study/Python4

[Dacon] Pandas 튜토리얼 #1 데이터 (1) 비정형 데이터 : 사진, 텍스트, 소리와 같이 정해진 형태가 없는 데이터들을 지칭 (2) 정형 데이터 : 행과 열로 구분하여 표에 기록된 데이터들을 지칭 : CSV 형식으로 데이터를 저장함 : 행은 줄바꿈을 이용하고 열은 쉼표를 이용하여 구분 : 간단한 규칙을 사용하기에 CSV는 메모장과 같이 간단한 프로그램으로도 만들 수 있음 #2 판다스 - 판다스는 정형 데이터를 다루는 파이썬 패키지 - 판다스는 데이터 조작 및 분석을 위한 패키지 - 판다스를 다루기 위해서는 정형 데이터를 알아야 함 import pandas as pd #3 CSV 파일 - 데이터를 쉼표로구분하는 텍스트 파일로 확장자는 .csv - 행과 열로 구성되어 있음 - 정형 데이터의 가장 보편적인 파일 형식 (1) head.. 2022. 1. 29.

[오늘의 파이썬] 의사결정회귀나무로 따릉이 데이터 예측하기(3) 모델링 주어진 개념으로부터 논리적인 데이터 모델을 구성하는 작업을 말하며, 일반적으로 이를 물리적인 데이터베이스 모델로 환원하여 고객의 요구에 따라 특정 정보시스템의 데이터베이스에 반영하는 작업을 포함 ## EDA를 통해 데이터를 살펴보고 전처리를 한 후 본격적으로 머신러닝 모델을 훈련시키고 훈련된 모델을 통해 예측하는 과정을 거침 #1 파이썬 scikit-learn import sklearn from sklearn.tree DecisionTreeClassifier - 파이썬의 scikit-learn(사이킷런) 라이브러리를 사용하여 모델링하기 위해 import 하는 과정 1) 사이킷런 : 파이썬에서 머신러닝 분석을 할 때 유용하게 사용할 수 있는 머신러닝 모듈 - 내부 구조를 살펴보면 Numpy, pan.. 2022. 1. 26.

[오늘의 파이썬] 의사결정회귀나무로 따릉이 데이터 예측하기(2) 데이터 전처리 데이터 분석 과정에서 전처리는 반드시 거쳐야 하는 과정 : 데이터 정제 → 결측값 처리 → 이상값 처리 → 분석변수 처리 순서로 진행 #1 파이썬 데이터 기본 정보 확인하기 (info()) df.info() ex) test.info() - dataframe에 info() 메서드를 사용하면 피쳐들의 기본정보(결측치와 데이터 타입)를 확인가능 - 모델링에 앞서 결측치가 있다면 결측치들을 어떻게 다뤄야할지 고민하고 처리하는 과정이 필요함 #2 파이썬 결측치 삭제, 대체 (dropna, fillna) DataFrame.dropna() DataFrame.fillna() ex) train = train.dropna() #결측치 삭제 test = test.fillna(0) #0으로 대체 1) dropn.. 2022. 1. 26.

[오늘의 파이썬] 의사결정회귀나무로 따릉이 데이터 예측하기(1) EDA (탐색적 데이터 분석) : 데이터를 분석하고 결과를 내는 과정에 있어서 지속적으로 해당 데이터에 대한 탐색과 이해를 기본으로 가져가야 함 #1 라이브러리 불러오기 (import) import [라이브러리] as [사용할 이름] ex) import pandas as pd #2 파이썬 파일 불러오기 (read_csv) data = pd.read_csv('파일경로/파일이름.csv') ex) import pandas as pd data = pd.read_csv('data/test.csv') - 파이썬에서 데이터파일 (csv파일)을 불러오기 위해서는 pandas 라이브러리를 이용해야 함 ( import pandas as pd ) #3 파이썬 행열 갯수 확인하기 (shape) [dataframe 변수명].s.. 2022. 1. 26.

이전 1 다음

티스토리툴바