[Dacon] Pandas 튜토리얼

#1 데이터

(1) 비정형 데이터

: 사진, 텍스트, 소리와 같이 정해진 형태가 없는 데이터들을 지칭

(2) 정형 데이터

: 행과 열로 구분하여 표에 기록된 데이터들을 지칭

: CSV 형식으로 데이터를 저장함

: 행은 줄바꿈을 이용하고 열은 쉼표를 이용하여 구분

: 간단한 규칙을 사용하기에 CSV는 메모장과 같이 간단한 프로그램으로도 만들 수 있음

 

---

#2 판다스

- 판다스는 정형 데이터를 다루는 파이썬 패키지

- 판다스는 데이터 조작 및 분석을 위한 패키지

- 판다스를 다루기 위해서는 정형 데이터를 알아야 함

import pandas as pd

---

#3 CSV 파일

- 데이터를 쉼표로구분하는 텍스트 파일로 확장자는 .csv

- 행과 열로 구성되어 있음

- 정형 데이터의 가장 보편적인 파일 형식

 

(1) head(n) : 상위 n개의 로우 출력

(2) tail(n) : 하위 n개의 로우 출력

(3) pd.DataFrame.info() : Dataframe의 요약된 정보 출력

(4) DataFrame[’컬럼’] or DataFrame.컬럼 : 특정 컬럼 선택

 

---

#4 데이터프레임 생성

(1) 도시와 인구수 리스트를 이용해 dataframe 만들기

city = ['서울','부산','대구','인천','대전','광주','수원','울산','고양','용인']
population = [12312, 123123, 32434, 25345, 34543, 7676,25423, 24545, 34454,44332]

(2)  비어있는 데이터 프레임 생성

- pd.DataFrame() 함수를 이용하여 생성

- 변수로는 data, columns, index 등을 지정할 수 있음

# 빈 데이터프레임 생성 만들기

data=pd.DataFrame(columns=['도시','인구수'], index=range(10)) data

# 빈 데이터프레임에 데이터 삽입

data['도시']=city data.인구수 = population data

# 딕셔너리를 이용한 데이터 프레임 생성

data_dict = {'도시':city, '인구수':population} data = pd.DataFrame(data_dict) data

---

#5 데이터프레임 저장

- pd.DataFrame.to_csv() 함수를 이용하여 데이터프레임을 csv로 저장함

pd.DataFrame.to_csv('저장경로/파일명.csv')

- index가 True이면 DataFrame의 인덱스가 하나의 컬럼으로 추가됨

- header가 False면 컬럼명을 제외하고 저장

---

#6 컬럼과 로우 추가

- 생성된 DataFrame에 새로운 컬럼가 로우 추가하기

# 남자, 여자 인구수 컬럼 추가

man = [ 1233, 12312, 3234, 23432, 23423, 4656, 6786, 8578, 24123, 24556 ]
woman = [ 1234, 23425, 65654, 57547, 2343, 1233, 5647, 8588, 8989, 12344 ]

data'['남자'] = man
data['여자'] = woman

# 인구 수 총합 로우 추가

(1)  로우를 추가하기 각 컬럼의 총합 구하기

data.sum()

(2) pd.DataFrame.loc[ ]을 이용하여 추가

- [ ] 안에 추가할 로우의 인덱스를 입력한 후 값을 추가함

data.loc[10] = data.sum()

(3) 특정 값 변경

- 특정 위치의 값도 loc를 이용하여 변경이 가능함

- pd.DataFrame.loc[인덱스, 컬럼] = 원하는 값 으로 특정 위치를 지정하고 원하는 값 저장

data.loc[ 10, '도시' ] = '총합'

---

#7 다중 컬럼, 로우 선택

# 로우를 부분적으로 선택

  pd.DataFrame[ 시작 로우 번호 : 끝 로우 번호 ]

- 앞뒤로 시작 번호와 끝 번호를 입력이 가능

- 끝 번호의 경우 음수를 입력하면, 끝에서부터 음수만큼 제외한 위치까지 표현

- data[2:-2]라면 인덱스 2부터 밑에서 두개를 제외한 행까지 출력

 

# 다중 컬럼, 로우를 선택하는 두 가지 방법

1) loc : 로우와 컬럼의 인덱스로 데이터에 접근

pd.DataFrame.loc[[로우_인덱스1, 로우_인덱스2,...], [컬럼_인덱스1, 컬럼_인덱스2,...]]
pd.DataFrame.loc[[시작_로우_인덱스:끝_로우_인덱스], [시작_컬럼_인덱스:끝_컬럼_인덱스]]

2) iloc : 로우와 컬럼의 위치로 데이터에 접근

pd.DataFrame.iloc[시작_로우_위치:끝_로우_위치, 시작_컬럼_위치:끝_컬럼_위치]
pd.DataFrame.iloc[[로우_위치1, 로우_위치2, 로우_위치3...], [컬럼_위치1, 컬럼_위치2, 컬럼_위치3...]]

 

- 시작 위치를 비워두면 0부터 시작하고 끝 위치를 비워두면 마지막 위치까지 읽음

- 이 때 주의점으로 위치와 인덱스가 같지 않다는 것

- data.loc[2:5] 는 2,3,4,5 행을 읽어오지만 data.iloc[2:5] 는 2,3,4 행만을 읽어옴

---

#8 통계 함수

# unique( )

DataFrame[ '컬럼' ].unique()

- 컬럼의 고유값 리스트 반환

# value_counts()

DataFrame[ '컬럼' ].unique()

- 컬럼의 고유값 카운트를 반환

# 수치를 이용한 함수

pd.DataFrame.sum() : 각 컬럼의 합계를 반환
pd.DataFrame.max() : 각 컬럼의 최대값을 반환
pd.DataFrame.idxmax() : 특정 컬럼의 최대값의 인덱스 반환
pd.DataFrame.min() : 각 컬럼의 최소값을 반환
pd.DataFrame.idxmin() : 특정 컬럼의 최소값의 인덱스 반환
pd.DataFrame.mean() : 각 컬럼의 평균을 반환
pd.DataFrame.median() : 각 컬럼의 중앙값을 반환
pd.DataFrame.var() : 각 컬럼의 분산을 반환
pd.DataFrame.std() : 각 컬럼의 표준편차를 반환

## 인덱스를 이용하여 인구가 가장 많은 도시 찾기

data.loc[df['인구수'].idmax()]['도시']

---

#9 컬럼 산술 연산

- 기존에 가지고 있는 컬럼들을 이용하여 새로운 컬럼을 만들 수 있음

- 판다스의 컬럼과 컬럼은 산술연산자를 이용하여 연산이 가능

data['남자+여자'] = data['남자'] + data['여자']

       → 남자와 여자의 수를 합쳐 남자+여자라는 컬럼 생성 !!

# abs

- 절대값 구하기

---

#10 비교 연산자

- Pandas 에서도 ==, !=, >, >=, <, <= 와 같은 비교 연산자 사용 가능

# 인구 수 200만명 이상의 도시 찾기

data['인구수] >= 2000000

      →  결과는 true, false로 반환됨

           ( data['인구수] >= 2000000 ).sum() 하면 200만명 이상인 도시를 카운트 할 수 있음

             *** 2e + 6 = 2 * 10의 6제곱 !!!!