[모두의 데이터분석] 1 기온 공공 데이터

1 기온데이터 분석시작하기

---

#1 기온 공공데이터 살펴보기

기상자료개방포털 : http://data.kma.go.kr

 

## 지역별 기온 데이터 내려받아 사용하기

: 상단메뉴의 기후통계분석 - 기온분석 → 검색 조건 설정하고 csv다운로드 누르기

#2 CSV파일

CSV (Comma-Separated Values) : 각 데이터 값을 콤마(,)로 구분하는 파일 형식

#3 데이터 분석에 필요한 환경 만들기

- 컴퓨터에서 CSV 파일 데이터를 다루려면 사람의 생각을 컴퓨터가 알아들을 수있는 언어로 바꾸어줄 명령어가 필요
→ 이때 사용할 수 있는 언어 : 파이썬(Python), R 등

# 파이썬 Python

- 다양한 라이브러리를 활용하여 데이터를 분석하고 시각화하는데 편리함
- 필요할 때마다 라이브러리를 받아야 하는 번거로움이 있음 → 번거로움을 덜어주는 도구 '아나콘다'

# 아나콘다 Anaconda

- 아나콘다를 설치하면 파이썬은 물론 여러가지 라이브러리를 간편하게 불러올 수 있음
- 아나콘다와 함께 설치되는 주피터를 통해 쉽게 코드를 관리하고 결과 확인 가능

# 주피터 노트북

- 프로그래밍 언어로 코드를 작성하고 실행하는 개발환경 제공
여러 개의 코드와 실행 결과를 하나의 문서처럼 관리할 수 있으며 데이터 분석을 위해 여러 종류의 라이브러리를 불로온 후 일부 코드의 실행 결과를 확인할 수 있음

---

2 서울의 기온 데이터 분석하기

---

#1 CSV파일에서 데이터 읽어오기

# csv.reader()

: CSV 파일에서 데이터를 읽어오는 함수

# csv.writer()

: CSV 파일에 데이터를 저장하는 함수

 

① CSV 파일 다운로드
② 주피터 노트북 실행하기

import csv
f = open('seoul.csv', 'r', encoding = 'cp949')
data = csv.reader( f, delimiter = ',' )
print(data)
f.close()

- CSV 파일과 파이썬 파일의 저장 위치는 동일해야 함 !!!!!!
- encoding은 인코딩방식을 의미 + cp949는 Windows 한글 인코딩 방식
- delimiter은 구분문자 !! 즉, CSV 파일 데이터를 콤마로 분리해서 저장하라는 의미

 

#2 데이터 출력하기

- for 반복문을 사용하면 CSV 파일에 저장된 데이터를 한 줄씩 읽어올 수 있음

Q. 왜 각 행의 데이터가 대괄호에 둘러싸여 있어요 ?

A. 대괄호에 둘러싸인 데이터를 '리스트'라고 함
각 행의 데이터는 리스트의 특성을 활용해 인덱싱과 슬라이싱을 할 수 있음

Q. 왜 각 행의 데이터가 작은띠엄표에 둘러싸여 있어요?

A. 문자열 데이터(string)로 이루어졌음을 의미 !!
때문에 후에 실수(float)의 형태로 변환이 필요

#3 헤더 저장하기

# 헤더

: 데이터 파일에서 여러 가지 값들이 어떤 의미를 갖는지 표시한 행

* 헤더를 별도의 파일로 저장하려면? next() 함수 사용

header = next(data)

# next() 함수

: 첫 번째 데이터 행을 읽어오면서 데이터의 탐색 위치를 다음 행으로 이동시키는 명령어

→ 즉, next()해주면 헤더가 따로 저장되어 두 번째 행부터 출력됨

#4 기온 공공데이터에 질문하기

데이터 분석은 내가 관심이 있는 데이터에 대한 호기심에서 출발한다
나와 직접적으로 관련이 있는 매력적인 데이터를 살펴보면 궁금증이 생긴다

 

---

3 서울이 가장 더웠던 날은 언제였을까

---

#1 질문 다듬기

서울이 가장 더웠던 날은 언제였을까 ? → 서울의 최고 기온이 가장 높았던 날은?

#2 문제 해결 방법 구상하기

(1) 데이터 읽어오기
(2) 순차적으로 최고 기온 확인
(3) 최고 기온이 가장 높았던 날짜와 데이터를 별도의 변수에 저장
(4) 최종 저장된 데이터 출력

 

#3 파이썬 코드로 구현하기

(1) 현재 최고 기온 데이터는 숫자형이 아닌 문자열이므로 숫자타입 데이터 변환 필요
→ float() 함수를 사용하여 실수데이터로 변환하기

import csv
f= open('seoul.csv')
data = csv.reader(f)
header = next(data)

for row in data :
row[-1] = float(row[-1])
print(row)
f.close()

- row[-1]을 지정한 이유는 최고 기온 데이터가 가장 마지막 열에 위치하기 때문

# 에러의 발생

ValueError: could not convert string to float:

- 문자열을 실수로 변환할 수 없다는 에러
- 문자열의 최고 기온 데이터를 실수 형태로 바꾸던 중 빈 문자열을 어떠한 실수 값으로 바꿔야 할지 몰라서 오류 발생
→ 빈 값을 대체할 특정 값 넣기 → 빈문자열을 표현하기 위해 절대 최고기온이 될 수 없는 가장 작은 값인 -999넣기

for row in data :
if row[-1] == '' :
row[-1] = -999
row[-1] = float(row[-1])
print(row)
f.close()

# 탐색과 비교의 과정

- 먼저 기준이 되는 값을 설정하고 기준 값과 새로운 값을 비교
- 기준이 되는 값을 저장할 공간인 변수가 필요
- 최고 기온을 저정할 변수(max_temp)와 최고 기온이 갖아 높은 날의 날짜를 저장할 변수(max_date)를 만듦

import csv
max_temp = -999
max_date = ''
f = open ~~~

** 최고 기온보다 더 높은 기온을 발견하면 저장된 값을 업데이트하도록 하는 코드

if max_temp < row[-1] :
max_date = row[0]
max_temp = row