Cheo-ri

남미 여행 다녀온지 5개월이 지난 것 같다. (_._)

Fastcampus에서 공부를 시작한지 3주차에 접어들었다.

2주 동안 한 학기 분량의 통계를 공부하는건 힘들다....

친구들과 국내여행은 매번 못 가는 것 같다. 언제쯤 갈 수 있으려나?

강의 : [Fast campus] Data Science with R 1기 - 이부일 강사님

R 공부하면서 배운 내용 복습 겸 정리하는 곳입니다.

※ 자료의 종류 : 통계적인 관점

  # 질적 자료 vs 양적자료

  # 질적 자료 : 글자(문자), 숫자(의미가 없는 숫자)

  # 양적 자료 : 숫자(의미가 있는 숫자 - 사칙연산이 가능)

※ 일변량(Uni-variate) 질적 자료의 분석

  # 일변량 => 하나의 열

1. 표 = 빈도표 

  # 빈도(frequence), 백분율(percent)

  (1) 빈도 : table(데이터명$변수명)

# R에서 table은 질적자료의 빈도를 구할 때 많이 사용

  (2) 백분율 = (빈도/합계) * 100

# prop.table(빈도결과) * 100

# prop = proportional(비율)

# 비율 : 0~1 / 백분율 : 0~100

# 백분율은 소수점 한 자리 까지만 보고서에 작성 

     ## prettyR 패키지

# prettyR::freq(데이터명$변수명)

# 결과는 백분율과 유효백분율이 나타남

# 유효백분율 : 실질적으로 응답한 사람(NA제외)

# display.na = FALSE : 유효백분율이 출력되지 않음

2. 그래프 : 막대그래프(세로, 가로), 원그래프

  (1) 막대그래프

# barplot(빈도결과) - 기본 세로 막대그래프

# 그래프에 다양한 arguments를 추가

# 그래프 제목 : main = "제목"

# y축 제목 : ylab = "축제목"

   ylab = y label의 약자

   y축 제목은 꼭 써야한다.

# y축 눈금 : ylim = c(최소값, 최대값)

   ylim = y limit의 약자

   y축의 최소값은 0으로 해야된다.

   * 절단효과 : 최소값을 올리게 되면 전체적인 차이가 더 크게 보일 수 있기 때문

# 가로 막대 그래프 : horiz = TRUE

# 가로 막대 그래프로 변경 했기에 xlab, xlim 으로 바꿔야 함

# 젤 위에 가장 큰 값을 주어야 한다. => 내림차순

(2) 원그래프

# pie(빈도)

# 원 그래프는 조각이 5개 이하인 경우에만 사용

# 반지름 : radius = 0.8 (기본값)

# 첫 번째 조각의 각도 : init.angle = 

※  일변량(Uni-variate) 양적 자료의 분석

1. 표

  # 구간의 빈도, 백분율

  # 최소값, 최대값

  # 구간의 개수 구하는 법

1. Sturge's : 1+3.3*log10(데이터의 개수)

2. sqrt(데이터의 개수) 

... 기타 등

  # 구간의 폭 = 계급의 폭

  # (최대값 - 최소값) / 구간의 개수

  # 첫 번째 구간에는 최소값 포함, 마지막 구간에는 최대값이 포함되어야 함    

  # diff(숫자)

  # diff( c(1, 3, 5) ) => 3-1 / 5-3 => 2개씩 짝 지어서 계산됨

  # cut을 통해 내가 원하는 구간별로 나눌 수 도 있다.

2. 그래프

  (1) 히스토그램(Histogram)

i. hist(데이터명$변수명) : Sturge 공식 적용

ii. hist(데이터명$변수명, breaks = 구간의 개수)

iii. hist(데이터명$변수명, breaks = 구간의 정보)

  (2) 상자그림(Boxplot) : 이상치 유무 판별

i. boxplot(데이터명$변수명)

ii. 집단별 상자그림

# boxplot(데이터명$변수명 ~ 데이터명$변수명)

# boxplot(     양적자료        ~      질적자료      )

# R의 관점에서 factor형태로 되어 있어야 한다.

# boxplot을 통해 각 이상치를 제거할까? 변환할까? 등을 판별

3. 기술통계량 = 요약통계량 => 숫자

  # Descriptive Statistics = Summary Statistics

  # 모수(Parameter)       vs  통계량(Statistics)

  # 모집단(Population)   vs  표본(Sample)

  # 기술통계량, 요약통계량 => 표본에서 나온 것

  # 모수는 모집단이 어떻게 형태인지 알려주는 수많은 숫자들

  # 모집단의 평균, 표준편차, 최소값, 최대값... 등 => 모수 (하지만 현실에서는 대부분 알 수 없다.)

  # 표본에서 나온 평균, 표준편차, 최소값, 최대값... 등 => 통계량

  # 양적 자료를 바탕으로 다양한 숫자를 만들어내는 것 = 통계량

  # 통계적 추론 : 표본으로 부터 나온 통계량을 바탕으로 모집단의 모수들을 추측

  (1) 중심 = 대표값

# 평균, 절사평균, 중위수(중앙값), 최빈수(최빈값)

# 절사평균 : 평균은 이상치(Outlier)에 영향을 많이 받는다. -> 이상치를 뺀 평균

# 최빈수 : 동일한 값이 많이 나타난 수

i. 평균

# mean(데이터명$변수명, na.rm = TRUE)

# 하지만 이 평균을 가지고 분석을 시행하기에는 위험하다.

# 이상치(Outlier)의 존재 때문

ii. 5% 절사평균(Trimmed Mean)

# mean(데이터명$변수명, trim = 0.05, na.rm = TRUE)

# 작은쪽, 큰쪽 각 5%씩 절사해서 90%의 평균을 계산하여 분석

# 5%는 바꿔도 되는 기준

iii. 중위수

# median(데이터명$변수명, na.rm = TRUE)

# 중위수 0을 기준으로 일찍 오거나 늦게 온 비행기가 50%씩 존재한다.

iv. 최빈수(Mode)

  1) which.max(table(데이터명$변수명)

  # 벡터의 가장 큰 값 200의 index를 알려준다.

  # -4가 54번째 있었다.

  # ArrDelay 데이터에서 4분 일찍 도착한 게 가장 많았다.

  2) prettyR::Mode()

  (2) 퍼짐 = 산포 = '다름' 

# 통계는 '다름'이 존재하기에 분석한다. 이 다름의 차이를 수치화 하여 나타냄

# 이 '다름'은 왜 발생했을까?

# 범위, 사분위수범위, 분산

# 표준편차(평균과의 차이), 중위수 절대편차(중위수와 차이)

# 범위와 표준편차는 이상치(Outlier)에 영향을 많이 받는다.

# 중위수 절대편차는 이상치(Outlier)의 영향을 적게 받는다.

i. 범위(Range)

# R에서 range()는 최소값, 최대값 2개를 알려준다.

# diff()를 통해 2개의 차이를 계산

# 범위는 이상치의 영향을 많이 받는다.

# 그래서 나온게 사분위수 범위

ii. 사분위범위 = 사분위수범위 = IQR(Inter Quartile Range)

# IQR(데이터명$변수명, na.rm = TRUE)

# 범위(1048) , 사분위범위(19) 의 차이는 다르다.

# 사분위범위를 보고 항공기들은 19분정도 늦거나 일찍 도착하네 라고 생각 할 수 있음.

iii. (표본) 분산(Variance)

# 모든 데이터에서 평균을 빼고 제곱을 한다.

# 데이터 - 평균 : 편차(Deviation) => 편차를 다 더하면 0 => 따라서 제곱한 값을 사용

# 통게는 데이터의 합계가 아닌 '자유도'로 나눈다

# df : degree of freedom

# var(데이터명$변수명, na.rm = TRUE)

# 분산은 각 데이터 제곱을 통해 계산하므로 ArrDelay의 결과는 '분의 제곱'이다.

iv. (표본) 표준편차(SD : Standard Deviation)

# sd(데이터명$변수명, na.rm = TRUE)

# 평균은 7분 정도 늦는데, 각 데이터들마다 평균과의 차이가 다름

# 여기서 평균과의 차이는 약 30분(표준편차)

# 즉, -27분 ~ 37분 범위 안에서 대부분 도착한다.

# 표준편차가 작다 - 평균이랑 가까운 데이터들

# 표준편차가 크다 - 평균이랑 먼 데이터들

v. 중위수 절대편차(MAD : Median Absolute Deviation)

# mad(데이터명$변수명, na.rm = TRUE)

# 중위수 절대편차를 기준으로 비행기들이 13분 늦거나 일찍오는구나 라고 생각

  (3) 분포의 모양

# 데이터는 하나가 아니라 여러개다.

# R의 기본 기능에서는 못 구함 - 왜도, 첨도

i. 왜도(Skewness) : 대칭여부

# 왜도가 0에 가까운 값이라면 '데이터들이 대칭이다' 라고 볼 수 있다.

# 왜도가 0에서 멀어진다면 ' 데이터들이 비대칭이다'라고 볼 수 있다.

# 왜도 > 0 : 이상하게 큰 애가 있다면 오른쪽으로 긴 곡선

# 왜도 < 0 : 이상하게 작은 애가 있다면 왼쪽으로 긴 곡선

ii. 첨도(Kurtosis) : 중심이 얼마나 뾰족한가?

# 첨도가 0에 가까운 값이라면 중심이 보통높이

# 첨도 > 0 : 중심이 높아진다 -> 비슷한 데이터가 많이 있다.

# 첨도 < 0 : 중심이 낮아진다 -> 비슷한 데이터가 적다.

# psych::describe(), describeBy()

# R에서 by가 있다면 항상 집단별로 무엇을 한다는 의미

# 결과 중 se : standard error(표준오차) : 0.06

# 지금 표본에서 평균이 7.09분이 나왔는데,

# '다른 표본'을 뽑으면 평균이 지금 표본의 평균과 달라질 것이다.

# 그렇다면 얼마나 달라질까를 알려주는 값 -> 표준오차

# psych::describeBy(데이터명$변수명, 데이터명$변수명)

# psych::describeBy(양적자료, 질적자료)

# summary(데이터명$변수명)

# 질적 자료 = 빈도, 백분율 / 만약에 factor라면 빈도만 알려줌

# 양적 자료 = 6개(최소값, 최대값, 평균, 123사분위수)

# by(양적자료, 질적자료, 함수명)

# 공항이 2개가 있는데 각 공항에 대하서 ArrDelay에 대한 평균을 구해줘

# 질적자료를 기준으로 양적자료에 함수를 적용한 결과를 알려줌

[Fast campus] Data Science with R 1기 - 이부일 강사님

R 공부하면서 배운 내용 복습 겸 정리하는 곳입니다.

# R.utils 패키지를 통해 printf() 사용 가능

install.packages("R.utils")

library(R.utils)

1. 반복문 : for

  # 동일한 일을 여러 번 하거나

  # 비슷한 일을 여러 번 할 때

  # in은 대입, 할당하는 역할

  # 1:10 => 데이터의 개수(10개) 만큼 for문이 시행된다.

  # cat 대신 printf("hello, %d \n", i) 를 사용해도 동일한 결과 출력

  # 구구단

  # 2~9단도 동일한 결과로 출력됨

2. 조건문

  (1) if( 조건 ){ 실행문 } - 조건이 TRUE면 실행문을 실행

  (2) if (조건문) { 조건이 참일 때 실행문 1} 
       else{ 조건이 거짓일 때 실행문 2}

  (3) if( 조건문1) { 실행문 1 }

      else if( 조건문 2) { 실행문 2}

      else{ 실행문 3 }

# else if 조건 추가 가능

3. 사용자 함수

  # 함수명 = function( ) { 실행문 }

  # return 의 의미를 생각

  # 숫자 x를 입력받으면 x*3 을 해주는 함수 작성

  # 구구단 : 해당 숫자의 구구단을 출력

[Fast campus] Data Science with R 1기 - 이부일 강사님

R 공부하면서 배운 내용 복습 겸 정리하는 곳입니다.

6. 새로운 변수 만들기

  # 데이터$변수명 = 연산(수식)

  # bmi 수치를 계산해서 새로운 변수로 추가

  # ifelse(조건, 참일 때 표현식, 거짓일 때 표현식)

  # 30대 이상 / 20대 이하를 나타내는 새로운 변수(age_group)를 추가

  # 20대 초반, 20대 중반, 30대 이상으로 나뉘는 age_group2를 만들어라

  # cut(데이터명$변수명, breaks = 구간정보) => numeric data에 적용

   경도 비만(1단계 비만) : 25 - 30

   과체중 : 23 - 24.9

   정상 : 18.5 - 22.9

   저체중 : 18.5 미만

  # 데이터의 결과를 보면 ( ] 와 같이 소괄호 괄호로 표현된다

  # (18.5, 23] => 18.5 초과 23이하

  # ( ) 소괄호는 초과

  # [ ] 대괄호는 이하

  # 0과 30 초과 값들은 NA로 입력이됨

  # 위 코드에 right = FALSE 라는 argument 를 추가해보자

  # right = FALSE 를 하게되면 괄호의 위치가 바뀌게 됨

  # [18.5, 23) => 18.5 이상 23미만

  # 30 이상의 값들은 NA로 표시됨

  # 각 행들의 평균 구하기

  # 각 열들의 평균은 colMeans( ) 

7. 데이터의 값을 수정하기

  # home 이라는 데이터

8. 데이터 정렬하기

  (1) 벡터를 정렬하기 : sort(벡터, decreasing = )

      # 기본값 = 오름차순

  (2) order(데이터명$변수명, decreasing = )

  # sort는 벡터에서만 사용가능

  # data.frame에서는 order 함수를 사용

  # order는 정렬될 인덱스를 알려준다.

  # data.frame에서 데이터 정렬은 행이 바뀌는 것

  # 슬라이싱의 행 자리에 order가 들어간다.

# 성별 내림차순

# 성별 내림차순 / 키 내림차순

# 성별 오름차순 / 키 내림차순

# 조건이 다르니 -를 사용

# 성별 내림차순 / 키 오름차순

# - 는 numeric에만 적용 가능

# 성별 오름차순 / 거주지 내림차순

# character 타입의 데이터를 따로 정렬하려면? 

# - 는 numeric에만 적용된다 => 기본 기능에서는 불가능

# data.table 패키지를 사용하여 데이터를 data.table로 변경

# 데이터의 column에 바로 접근 가능

# 결과를 콘솔 화면에 보여주기만 함

# setorder( ) 를 사용하면 데이터를 정렬해서 결과 저장

※ data.frame vs data.table 참고

http://using.tistory.com/81 

# data.table()_cheet sheet 확인

# setkey(), J(), fread() 공부

9. 데이터 합치기

  (1) rbind(데이터1, 데이터2, ... ) => 위, 아래로 데이터 합치기

  (2) merge(데이터1, 데이터2, ..., by=, all=, all.x=, all.y=)

# merge 4가지 방법

① inner join(교집합)

# inner join은 2가지 데이터만, 3가지 이상은 다른 기능으로

# by는 PK(Primary Key) => 데이터를 구분해주는 값 

# PK 예) 사람-주민등록번호, 회사직원-사원

# outer join

② full join(합집합) - all=TRUE

# R에서 숫자는 NA / 문자는<NA>로 표시해서 구분해준다.

③ left join - all.x=TRUE

④ right join - all.y=TRUE

10. R데이터 저장하기

  (1) 외부 데이터로 저장하기

# row.names = FALSE 를 주게되면 행 이름은 저장하지 않음

  (2) R데이터로 저장하기

  (3) R데이터 불러오기

[Fast campus] Data Science with R 1기 - 이부일 강사님

R 공부하면서 배운 내용 복습 겸 정리하는 곳입니다.

Data Handling = Data Pre-processing

## 사용할 데이터 읽어오기

# 외부 데이터를 읽어오면 data.frame 형태로 저장된다.

1. 데이터 전체보기

  (1) View(데이터) 

View(student)

# 별도의 팝업 창으로 데이터를 볼 수 있음

  (2) 데이터 : 콘솔(Console)에 출력

student

2. 데이터 구조(Structure) 보기

  (1) str(데이터)

str(student)

# student의 id만 보고 싶다면 => str(student$id)

3. 데이터의 일부 보기

  (1) head(데이터) 

# 상위 6개의 데이터를 보여줌

# head(student, n = 3)

# 출력 데이터 개수 지정 가능

  (2) tail(데이터)

# 하위 6개의 데이터를 보여줌

# head와 동일한 출력 형태

# tail(student)

# tail(student, n = 3)

4. 데이터 프레임의 속성

  (1) 행의 개수 : nrow(데이터)

  (2) 열의 개수 => 변수의 개수 : ncol(데이터)

  (3) 행의 이름 : rownames(데이터)

# 결과는 character

  (4) 열의 이름 => 변수의 이름 : colnames(데이터)

# 결과는 character

  (5) 차원(dimension) : 행, 렬 : dim(데이터)

  (6) 차원의 이름 : 행의 이름, 열의 이름 : dimnames(데이터)

5. 데이터(data.frame)의 슬라이싱

  # 데이터[행index, 열index] => data.frame은 행,열의 2차원 구조

  # Vectorization 이 적용됨, for문 없이 연산이 끝까지 수행

  (1) 열(column) 

# 데이터[ , index]

문제. 짝수번째 열 가져오기

# vector 에서는 length

# data.frame 에서는 nrow, ncol

문제. weight, height의 데이터를 가져오기

# index가 character 이므로 c( )를 사용

# 변수명에 특정한 패턴이 있는 것을 추출

# grep("패턴", 문자열)

# 정규표현식을 익히자

# https://wikidocs.net/1669 

# http://www.nextree.co.kr/p4327/

  (2) 행(row)

  (3) 행, 열

[Fast campus] Data Science with R 1기 - 이부일 강사님

R 공부하면서 배운 내용 복습 겸 정리하는 곳입니다.

외부 데이터 : txt, csv, excel(xls, xlsx) 

1. 텍스트 데이터 : txt

  (1) 구분자(Separator) : 공백 하나(blank, white space)

  (2) 구분자(Separator) : comma(,)

  (3) 구분자(Separator) : 탭(tab)

2. CSV(Comma Separated Value)

# 엑셀의 특수한 형태

3. 엑셀 : xls, xlsx

# R의 기본 기능에서는 못 읽어 옴

# 추가 기능(패키지(Package))을 설치 - install.packages("패키지명")

# 패키지 로딩하기, 구동하기 - library(패키지명)

  # 패키지 설치 명령어 후 successfully 메시지가 나오면 설치 완료

  # 패키지는 항상 코드 가장 위( 다른 pc에서 실행 할 수도 있으니 install.packages명령어도 같이 적어두기 )

  # 패키지 내 함수를 사용할 때는 '패키지명::함수' 형태로 사용하자

[Fast campus] Data Science with R 1기 - 이부일 강사님

R 공부하면서 배운 내용 복습 겸 정리하는 곳입니다.

[Fast campus] Data Science with R 1기 - 이부일 강사님

R 공부하면서 배운 내용 복습 겸 정리하는 곳입니다.

II. 요인(Factor)

  # 벡터의 일종

  # 차이점 : 집단(group)으로 인식함

  # 1차원 - 하나의 열로 구성

  # 벡터는 집단으로 인식하지 않음

  # factor(vector, labels=, levels=, ordered=) 

  bt(blood type) 예제

  bt를 factor로 바꿔보자

  # Levels : a ab b => 3개의 집단(a, ab, b)으로 인식함    

  bt_factor2 - labels

  # labels : 데이터 값과 결과가 바뀜

  bt_factor3 - levels

  # levels : 집단의 순서 - 데이터 자체는 바뀌지 않지만 b, ab, a 순으로 Levels이 바뀌게 됨

  bt_factor4 - labels, levels

  # 2개의 argument 같이 사용할 시 labels의 값들은 levels에 대응되도록 사용해야 한다

  bt_factor5

  # ordered : 특정한 결과값을 의미있게 구분할 때 사용 => 부등호가 나타남

 factor의 속성

  (1) levels(요인)

  (2) ordered(요인)

# 집단의 순서가 의미 있도록 변경

# bt_factor의 속성을 ordered=TRUE로 만들어 주겠다는 것

III. 행렬(Matrix)

  # 행(row)와 열(column)로 구성되어 있음

  # 2차원 (행, 열)

  # 벡터의 확장 -> 1차원에서 2차원으로

  # 벡터의 규칙이 대부분 적용( Recycling Rule, Vectorization )

  1. 행렬을 만드는 방법

(1) rbind(벡터1, 벡터2, ...)  /  cbind(벡터1, 벡터2, ...)

# rbind : row를 기준으로 벡터를 결합하여 생성

# cbind : column을 기준으로 벡터를 결합하여 생성

(2) matrix(vector, nrow=, ncol=, byrow=)

# R에서 행렬은 열(column)이 우선으로 채워진다.

# byrow = TRUE는 행(row)을 우선으로 행렬을 채우는 것

  2. 행렬의 슬라이싱

     # 행렬[ 행index, 열index ]

3. 행렬의 덧셈과 뺄셈

# 형태(shape)가 동일해야 한다. 

# 2x3 은 2x3 끼리만 연산 가능

# A*B -> 행렬의 곱셈? 

# A*B는 단순히 index가 같은 값 끼리 연산하는 것으로 행렬의 곱셈은 아니다.

  4. 행렬의 곱셈

# A_r1,c1 %*% B_r2,c2

# 조건 : c1 = r2 -> 곱하고자 하는 A의 열과 B의 행의 개수가 같아야 한다.

# 최종 결과는 r1xc2 matrix

  5. 역행렬(Reverse Matrix)

# 조건 1 : 정방행렬(Square Matrix) - 행과 열의 개수가 같음

# 조건 2 : 행렬식이 0이 아니어야 함

ex) 

A( a11, a12

    a21, a22)

# 조건 1 : 2x2 행렬

# 조건 2 : (a11 x a22) - (a12 x a21) != 0

# 조건 2가지가 성립하므로 역행렬 결과는

A( a22, -a12

    -a21, a11)

# 위의 결과에 1/(a11 x a22) - (a12 x a21) 을 곱해줌

# solve() 함수를 사용하여 역행렬을 구함 

# A1과 A2(A1의 역행렬)을 곱하면 단위행렬이 나옴

# 방정식 계산

2x + y = 3

-x + 3y = 10

  6. 전치행렬(Transpose Matrix)

# 행과 열을 바꿈

# t(행렬)

[Fast campus] Data Science with R 1기 - 이부일 강사님

R 공부하면서 배운 내용 복습 겸 정리하는 곳입니다.

1. 벡터(Vector) 

2. 요인(Factor)

3. 행렬(Matrix)

4. 배열(Array)

5. 데이터 프레임(Data.Frame)

6. 리스트(List)

7. 데이터 테이블(Data.Table)

8. 시계열(Time Series)

I. 벡터(Vector)

  # 하나 이상의 값(원소 : element)으로 이루어짐

  # 하나의 열(column)로 되어 있음

  # 하나의 데이터 유형만 가짐 

1. 벡터를 생성하는 방법 -> 원소가 2개 이상일 때 사용하는 방법

  # 벡터를 생성하기 보다는 데이터의 일부를 추출할 때 많이 사용

  (1) c(원소1, 원소2, ...)

# c : combine, concatenate의 약자

# numeric, character, logical 타입의 벡터를 만들 수 있다.

# 원소들 간의 규칙이 없을 경우에 사용

# vector는 하나의 유형만 가진다.

# 우선 순위가 높은 유형에서 하위 유형으로 변환은 잘 이루어지지 않는다.

# character -> numeric : "숫자" 일 경우 변환 가능

# logical -> numeric : TRUE는 1, FALSE는 0를 반환

  (2) :

# numeric vector에만 적용됨

# 1씩 증가 or 감소되는 숫자로 이루어진 벡터를 생성할 때 사용

# 규칙이 있는 숫자 

# start : end

# start < end : 1씩 증가

# start > end : 1씩 감소

# start = end : start or end

# start부터 시작해서 end를 넘지 않을 때 까지 1씩 증가 or 감소

# 항상 start 부터 시작한다.

# start가 실수면 마무리도 실수

# start가 정수면 마무리도 정수

  (3) seq(from=, to=, by=)  

# argument 명은 항상 적어주자

# seq : sequence의 약자 - 수열

# numeric vector에만 사용

# : 의 확장 개념

# from : start  /  to : end  /   by : 증가 or 감소 폭