Practice makes perfect

# 키보드로 숫자 입력하기

Enter를 두 번 치면 빠져나갑니다.

숫자만 입력 받아 저장되도록 기능이 부여 되었습니다.

하지만 What이라는 매개변수에 character()을 넣어주면 문자를 입력 받을 수 있도록 합니다.

# 편집기 활용한 데이터 프레임 만들기

Edit( )

# read.table 이용

# 탐색기 사용하기

# 구분자 있는 경우 (세미콜론, 탭)

read.table(file = "파일 이름 ", sep = " 구분자 " , header = T)

탭키구분자 : student2 <-read.table(file="student.txt", sep="\t", header=T)

세미콜론 : student2 <-read.table(file="student.txt", sep=";", header=T)

# 결측치를 처리하여 파일 불러오기

“ – “ 의 기호를 NA로 변경되어서 출력합니다.

# read.csv() 함수 이용

구분자 " , "가 sep의 기본값이며, header = TRUE가 기본값입니다.

# read. Xlsx() 함수 = 엑셀 데이터 읽어 오기

# 인터넷에서 파일 가져오기

url을 통해서 서버에서 제공해주는 data를 읽어 올 수 있다.

> dim(GDP_Ranking)

[1] 328 6 <328 행, 6열>

*read.csv , read.table, read.xlsx 반환형 = data.frame

그래프에서 y축의 값을 보다 보기 좋게 하기 위해서 1000단위로 축소하겠습니다.

1 : 1000 달러

# 1 - 4. 웹문서 가져오기

- 2010 ~ 2015년 미국의 주별 1인당 소득 자료 가져오기

https://ssti.org/blog/useful-stats-capita-personal-income-state-2010-2015

단계1 : XML / httr 패키지 설치 : 웹페이지의 내용을 읽어 올 수 있습니다(크롤링)

Packages 다운 받고, library를 활용해 메모리에 올려줍니다.

단계2 : 미국의 주별 1인당 소득 자료 가져오기.

GET을 통해서 url로 가서 데이터를 읽어와서 get_url에 저장해줍니다.

content를 통해서 e표기법으로 출력해줍니다. (GET 안에 기능 구현)

rowToChar를 통해서 웹사이트의 Html 소스 코드가 출력된다.

readHTML : 테이블에 있는 데이터를 문자열 그대로 읽어와라. / stringAsFactors= T 빈도의 값을 시각화 할 때 사용.

Str = 변수의 성격(성질)을 보여주는 함수

52주

문자열 처리

: 컴퓨터 프로그래밍과 형식 언어 이론에서 문자열은 기호의 순차 수열을 말합니다. 또한 스트링(string)이라고도 합니다. 이러한 기호는 미리 정의된 집합이나 음소 문자에서 선택합니다.

- 전처리에 유용하게 사용할 수 있는 기능입니다.

- 반드시 적용해야 하는 부분들도 존재하는 기능입니다.

R에서 문자열 처리에서 가장 많이 사용하는 패키지 = stringr

패키지가 설치되어 있다면 위의 팝업이 떠서 yes를 누르면 업데이트 된 것으로 다시 설치 됩니다.

형식 str_extract('문자열', '정규표현식') , extract = 추축, 발췌

*정규표현식 : 대상에 대한 선정을 할 수 있는 기호들의 묶음

- [0-9] 숫자만 검색 <-> [^0-9] 숫자를 제외한 나머지 검색

- [a-z] 영문 소문자만 검색 <-> [^a-z] 영문 소문자만 제외한 나머지 검색

- [가-힣] 한글만 검색 <-> [^가-힣] 한글만 제외한 나머지 검색

- [A-Z] 영문 대문자만 검색 <-> [^A-Z] 영문 대문자만 제외한 나머지 검색

# 주민등록번호 검사

\\d : 숫자 의미 제공

\\w (소문자) : 특수문자를 제외한 한글, 영문자, 숫자 포함

\\W (대문자) : 특수문자 선택

# 문자열 길이 구하기

str_length( 문자열 )

# 문자열 위치 구하기

str_locate( 문자열 , 내용 )

# 부분 문자열

str_sub( 문자열 , 시작 , 범위 )

# 대문자, 소문자 변경

대문자 변경 : str_to_upper(문자열)

소문자 변경 : str_to_lower(문자열)

# 문자열 교체하기

str_replace(문자열, 변경 전 내용, 변경 후 내용)

# 문자열 결합

str_c ( 문자열 , 내용 )

# 문자열 분리하기

str_split (문자열, 분리할 기호)

# 문자열 합치기

paste(문자열, collapse = '나눠줄 기호')

Data Frame

- 리스트 보다 활용 범위 넓습니다.

- DBMS의 테이블 구조와 유사 (서로 다른 데이터 타입을 갖는 컬럼)

- 가장 많이 사용하는 객체타입

- list 와 Vector 혼합형 - 컬럼구성: list, list 구성: vector

- data frame 생성 방법-Vector, Matrix, txt/excel/csv파일

= DB의 table과 유사 형태

Data Frame 특징

1. 형식) data.frame(컬럼1, 컬럼2.. 컬럼n)

2. 컬럼 단위로 서로 다른 자료형 가능

3. 모든 컬럼은 크기가 동일 해야함

1)vector 구조를 이용한 data.frame 생성

Matrix 는 모두 같은 자료형 이지만, data.frame은 다양한 자료형을 사용합니다.  

> class(vemp) # "data.frame"

[1] "data.frame"

2)matrix 구조를 이용한 data,frame 생성

by로 시작하는 단어가 byrow 밖에 없기 떄문에 정확사게 구별되어지는 단어 까지만 입력해주면 byrow로 인식합니다.

Matrix는 동일한 자료형으로 사용해야하기 때문에 모두 문자열로 바꿔서 출력합니다.

> class(m) # "matrix"[1] "matrix"

Matrix로 만들어준 것을 다시 data.frame에 넣어주면 가각 자료형으로 출력합니다.

컬럼의 이름이 없어서 (x1, x2, x3 )로 만들어 줍니다.

> class(memp) # "data.frame"[1] "data.frame"

수집된 데이터를 가지고 data.frame으로 만들어서 사용하는 것이 일반적입니다.

# txt 파일을 이용 객체 생성

read.table - 파일에 저장되어 있는 데이터를 읽어와서 data.frame의 구조로 반환

** Read.table 은 txt 이외에도 다양한 형태의 파일 포맷을 읽어올 수 있습니다.

header - 컬럼의 이름을 가지고 있을 때

- T , 컬럼의 이름을 가지고 있음, data는 두번째부터 읽어가라

- 컬럼의 이름 없이 데이터가 나오면 = F

sep - 데이터의 구분 단위

> class(txtemp) # "data.frame"[1] "data.frame"

# csv 파일 이용 객체 생성(header=T)

컬럼의 이름을 가지고 있음, data는 두번째부터 읽어가라

> class(csvtemp)#[1] "data.frame"[1] "data.frame"

# csv 파일 이용 객체 생성(header=T)

: 컬럼의 이름 없음

col.names - header의 해당되는 컬럼들의 이름을 부여합니다.

# data.frame 만들기

데이터 프레임 컬러명 참조 ($사용)

# data.frame 정보 확인

c = int , seq = num 로 저장

# summary 함수 : 수치형 데이터의 특징을 빠르게 제공합니다.

숫자형에서만 의미를 가지는 정보를 출력합니다.

# 데이터프레임 자료에 함수 적용

x열의 총합, y열의 총합을 출력

# subset : 부분 객체 만들기 (비교 연산자 활용)

subset 부분적으로 취합니다. (특정 조건 출력)

# 논리연산자를 활용한 두 개의 조건으로 부분 객체 만들기

subset 부분적으로 취함. (특정 조건 출력) – 부분집합

& : AND 연산자 ,

| : OR 연산자

# 데이터 프레임 만들기

: 다양한 형태의 자료형 관리

Sid (char) , Score (num) , subject(char)

# 자료형과 자료구조 확인

# 데이터프레임 병합하기

한사람에 대한 데이터가 두개의 데이터로 분리되어 수집했을 때, 데이터 셋을 병합하여 구축할 때 = merge 함수를 이용

# galton 데이터 셋

galton은 psych 패키지에서 제공되는 데이터 셋으로 갈턴에 의해서 연구된 부모와 자식의 키 사이의 관계를 기록한 데이터를 제공합니다. 전체 관측치는928개 이며 2 개의 변수 (child 와 parent) 를 제공합니다. 프랜시스칼턴(Francis Galton)은 영국 유전학자로 우생학 창시자 종의 기원를 저술 한 찰스 다윈의 사촌입니다. 우생학이란 유전학 의학 통계학을 기초로 우수 유전자 증대를 목적으로 한 학문입니다.

List : 서로 다른 데이터구조

- Vector, Data Frame, Array, List의 중첩구조

- c(구조체), python(딕셔너리)

- 함수 내에서 여러 값을 하나의 키로 묶어서 반환할 경우 유용함

# key를 이용하여 value에 접근하기 (Java map의 key , value 값과 유사)

자료의 구조가 vector 형태이지만 어떠한 자료의 구조가 와도 문제없이 key-value의 형태로 실행합니다.

Member의 값에 주소 값을 넣어서 member (참조자료형) 사용 

java에서는 ( . ) 을 활용하여 변수로 접을 할 수 있었는데, R은 $로 변수에 접근 할 수 있습니다.

R에서는 변수, 함수의 이름으로 ( . )을 사용하고, java에서는 변수, 메서드의 이름에 $를 사용합니다.

list 부분적인 추가 작업은 key-value의 추가는 과정은 적극적으로 활용하지 않습니다.  

복잡성에 의해서 적합한 작업이 아닙니다.

# 1개 값을 갖는 리스트 객체 생성

: List의 구조일 때, 반드시 key-value 값으로 저장해야 하는 것은 아닙니다.

#[[1]] ---------> key(생략) [[n]]

#[1] "lee" ---------> value[n]

: Key 가 없으면 대괄호 두개 안에 index를 통해서 출력

# 1개 이상의 값을 갖는 리스트 객체 생성

위의 자료 구조를 vector의 자료 구조로 변경

Key값이 없을 때, vector의 형태로 변경하여 데이터 관리하는 것이 편리합니다.  

(단, 같은 자료형 사용)

Lapply : list에서 활용하는 함수로, 입력으로 vector 또는 list 를 받아 list 를 반환합니다.

Sapply : 리스트 형식을 벡터 형식으로 반환하기, 벡터로 반환되는 정수 값은 integer로 반환해줍니다.

# 다차원 리스트 객체 생성

key 값이 없는 List 안에 list

# key 값이 존재하는 list 안에 list

# 다차원 리스트를 열 단위로 바인딩

do.call cbind에 의해서 열단위로 만들어 바인드 해주고, 그때의 자료 구조를 matrix로 반환합니다.

Array : 동일 데이터 타입을 갖는 다차원 배열

- 3차원배열 객체생성 (행과 열이 여러 개 추가되는 개념)

- R에서활용도낮음

Java / int [면] [행] [열]

R / (행)(열)(면) - 3차원 배열 생성

3행 2열을 하나의 면으로 만들고, 두번째 면을 만들어 줍니다.

이름으로는 데이터에 대한 정보를 알 수 없기 때문에 출력의 결과를 잘 관찰해야 합니다.

# 3차원 배열 객체 자료 조회

# 데이터 셋 자료보기

면은 before, after, 행은 소프트웨어 이름, 열은 버그의 이름

프로그램의 검증의 단계에서 사용되는 함수 = severity_Counts

severity_Counts 는 RSADBE 패키지에서 제공하는 데이터 셋으로 다음과 같이

소프트웨어 발표 전과 후의 버그를 측정한 10 개의 벡터 자료를 제공합니다.

- BugsBR/AR 단순 버그

- NTBR/AR 사소하지 않은 버그

- MajorBR/AR 중대한 버그

- CriticalBR/AR 결정적인 버그

- H.BR/AR 시급한 버그

출시 이전 버그의 개수 : BR , 완료한 이후 출시 직전 or 직후 버그의 개수 : AR

최종개수는 모든 AR 코드의 합계 : 449

Matrix 자료구조

- 동일 데이터 타입을 갖는 2차원 배열

- 행렬(matrix) 객체

- Matrix 데이터생성함수

1)rbind() : 행 묶음 – 행 중심

2) cbind() : 컬럼 묶음 - 열 중심

- Matrix 데이터처리함수

3) apply() : 함수적용 = 기술 통계 분석 (최대값, 최소값, 평균값 등…)

처리 탐색에서 많이 사용되는 함수.

Apply( matrix 구조 객체 , 1(행) or 2(열) , 기능)

= apply 와 유사한 이름의 함수가 많다. 각각의 개념을 잘 알고 있어야합니다.

결과 출력은 열의 우선순위로 출력됩니다.

# 행렬 객체에 컬럼 명 지정하기

5행 1열

Nrow를 통해서 행의 개수 정의 -

행과 열이 일치되지 않을 때, 원하지 않는 내용이 들어가서 잘못된 결과 도출이 될 수 있습니다.

Byrow : 행 중심으로 출력합니다.

주의 )

10행 1열로 출력 된다.

= true , false 값을 가지며, default 값 = false 로 세팅 되어 있다. 매트릭스는 컬럼으로 채워집니다.

만약 이 매트릭스가 false가 아니면 rows 중심으로 채워집니다,

Details

If one of nrow or ncol is not given, an attempt is made to infer it from the length of data and the other parameter. If neither is given, a one-column matrix is returned.

만약 nrow나 ncol 가 없으면 byrow는 의미가 없이 그대로 적용됩니다.

Ncol = 컬럼의 개수(열)

2행 5열(열 중심)

매개변수의 이름 입력하면 순서대로 매개변수가 입력 합니다.

# 자료형, 자료구조 확인

# Matrix 데이터 불러오기

Vector 데이터는 a[1, 2] = error / ( , ) 사용할 수 없습니다. 그 이유는 Matrix 의 개념으로 ( , )가 연결 되기 때문입니다. (통일된 컨셉으로 인함)

# 자료의 개수 보기

length(x) # 데이터 개수

ncol(x); nrow(x) # 열 / 행 수

# 함수 정의하기 = function()

java에서 함수는 method로 class의 참조자료형을 생성하여 특정 object의 기능이나 특징에 한정하여 구현하는 것으로 범용적인 개념이 아닙니다. java에서는 이름을 바로 정의합니다.  

R 함수 = 기능을 적용해서 범용적으로 사용, 함수를 정의하고 난 후 변수를 선언하여 변수에 담아줍니다.

R에서 제공하는 주요자료 구조(객체타입)

- Vector : 동일 데이터 타입을 갖는 1차원 배열

- Matrix : 동일 데이터 타입을 갖는 2차원 배열

- Array : 동일 데이터 타입을 갖는 다차원 배열

- List : 서로 다른 데이터 구조 (Vector, Data Frame, Array, List) 중첩

-> 데이터셋으로 묶음으로 관리하는 것이다. 가장 광범위하게 관리 방법입니다.

- Data Frame : 열 단위로 서로 다른 데이터 타입을 갖는 배열 – 가장 많이 사용합니다.

-> 2차원 테이블 구조(DB 테이블 과 유사)

서로 다른 자료형 일 때, 배열로 관리할 수 없고, 테이블의 형태로 관리할 때 자료형이 달라도 같이 관리할 수 있다. R에서 이러한 개념을 Data Frame이라고 합니다. 배열이라고 보기 보다는 table형태의 포맷으로 보는 것이 좋습니다.

R의 변수 1) 스칼라 변수(1개)

             2) 벡터 변수(2개 이상)

R의 주요자료형 vs Java의 배열

1)Vector 자료구조

- R의 기본 데이터 구조

- 1차원 배열 형태 -- 접근: [index] : 1부터시작

- 동일한 타입의 데이터만 저장 가능  (숫자와 문자가 같이 입력되어 저장될 때, 모두 문자열화 시켜서 저장한다)

- 벡터데이터생성함수: c() : combine 함수, seq() : sequence 함수, rep() : replicate 함수

- 벡터데이터처리함수: setdiff(), intersect()

2) 벡터 데이터 생성 함수 : c(), seq(), rep()

# Combine 함수 : c()

c() 생략이 가능 합니다.

# sequence 함수 : 임의의 간격을 자기고 싶을 때 사용하는 함수 입니다.

# replicate 함수 : 인자(대상, 반복수)

3) 벡터의 처리 함수 : union(), setdiff(), intersect() 함수

한 줄씩 처리하 수 있고, 블록으로 묶어서 한번에 처리 할 수 있습니다. = 배치성 처리 방식

( ; ) 을 이용하면 한번에 여러가지를 처리 할 수 있게 합니다.

+) 기타

숫자열과 문자열이 함꼐 있으면 모두 문자열로 변환합니다.

( ; ) 을 이용하면 한번에 처리가 가능합니다.

모든 값을 삭제 할 때, null 값을 넣습니다. 모든 변수드이 참수변수(주소값을 담고 있음)입니다.

- 주소값에 null 을 넣어서 heap영역의 할당 되어 있는 값이 사라지게 하는 것입니다.

- 참조 변수 초기화 = null 값을 넣습니다.

최종적으로 숫자형으로 결과가 나타난다면 어떤 코드를 사용 가능합니다.

combine 함수를 이용해야 가능합니다.

combine 함수 안에서 사용하면 ( , ) 를 사용해하면 error 나지 않습니다.

( - ) 는 해당 위치의 원소를 제외한 값을 출력합니다.

마지막 검증 테스트 과정에서 사용하는 함수로 버그를 분류해서 데이터를 담아주는 함수입니다.

R , 파이선이 데이터 분석에서 부각이 된 이유 무엇일까요?

그 이유는 분석 관련 알고리즘을 보게 되면 모든 이론들이 머신러닝이라는 이름 하에 엄청나게 많은 연산이 이루어집니다. 이러한 데이터의 형태가 숫자를 통해서 결과를 도출하는 알고리즘이기 때문에 실직적으로 알고리즘에 적용될 때는 수치형으로 변환시켜 알고리즘에 넣어서 학습을 통해 결과를 도출하기 때문에 별도의 자료형을 가지고 있지 않아도 됩니다. 이러한 이유로 데이터 분석에서 부각되어지고 있다고 합니다.

R 변수의 특징

R은 데이터를 담아주는 구분이 없기 때문에 변수 안에는 컴퓨터가 인식할 수 있는 데이터를 변수의 이름만 선언을 해주면 모든 데이터를 담을 수 있는 특징을 가지고 있습니다. 이러한 기능 가능한 이유는 동적 할당 언어(동적 프로그래밍 언어)로, 변수의 데이터를 담을 때 담는 순간 자료형이 결정되집니다.

R 의 단점

클라이언트의 요청, 요구에는 각각 고유의 특징을 가지고 있습니다. 이러한 것을 분석의 결과로 가져올 수 있게 모든 알고리즘이 제공해주지는 못합니다. 목표점을 가지고 분석결과에 맞춰서 데이터셋을 가지고 결과를 도출해야 합니다. 그렇기 때문에 전처리 작업에 있어서 프로그래밍 능력을 요구 합니다. 이러한 전처리 부분에 있어서 R, 파이썬으로는 가독성이 떨어지면 기능 구현에 있어서 불편한 점들이 존재합니다. 이러한 이유로 실질적인 내부 로직을 구현하기 위해서는 c , c++ , java 를 통해서 결과를 수행합니다.

객체지향이란 무엇일까요?

제가 생각하는 객체지향이란, 객체지향 하나하나로 바라보는 것이 아니라 레코드를 하나의 객체로 바라보는 것입니다. java 에서 하나의 변수의 이름으로 관리하는 것이 참조자료형의 선언이었고, 이게 객체지향이 프로그램 안에서 적용되었던 방법이었습니다. 즉, 데이터를 하나씩 바라보는 것에서 레코드 단위로 하나의 변수의 이름을 가지고 관리하는 것을 의미합니다. R 또한 객체지향 언어이므로 객체지향의 개념을 명확하게 아는것이 중요합니다.

# 스칼라 변수 : 하나의 데이터만을 저장한 변수

# 스칼라 변수의 자료형

자료형을 반환해주는 함수 : mode()

# 벡터 변수 : 두개 이상의 데이터를 담고 있는 변수

# 문자 벡터와 그래프 생성

시각화 해주는 함수(빈도수) : plot()

error : plot() 함수는 숫자 자료만을 대상으로 그래프를 생성할 수 있습니다.

# 요인형 변환 :  as.factor() 함수 이용 범주(요인)형 변환 

Database의 도메인의 개념 : 컬럼항목이 가질 수 있는 값 / ex) 성별 – 남,여(도메인) 이러한 개념을 R에서 범주라는 개념으로 사용합니다.

# Factor형 변수로 차트 그리기

# 자료구조에 대한 정보 확인 함수 : class

# factor() 함수 이용 Factor형 변환

매개 변수(parameter)가 6개로 정의되어 있어도 다양한 형태로 함수를 호출할 수 있도록 호출 형태를 제공해 줍니다.

function (x = character(), levels, labels = levels, exclude = NA,

ordered = is.ordered(x), nmax = NA)

x = character() x에 값이 전달되어지면 바로 저장되고, 값이 저장되지 않으면 초기화 되기때문에 아무 값을 넣지 않아도 출력합니다.

labels = levels, exclude = NA, ordered = is. ordered(x), nmax = NA 값을 넣지 않아도 초기화 해줍니다.

levels의 값만 넣어주면 문제없이 출력합니다.

levels에는 초기화 값이 없기 때문에 값을 넣어주지 않으면 error가 발생

또한 매개 변수의 순서가 중요하지 않으며, 각각의 이름을 붙이기 때문에 문제없이 출력합니다.

원칙적으로는 error가 나타나야 할 것 같은데 error 가 나지 않는 이유는?

: x에 전달되는 데이터를 character로 형 변환해서 사용하기 때문입니다.

factor(x = character(), levels, labels = levels, exclude = NA, ordered = is.ordered(x), nmax = NA) ordered(자동 정렬)(x, ...): 알파벳 순서, 가나다 순, 123순으로 나열합니다.

# 순서 없는 요인(default값)과 순서 있는 요인형 변수(factor 함수 활용)로 차트 그리기

# 함수의 parameter 보여주는 함수 : args()

# 함수 사용 예제를 보여주는 함수 : example()

# 작업 공간 확인 , 변경

  getwd() = 작업 공간 확인

  setwd() = 작업 공간 변경, 하지만 R studio가 꺼지면 초기값으로 돌아옵니다.

# 도움말 보기 – RStudio를 사용하면 함수에 대한 자세한 설명을 볼 수 있다.

# 복소수형 : 실수 와 허수가 함께 사용 된 수치의 형태 / 허수 독자적으로만 표현 되어도 문제x

                 허수 : 제곱하여 -1이 되는 수를 허수단위라 하고 기호로 i와 같이 나타냅니다.