Life is Algorithm

■데이터마이닝 : 대용량 데이터에서 의미있는 패턴을 파악하거나 예측하여 의사결정에 활용하는 방법 ​ ■분석방법 - 지도학습(교사학습): 정답을 알려주고 풀이는 하는 방식 => 의사결정나무, 인공신경망(ANN), 일반화선형모형, 회귀분석, 사례기반 추론, 최근접 이웃법(KNN) ​ - 비지도학습(비교사학습): 비슷한 데이터를 군집화하는 방식 => OLAP, 연관성규칙발견, 군집분석, SOM ​ ■추진단계 - 목적 설정 -> 데이터 준비 -> 가공 -> 기법 적용 -> 검증 ​ ■데이터마이닝을 위한 데이터 분할(사전준비) : 모델 평가용 테스트 데이터와 구축용 데이터로 분할하여, 구축용 데이터로 모형을 생성하고 테스트 데이터로 모형이 얼마나 적합한지를 판단 - 구축용(50%), 검정용(30%), 시험용(20..

Developer 2020. 3. 14. 16:54

통계 : 특정집단을 대상으로 수행한 조사나 실험을 통해 나온 결과에 대한 요약된 형태의 표현 ​ ■표본조사 : 모집단에서 샘플을 추출하여 진행하는 조사 - 모집단(population) - 원소(element) - 표본(sample) - 모수(parameter) ​ ■표본추출방법 - sample random : 단순 랜덤 - systematic : 어떤 구간에서 어떤식으로 추출하겠다. 공식으로..(표본을 5개씩 나눠서 그중 1개를 추출) - cluster : 군집을 구분한후.. 단순랜덤 추출 - stratified random : 각 계층별 대표 ​ ■측정방법 [질적척도] - 명목척도: 측정대상이 어느 집단에 속하는지 분류할때 사용(성별, 출생지) - 순서척도: 측정대상의 서열관계를 관측하는 척도(만족도,..

Developer 2020. 3. 14. 16:47

데이터웨어하우스(Data WareHouse) 데이터마트(Data Mart) ​ 요약변수 파생변수 ​ reshape: 변수를 조합해 변수명을 만들고 변수들을 결합해 다양한 요약변수와 파생변수를 생성 철을 녹여(melt) 다시 모양을 다시 만듦(cast) -melt() -cast() ​ sqldf: R에서 sql의 명령어를 사용가능하게 해주는 패키지 ​ plyr: apply 함수에 기반해 데이터와 출력변수를 동시에 배열로 치환하여 처리하는 패키지 ​ data.table: R에서 가장 많이 사용하는 데이터 핸들링 패키지 - data.frame 방식보다 월등히 빠른속도 - 특정 column을 key 값으로 색인을 지정한 후 데이터를 처리 - 빠른 grouping, ordering으로 속도차가 큼

Developer 2020. 3. 14. 16:42