Chapter 13. 데이터 과학과 빅데이터

[leegyeongwhan]

질문을 남겨주세요

[leegyeongwhan]

예전부터 하둡에 대해 궁금했는데 하둡이 나오네요 대용량 DB로 알고있었는데 왜 이파트에 나오는지 알겠습니다.
하둡은 정확히 말하면 대용량 데이터를 분산처리 할수 있는오픈소스 프레임 워크라고 합니다. 제가 지금까지 알고있던 하둡이 DB라는 부분은 하둡의 일부분이었네요.

정리하자면 하둡은 빅데이터 분산 저장 시스템(HDFS) (분석도 된다) , 분산처리 (맵리듀스)로 데이터를 처리, 요약이 가능 한 것 같습니다. 분산 저장이 , 분산 처리라는 말이 굉장히 핵심 키워드네요.

[leegyeongwhan]

R, SPSS, SAS 는 통계를 다룰수있는 프로그램 같군요 물론 파이썬, 액셀로도 가능 한 것 같습니다.

[leegyeongwhan]

현대 빅데이터의 시대에서 결국 대용량 데이터를 다룰 수 있는 프렘임워크(분산 처리, 분산 저장 가능) 한 하둡과, 가용성 확정성이 우수한 NOSQL + 통계를 할수있는 R언어 + AWS, MS 와같은 클라우드 컴퓨팅 시스템 등 이모든 것들이 모여 현재의 빅데이터를 다룬다고 이해했습니다.