5. 대규모 데이터 처리 실전 입문

애플리케이션 개발의 급소

지금까지는 데이터가 대량으로 있더라도 국소성을 발견하고 그에 맞게 시스템 구성을 변경해서 속도를 내는 형태.

하지만 검색, 통계처리와 같은 애플리케이션에서는 광범위한 데이터에 액세스하므로 애초에 ‘데이터 내에서 이 부분만’이라고 절단할 수 없다.

이 장에서는 MySQL 등에서 처리할 수 없는 규모의 데이터를 대상으로 계산하고자 할 경우에는 어떠한 대책이 있을지 살펴보도록 한다.

용도특화형 인덱싱

대규모 데이터를 능수능란하게 다루기

인덱스와 시스템 구성 - RDBMS의 한계가 보일 때

RDBMS를 버려라..? 그만두라는 얘기는 아니다..

배치 처리로 RDBMS에서 데이터를 추출해서 별도의 인덱스 서버와 같은 것을 만들고, 이 인덱스 서버에 웹 애플리케이션에서 RPC(Remote Procedure Call) 등으로 액세스하는 방법을 사용한다.