Big data라는 용어의 등장은 2012년 World Economic Forum(WEF)에서

10대 IT 기술부문에 선정되며 시장에 많은 관심을 받게 되었다.

하지만 이미 이전에 Experts system(이하 전문가 시스템), Information Retrieval(이하 정보검색)등에서 꾸준히 다루고 있던 주제였다.

단지 현재처럼 대량의 데이터를 컨트롤함에 있어 기반구조 마련 부담이 완화된 시점에와서야

새로이 등장한 것 처럼 생소하게 비추어 지고 있을 뿐이다.

(주: 원 문서 최초 작성이 2011년 정도 쯤 작성되었으니, 이제는 보편화된 기술용어가 되어 있다.)

기존 Infrastructure가 갖고 있던 제약은 1990년대 말부터 태동된 Hadoop의 등장으로

많은 부분이 보다 저렴(?)하게 해소할 수 있게 되었다.

Cloud의 키워드 등장이전에도 이미 분산컴퓨팅의 활용방식에 대하여

Virtualization(물리/논리적 가상화를 통칭)으로 정립되어 있었던 상황으로

이와 관련된 기술의 흐름은 다음과 같다.

예전에는 데이터를 중심으로 한 인프라가 아닌 단순, Calculating power(연산 프로세스 Job)의

효율적인 분배와 취합에 초점을 맞춘 방식이 있었다.

대표적으로 EU의 연구센터에서 자주 사용하던 Condor project등을 들 수 있겠다.

현재는 High Performance Computing(HPC)부분으로 명맥을 유지하고 있는 것 같다.

위의 방식은 물리적으로 거리가 있는 환경에서 데이터 무결성 유지와

연산력 할당(Job 분배라고 표현 하드라.)에 대한 문제점등을 가지고 있었다.

(주: 2007~8년?? 기준의 판단이니, 현 시점에서의 정보는 다른 양상을 띄고 있을 것 이다.)

Condor까지 아우르고 있었던 Grid aliance에서는

GFtp와 같은 전용 프로토콜을 기반으로 데이터 동기화 실험을 통해

Data Grid라는 영역을 학계에 선보이기도 하였으나,

물리적으로 거리가 있는 노드간의 여러 문제점은 꾸준히 제기되고 있었던 상황 이었다.

이 시점에서 Web 2.0이라는 키워드가 시장에 파급력을 이끌게 되었던 시기를 기억할 것 이다.

과거의 웹 환경은 일부 생산자에 대하여 일방적인 고정 데이터 제공 방식에서

"사용자 참여"라는 형태로 탈바꿈하게 된 시점이기도 하다.

(싸이월드 같은 서비스를 생각 하면 편하다~)

기존 연산 중심에서 데이터 중심으로 IT환경이 바뀌게 된 사건이라고 볼 수 있다.

이와 함께 데이터 처리 방식은 기존 별도의 프로토콜 제작에 할애하던 시간들을 HTTP라는

World Wide Web(www)의 형태를 기본으로 두게 된다.

HTTP는 단순한 루틴을 따르고 있어 일반인들도 무의식적으로 활용하는 방식을 따르고 있다.

사용자의 요청에 대한 답변.

단순 명료한 방식으로 원격지의 사용자가 원하는 데이터를 가공하여 제공하는 방식이다.

단순 데이터의 이/전송에 있어 표준 프로토콜이라고 보면 이해하기 쉬울 것 이다.

Big Data에서 빠지면 안되는 키워드 중 Metadata와 XML도 있다.

metadata의 원론적 의미는 데이터를 표현하기 위한 데이터로, http와 같은 데이터 전송에 순수 데이터뿐만 아닌

이 데이터가 어떤한 데이터 타입이며,

어떠한 자료인지에 대한 설명이라고 보면 될 것 이다.

이를 제약없이 자유롭게 표현하는 언어인 XML로 가공하게 되어 보다 명시적인 데이터

이/전송이 가능하게 된 기술로 이해하면 된다.

(설명 쫌 난해하네.. -_-;; 나중에 수정 좀 해야 겠다. 사설 절라 기네... --a)

2000~2002 년 클라우드 컴퓨팅이 시장에 뿌리내리는 시점에서 고객들에게 피력한 키워드는 단순 하다.

IT자산의 공공서비스화.

즉, 사용자는 수도, 전기, 가스 등과 같이 필요한 만큼 사용하고 이에 대한 사용료를 부가한다는 방식이다.

하지만 이와 함께, 이 대규모 IT 시스템을 누가 구축/관리 하느냐? 역시 주요한 이슈가 되었다.

(국가에서 할래? 기업에서 할래?)

현 상황에서 본다면, 돈 벌이 될 듯 하니 한창~ "아직까지도... 국내는 삽질 중"이 총평이 될것 같다.

(주: 시장에 튀 나온 서비스 기준이니, 열심히 닭질 중이신 IT 관련 담당자 분들은 발끈하지 마세~~~ ㅋㅋㅋㅋ)

마지막으로

아이러니 하게도 이제 데이터 중심이 어느정도 마무리된 듯

다시 연산중심으로 가고 있는 재미난 상황~

주 : 자세한 기술이 더 나열되면 가볍게 읽을 뻘글이 아닌 실무담당 뻘짓이 되버리기에 이쯤에서 일 단락.

그나저나 독투에 뻘글 써도 되나 모르겠음.