김용문 기술전문가 과정 6기 감사로그팀장
 

주제가 흔한 것 같으면서도 업무 환경에서 필요한 현실적인 주제라고 생각된다.

‘로그 분석’이라는 말이 익숙해서 그러지 않을까 합니다. 배치 처리와 실시간 처리를 동시에 할 수 있는 아이템을 찾다가, 실시간으로 수많은 로그 데이터가 생성되는 운영체제 로그 분석을 주제로 정했습니다. 대용량 로그 데이터 처리？분석에 특화된 상용 분석도구가 고가에 팔리고 있다고 들었습니다. 그만큼 니즈가 있다는 말이겠지요.

완료하기까지 고생이 많았다는 얘기를 들었다.

배우는 입장에서 접해 보지 않았던 빅데이터 기술을 총동원하다 보니 각오했던 어려움이었습니다(웃음). 그 과정에서 얻은 게 많았지요. <익숙한 것으로부터의 결별>이라는 책 제목까지 있듯이 뭔가 아는 테두리에서 맴돌다 보면, 안전하기는 하겠지만 그만큼 얻는 것도 없다고 생각합니다. 수료 프로젝트를 ‘이왕 할 거라면 힘이 들더라도 즐겁게 하고 다른 사람에게도 도움이 될 만한 것을 만들어 보자’는 의견에 팀원들이 공감하면서 목표 지점까지 함께 갈 수 있었습니다. 주제의 특성에 따른 어려움도 있었습니다. 분석 인프라를 구축하는 과정은 운영체제의 버전과 오픈소스 분석 도구의 버전 등에 매우 민감합니다. 실수를 반복하는 과정의 연속이었으므로, 비슷한 프로젝트를 하는 사람들이 고생을 덜 하도록 매뉴얼로 정리해 두면 좋겠다고 생각했습니다. 수료 프로젝트로 했던 결과물을 공개할 때, 매뉴얼까지 동시에 공개할 계획입니다. 우리팀의 기획 의도가 분명하게 전달되면, 모르는 누군가가 아이디어를 더해 정말 좋은 쪽으로 발전시켜 나갈 것이라고 기대합니다. 참고로 빅데이터 아카데미 수료 프로젝트는 개발자, 시스템 전문가 등 다양한 전문가들이 모여서 하는 일반적인 프로젝트와는 달랐습니다. 배우는 입장이다 보니, 눈에 띌 만한 결과물 도출에 중점을 두지 않고 그 과정을 중시했는데 그것이 좋게 작용했다고 생각합니다/

에피소드도 많았을 거 같다.

예. 낮에는 회사에서 일하고 퇴근 후 시간과 주말을 이용해 과제를 수행해야 했기에 육체적으로도 많이 힘들었습니다. 그러다 보니 당연히 에피소드도 많았지요(웃음). 수원에서 일하는 한 팀원이 버스를 타고 서울 모임장소로 오다가 잠이 들었나 봅니다. 눈을 떠보니 수원으로 내려가는 차 안이었다고 합니다. 그 팀원은 회사에서 야근을 하면서 빅데이터 아카데미 수료 프로젝트에 참여하고 있었으므로 이해가 됐습니다(웃음).

어떤 것이 가장 기억에 남나?

어렵다고 느꼈던 것을 정면으로 마주쳐 하나씩 해결해 나가던 과정이 그것입니다. 말 그대로 고뇌와 희열의 연속이었습니다. 예를 들어 윈도우 서버 감사 데이터를 배치 처리와 실시간 처리를 할 때, 예전 방식으로 했다면 실시간 처리 서버와 배치 처리 서버를 따로따로 구현했을 수도 있었을 겁니다. 빅데이터 오픈소스 패키지를 이용함으로써 실시간 처리와 배치 처리를 한 곳에서 구현할 수 있었습니다. 빅데이터는 전통적인 IT 관점에서 벗어나는 패러다임의 전환이지 않나 싶습니다. 스마트폰, 소셜 네트워크 서비스 등이 인기를 얻으면서 데이터 처리나 구현 방법에서 혁신이 있었는데, 빅데이터가 그러한 변화의 결집체라고 생각합니다. 각자의 필요에 따라, 상황에 따라 빅데이터 뒤에 숨은 현실적인 기술과 개념을 받아들이는 것이 IT 업계 담당자들이 해야 할 일이 아닐까 ....