데이터 엔지니어는 회사의 서비스에서 파생되는 데이터들과 3rd party에서 생성되는 데이터들을 클라우드(Cloud) 혹은 온프레미스(On-premise) 환경에 있는 데이터 인프라에 수집하고 가공 및 관리하는 업무를 한다. 데이터 엔지니어는 데이터 과학자와 데이터 분석가가 데이터를 활용할 수 있도록 데이터 플랫폼을 구축하는 업무를 하며 이를 통해 과학자와 분석가가 어떠한 비즈니스적 가치를 창출하는 업무를 할 수 있다.

그래서 원천 데이터(Data)의 생성 및 수집부터 데이터(Data)를 가공해 데이터 레이크(Data lake), 데이터 웨어하우스(Data warehouse)를 만들고 이러한 데이터 레이크(Data lake), 데이터 웨어하우스(Data warehouse)를 활용할 수 있는 각종 오픈소스들을 구축 및 관리해 데이터 인프라(Data infra)를 제공한다.

만약 초기에 데이터 인프라(Data infra)가 구축이 안되어 있다면 구축 업무를 주로 하며 구축이 완료된 이후부터는 운영성 업무가 주를 이루게 된다. 또한 데이터 관련 기술이 발달 되어 데이터 인프라(Data infra)에 대한 고도화가 필요할 경우 운영과 구축업무를 진행해 효율화를 진행한다.

■국내현황
과학기술정보통신부·한국데이터산업진흥원(2021)의 “2020 데이터산업 현황조사”에 따르면, 데이터 산업의 시장규모가 전반적으로 커지고 있는 가운데 데이터 직무인력 101,967명으로 전년보다 14.5% 증가(1만2909명) 증가했다. 이중 데이터 엔지니어 종사비중은 16.1%를 차지하고 있는 것으로 파악되고 있다.

■2020년 데이터산업 인력 구성 및 데이터직무별 인력 비중                    단위: 명

■필요역량
4년제 컴퓨터(공학) 관련 학과, 빅데이터 관련 학과 등을 전공하면서 자료구조, 운영체제, 특정 프로그래밍 언어에 대한 깊은 이해, 네트워크, 알고리즘 등을 익히는 것이 필요하며 한국데이터산업진흥원의 데이터 엔지니어링 강좌 등을 비롯해 민간아카데미에서도 빅데이터 엔지니어 관련 교육등이 개설되어 있다. SQLD, DAP, DAsP 등의 자격이 관련 있으나 자격증보다 실무 경험이 더 필요하다.

데이터 엔지니어는 다른 직군과 협업할 일이 많아 기획, 마케팅, 비지니스에 관심이 있다면 유리하며 또한 데이터 활용에 대한 이해가 있어야 더 효율적으로 데이터 파이프라인을 구성할 수 있기 때문에 AI, 데이터 분석에 관심이 있다면 업무에 도움이 된다.

■향후전망
전 세계 엔지니어링 빅데이터 시장은 2025년 28억 달러 내외의 시장규모로 성장이 예상됨에 따라 국내 데이터 엔지니어에 대한 일자리 수요 역시 꾸준할 것으로 전망된다. 지속적 성장이 예상되는 AI, 빅데이터 분야에서 데이터 엔지니어가 부족하다면 데이터 분석과 AI모델링에 애로가 있으므로 상대적으로 인력수요가 늘어날 것으로 보인다.

기업에서 발생하는 데이터의 양은 기하급수적으로 증가하고 있고 관련되어 사용되는 솔루션에 대한 비용, 데이터를 활용하기 위한 비용도 커지고 있으며 관련 시장도 성장하고 있는 추세이다. AI는 이제 기업에서 필수적인 기술 혹은 다른 기업과의 경쟁력, 차별점으로 되어 가고 있다. 이러한 상황에서 AI의 고도화를 위해서는 데이터 활용이 필수적인 만큼 데이터 엔지니어의 역할 역시 무척 중요하다.

국내는 아직 데이터를 중심으로 사업을 하는 대규모 기업이 없으나 미국 등 해외는 클라우드 기반의 데이터 저장업체 등이 기업의 데이터 가치를 높이고 데이터를 통해 기업들이 비즈니스에 필요한 인사이트를 얻도록 하는 기업이 늘어나는 추세이다. 국내도 점차 데이터 관련 스타트업들이 늘어날 것으로 보이며, 데이터 엔지니어 역시 수요가 증가할 것으로 전망된다.
[출처: 한국고용정보원, 디지털그린 직업정보 발췌]

*에듀진 기사 URL : http://www.edujin.co.kr/news/articleView.html?idxno=42085
기사 이동 시 본 기사 URL을 반드시 기재해 주시기 바랍니다. 

* 대입 성공의 길 알려주는 '나침반36.5' 매거진 정기구독 이벤트 [배너 클릭]