"이 기능이 자동으로 된다면 얼마나 편할까?"
"패턴 작업을 좀 더 빠르고 효율적으로 할 방법이 없을까?"
이런 고민은 Machine Learning Chapter에서 이미 한발 앞서 해결책을 고민하고 있을지도 모릅니다. 단순한 데이터 분석을 넘어 패턴을 학습하고 최적화하여, 유저의 워크플로우를 더욱 효율적으로 만들고 작업 부담을 줄이는 솔루션을 개발하고 있습니다.
이러한 여정을 만들어가는 Machine Learning Engineer, Elmo를 만나 이야기를 들어보겠습니다!
Q. 자기 소개 부탁드립니다.
저는 Elmo 입니다. R&D Division의 Machine Learning Engineering Chapter에서 일하고 있습니다. Machine Learning(이하: ML) 뿐만 아니라 소프트웨어 관련해서 새로운 기술들을 접목하여 이것저것 만들어 보는 것을 좋아합니다. 클로버추얼패션(이하: 클로)에 합류한 지는 2년이 좀 넘었구요. 재미있고 새로운 여러 feature들을 연구하면서 개발도 진행하고 있어요.
Q. 클로에 입사하게 된 계기를 설명해주세요.
원래는 의료데이터 분야에 대한 연구와 소프트웨어 개발을 꽤 오랫동안 했습니다. 제가 개인적으로 컴퓨터 그래픽스 기술을 활용한 서비스에 관심이 많았는데요, 의료 분야에서 나름 그래픽스와 머신러닝 기술을 활용해서 괜찮은 결과물들을 많이 만들어 냈었습니다.
일을 하면서도 한편으로는 제가 가지고 있는 기술을 활용해서 조금 더 다채로운 일을 해볼 수 있지 않을까 하는 생각을 항상 가지고 있었습니다. 특히, 저는 당시에 WebGL을 활용해서 제가 만든 결과물들을 웹에서 보여주는 것을 좋아했는데요. 우연히 클로에서 Web Graphics Engineer와 Machine Learning Engineer 채용 공고가 올라와 있는 것을 보고 눈길이 갔습니다. 처음엔 가벼운 마음으로 "다른 분야에서 일을 해보면 어떨까?" 하며 지원을 했었는데요, 클로에 대해서 알아보니 단순히 재미있는 기술 스타트업 정도가 아니라 전 세계적으로 많은 유저들이 사용하고 있는 소프트웨어라는 것을 알게 되어 큰 매력을 느꼈던 것 같아요.
조사해보니 회사에서 사용하는 개발환경이 저에게 익숙한 부분이 많아서 저의 역량을 펼쳐볼 수 있을 것 같았어요. 그리고 의상 시뮬레이션 기술을 기반으로 성공적인 서비스를 하고 있다는 점도 멋지고 매력적으로 다가왔습니다. 의료 분야는 약간 딱딱하고 보수적인 면이 있었는데 의상을 디자인하는 분야는 컬러풀하기도 하고 더 재미있을 것 같았어요.
Q. 소속된 팀의 업무 및 미션, 구성원, 분위기에 대해 소개를 해주세요.
현재 ML Chapter는 연구 내용을 실제로 우리 서비스에 적용했을 때 어떤 결과물이 나오는지 프로토타이핑하고 테스트하여 유관 부서와 공유하고, 도출된 결과물을 서비스에 적용해서 업데이트하는 업무를 맡고 있어요. 그리고 머신러닝 등 최신 기술을 통해 CLO 내 서비스와 기능(feature)의 품질을 향상시키는 것을 주요 미션으로 삼고 있습니다.
요즘 AI를 활용해서 신기하고 화려한 결과물들을 많이 접할 수 있는데요. 한편으로는 보이지 않는 곳에서도 AI와 ML을 활용해서 효율과 안정성을 높여줄 수 있는 영역이 아주 많습니다. 우리 제품에는 이미 많은 유저들의 workflow에 맞춰 설계된 기능들을 보유하고 있는데요. 어느 지점에서 어떤 기술을 적용하면 유저가 기능이 개선되었다고 느낄지에 대해 고민하고 보완하기 위해 노력하고 있어요.
또 저희는 어느 정도 만들어진 리서치 결과물을 사내 웹 데모 페이지에 지속적으로 공유하고 있습니다. 데모 어플리케이션을 공유함으로써 저희 ML Engineer들도 서비스에 특화된 업무를 하고 있다는 긴장감을 유지할 수 있는 것 같고요, 다른 Chapter와 소통하고 피드백 받기도 좋은 것 같습니다. 기능 시연이 필요할 때도 손쉽게 페이지에 접근해서 보여줄 수 있는 부분도 장점이고요.
현재 ML Chapter는 저를 포함해서 6명의 멤버로 구성되어 있습니다. Kate께서 저희 팀을 이끌어 주고 계시구요, 저와 Asher, Sam, Dallas, 그리고 최근에 새로 합류한 River와 함께 일하고 있어요.
저희는 자유로운 분위기에서 업무를 하고 있습니다. 어떤 기능을 개발할지에 대해서도 주도적으로 고민하여 프로젝트를 진행하고, 팀원들이 주도적으로 진행하는 리서치 프로젝트가 각자 하나씩 있어요.
기술적으로 고민되는 부분이나 피드백이 필요한 부분들에 대해서도 커뮤니케이션을 편하고 자유롭게 하고 있습니다. 대학교나 연구실에서 하는 연구와는 다르게, 단순히 논문을 위한 작업이 아닌, 눈에 보이는 아웃풋을 만들어내면서 리서치를 하다 보니 훨씬 재미있고 소통이 원활하다는 느낌을 받습니다.
Q. 해당 팀에서 어떠한 역할을 맡고 있나요?
저는 3D 데이터를 다루는 쪽에 관심이 많아 관련 분야의 자료를 우리 서비스에서 어떤 feature에 적용할 수 있을지에 대한 고민을 주로 하고 있습니다. 처음 합류했을 때는 원단이 시뮬레이션된 결과를 바로 보여줄 수 있는 Fabric Creator 기능을 개발했었습니다. 그 이후에도 지속적으로 3D 형상을 만드는 연구(아바타, 의상, 에셋 등)를 진행 및 적용하여 작업 효율을 높여줄 만한 시도를 많이 해보고 있습니다. 동시에 앞서 말씀드린 웹 데모에 대한 전반적인 유지 보수도 하기 위해 노력하고 있습니다.
Dallas는 이미지나 비디오로부터 CLO Avatar pose를 예측해 주는 feature를 주로 연구 개발하고 계시고, 지금 완성 단계에 있습니다. Dallas는 Software Engineer로 계시다가 최근 Machine Learning 관련 연구를 함께하고 계신데요. 풍부한 CLO 소프트웨어의 이해도를 통해, 개발된 feature가 Software에 잘 적용될 수 있게 하는 데 큰 도움을 주고 있어요.
Asher는 2D 패턴과 관련 연구를 많이 하고 계십니다. 특히 머신러닝 기술을 활용한 패턴 자동배치 기능을 개발하여 현재 CLO 소프트웨어에 업데이트되어 있습니다. 현재는 AI 파라미터를 이용해서 패턴과 의상을 만들어 내는 'Parametric Pattern' 프로젝트를 진행 중입니다.
Sam과 River는 Generative AI 기반으로 이미지 생성하는 feature를 메인으로 개발하고 있고요. AI Avatar Studio(CLO에서 만든 아바타를 보다 사실적으로 만들어주는 AI 기능) 개발을 위해 힘써주셨고, 지금도 지속적으로 유지 보수와 업데이트를 위한 연구를 진행 중입니다.
Q. 현재 가장 많이 협업하는 팀이나 포지션이 있다면 어디인가요?
아무래도 Software Engineering Chapter 와 가장 밀접하게 일을 하고 있습니다. 같은 업무 공간을 사용하고 있어 평소에도 대화를 많이 하고 있습니다. 개발된 feature 를 적용할 때도 협업하고 있고, 새로운 기능 연구를 위해 데이터를 생성해야 할 때 이미 개발된 기능들을 사용해야할 경우가 많은데, 이 때 역시 Software Engineer분들의 도움을 많이 받고 있습니다.
유저를 서포트하고, 패션업계와 우리 프로덕트의 전문가인 3D Design & Implementation(아래 D&I) Chapter와도 교류가 활발합니다. 저희 팀에서 선행 연구를 수행할 때 인사이트를 제공 받거나, 웹 데모를 개발하고 공유할 때도 D&I Chapter 분들께 먼저 사용 및 평가를 부탁드리고 있습니다. 유저와 접점을 가지고 계신만큼, 실제 사용하는 입장에서 실질적으로 필요한 피드백을 많이 주셔서 개발된 feature 가 실제 제품에 적용되기 위해서 필요한 점에 대해 공유하며 방향성을 잡아주십니다.
협업할 일이 그렇게 많지는 않지만, Backend Chapter와 Infra Chapter에서 도움을 얻고 있습니다. AI 기능을 소프트웨어에 바로 적용할 때도 있지만, 최근에는 서버에서 API 형태로 서비스하는 경우가 늘고 있습니다. 그래서 두 팀에 급하게 요청할 경우가 있는데, 그럴 때마다 선뜻 응해주셔서 항상 감사한 마음을 가지고 있습니다.
Q. 일간(주간) 업무 루틴을 소개해주세요.
저는 루틴하게 업무를 하지 않고 좀 즉흥적으로 손에 잡히는 일을 하는 편이긴 한데요. 최근에는 점점 해야할 업무가 늘어나는 것 같아서 업무 루틴을 잡아가려고 노력 중에 있습니다.
저는 보통 7시에 출근을 해서 오후 4시에 퇴근을 합니다. 원래 부지런한 성격은 아닌데, 출근길 교통 혼잡을 견뎌내는 게 일찍 일어나는 것 보다 더 괴롭더라구요. 그리고 오후 시간 보다는 오전 시간에 집중이 더 잘 되는 것 같고, 회사에서 아침 식사가 제공되다보니 일찍 출근하는 게 좋더라고요.
화요일과 목요일 오전 8시에는 클로의 복지 중 하나인 영어 수업에 참여하고 있습니다. 특히, 화요일에는 개발자들끼리 타운홀에 Software 팀 전체가 모여 프로젝트의 진행상황을 공유하거나 자유롭게 발표를 하는 developer time 과 ML Chapter의 싱크업 시간이 있어서 자리에 앉아 있을 시간이 별로 없습니다. 그래서 화요일에는 빠르게 끝낼 수 있는 작은 일들을 주로 하는 편인 것 같아요. 매주 금요일에는 Research Lab seminar 가 있는데, 관심있는 연구나 논문을 정리해서 발표하고 듣는 시간입니다.
Q. 해당 일을 수행하는데 필요한 역량은 무엇이 있을까요? (SQL, CLO SW, 영어 등)
ML Engineer도 결국 소프트웨어 엔지니어다 보니 개발 역량이 가장 중요한 것 같습니다. 특히 ML Engineer는 Python과 Python 기반 라이브러리, 프레임워크를 잘 다루고 알고 있으면 도움이 됩니다.
Software의 공통 기술언어는 C++을 사용하기 때문에, C++와 관련 프레임워크에 대한 이해도가 있으면 유관 부서와 협업할 때 수월할 거에요. 또 간단한 웹 데모를 만들어서 공유하기 때문에 javascript 로 간단한 웹페이지를 만들 수 있으면 도움이 될 거고요.
그리고 feature를 처음부터 만들어내기보다는, 현재 나와 있는 좋은 연구를 빠르게 리뷰하고, 사용성을 테스트해 보고, 프로토타이핑해 보며 목적에 맞게 튜닝해서 우리 서비스에 적용하는 경우가 많은데요. 그래서 지속적으로 본인의 연구 분야에서 새로운 기술이 무엇인지찾아보고 빠르게 파악하는 능력도 중요한 것 같습니다.
또 리서치 결과물을 효과적으로 서비스에반영하기 위해서는 다양한 분들과 주기적이고 적극적으로 소통하는 것도 중요하다고 생각합니다. 그래서 커뮤니케이션 역량도 필요해요.
Q. 현재 팀에서 이루고자 하는 목표는 무엇이 있나요? (팀 목표, 미션)
앞서 말씀드린 것처럼, ML을 활용해 유저의 워크플로우 효율성을 제고하는 것이 기본적인 미션인 것 같습니다. 현재는 여러 리서치를 진행하고 있는데요, 중・장기적으로는 패턴을 ML로 잘 다뤄 유저의 로드를 크게 줄여주는 feature를 개발하는 것이 목표입니다. 단순히 3D나 이미지를 다루는 연구나 모델 개발은 다른 곳에서도 많이 이루어지고 있지만, 의상이나 패턴에 특화된 연구는 사실 CLO에서만 할 수 있기에, 이와 관련해 저희 팀이 크게 기여할 수 있는 부분이 많다고 생각합니다.
Q. 클로에서 업무를 하며 가장 뿌듯했던 순간을 소개해주세요.
뿌듯했던 순간들이 꽤 있었던 것 같아요.
첫 번째로는 제가 처음 개발했던 Fabric Creator 모델이 CLO에 정식으로 등록되어 릴리즈되었던 순간입니다. 제가 클로에 합류하기 전에는 연구소와 스타트업에만 있었던 탓에, 제가 개발한 기능이 실제로 배포되고 누군가에게 사용되는 경험을 거의 해보지 못했었는데요. 이곳에 합류하면서 가장 해보고 싶었던 것도 바로 제가 개발한 기능이 유저에 의해 활용되는 것이었는데, 이 목표를 달성한 것 같아 뿌듯했습니다.이 기능을 단순히 릴리즈한 것에 그치지 않고, 논문으로 작성해 직접 KCGS(Korea Computer Graphics Society: 한국 컴퓨터 그래픽스 학회)라는 행사에서 발표도 했습니다. 사실 그때 신기능 릴리즈 작업과 논문 작업을 동시에 진행하느라 눈코뜰새 없었는데요. 제가 회사에 합류한 지 얼마 지나지 않았을 때였지만, 많은 분들과 그렇게 열정적으로 일할 수 있어 더욱 기억에 남습니다. 결과적으로 논문을 발표하며 수상의 기쁨도 맛보았기 때문에저에게는 더 특별한 기억으로 남아 있습니다.
연말에 모든 개발자들이 모여서 소통하는 ‘Dev Day’가 있는데요. 그때 지금까지 제가 해왔던 업무와 앞으로 하고 싶은 프로젝트가 무엇인지에 대해 타운홀에서 발표했던 것도 기억에 남아요.
또 AI Avatar Studio가 릴리즈되고, 유저들의 좋은 피드백을 받을 수 있었는데요. AI Avatar Studio 기능은 3D Specialist인 Jack의 제안을 바탕으로 ML Chapter에서 빠르게 프로토타입을 만들어 공유했으며, 이후 서비스로 자리를 잡으면서 비교적 짧은 시간 안에 업데이트된 기능이었습니다. 릴리즈된 이후에는 많은 유저들이 사용하면서 계속해서 다양한 피드백을 받고 있기 때문에 뿌듯합니다.
Q. 클로 입사를 희망하는 지원자에게 남길 말이 있다면 무엇인가요?
클로에 입사하기 전에는 방황하던 시기가 있었는데, 클로에 합류한 후에는 마음 편하고 즐겁게 일하고 있습니다. 제가 직접 나서서 주도적으로 연구를 진행하면서, 단순히 논문쓰기를 위한 일이 아닌 연구 결과가 제품에 구현되어 실제 사용으로 이어지는 모습을 확인하면서 일할 수 있다는 점이 큰 즐거움인 것 같습니다. 의상을 주제로 한 연구는 다채롭기도 하고, 도전적인 주제도 많아 성장의 기회도 많습니다. 재미있는 연구에 도전하고 싶고, 자신이 만든 연구가 현실에서 활용되는 모습을 경험해 보고 싶으신 분들은 꼭 클로에 지원해 주세요!
이렇게 Elmo와의 인터뷰를 통해 ML Engineer가 어떤 일을 하는지, 그리고 클로버추얼패션에서 Machine Learning이 어떻게 활용되고 있는지 자세히 알아보았습니다. ML Chapter는 앞으로도 계속해서 혁신적인 기술을 연구하고 개발하여, 유저들의 작업 경험을 더욱 향상시켜 나갈 것입니다.
# 클로의 Machine Learning Engineer가 되고 싶다면?