엘박스의 AI Researcher는 Data AI팀에 소속되어, AI가 생성하는 답변의 추론과 인용이 믿을 만한지 평가 및 개선하며 엘박스 법률 AI Agent의 품질을 끌어올리는 포지션이에요.
이번 글에서는 엘박스 Data AI팀과 AI Researcher의 역할, 연구가 실제 제품으로 이어지는 과정, 인상 깊은 성과, 그리고 앞으로의 연구 방향까지 살펴볼 예정이에요!
엘박스 DATA AI 팀 소개
경운 : Data AI팀은 엘박스의 방대한 원천 법률 데이터를 기반으로, 데이터 처리(Data)–검색(Retrieval)–학습(Learning)–평가(Evaluation)에 이르는 AI 핵심 기술 축을 담당하는 팀이에요. 엘박스의 실질적인 성능 개선을 책임지고, 제품이 AI로 할 수 있는 범위를 넓혀 나가는 것이 저희 팀의 역할이죠.
엘박스가 법률 AI에서 가장 중요하게 보는 것은 결국 데이터에요. 법률적 의사결정은 판례와 문헌에 근거하지 않으면 사실상 무의미하기 때문에, 어떤 데이터를 가지고 있느냐가 서비스의 수준을 결정하기 때문이에요. 그런데 이 데이터는 접근 자체가 쉽지 않아요. 판결문만 해도 명시적으로는 공공데이터이지만 실제로는 건별로 개별 확보해야 하는 구조여서, 대량으로 모으는 일 자체가 간단하지 않거든요. 엘박스는 이 데이터를 오랫동안 축적해 왔고, 지금은 엘박스만 접근 가능한 독자적 데이터도 확보해 나가고 있어요.
다만 데이터를 가지고 있다는 것과 AI가 그 데이터를 제대로 쓰는 것은 다른 문제에요. 저희는 그 사이를 메우는 일 전체를 팀의 역할로 보고 있어요. 데이터를 어떤 구조로 다룰지부터 필요한 것을 어떻게 찾아올지, 모델이 이를 어떻게 배우게 할지, 잘 되고 있는지를 어떻게 평가할지까지가 모두 저희 일이고, 팀 이름에 Data와 AI가 함께 들어가 있는 것도 그런 이유에요.
저희 팀은 Data Engineer, Search Engineer, AI Researcher로 구성되어 있어요. AI 시대에 들어서면서 직군 간 경계는 점점 옅어지고 있고, 저희도 세 직군의 역할을 명확히 구분하기보다 서로의 영역을 자유롭게 넘나드는 형태를 지향해요. 세 직군이 바라보는 목표는 같고 각자의 전문성이 다를 뿐이어서, 한 사람이 자기 몫을 끝내고 다음 사람에게 넘기기보다는 하나의 과제를 같이 놓고 각자 잘하는 부분을 맡아 함께 진행하는 쪽에 가까워요.
엘박스의 AI Researcher
경운 : 엘박스의 AI Researcher는 특정 모듈 하나를 맡는 포지션이 아니라 전방위적으로 참여하고 있어요. 검색 성능 개선, 평가 체계 구축, AI 프로덕트의 설계·실험·개발, 그리고 아직 제품에 반영되지 않은 다음 단계 기술에 대한 선행 연구까지 모두 범위에 들어와요.
엘박스의 AI Researcher가 다른 곳의 AI Researcher나 AI Engineer와 구분되는 지점은 크게 두 가지라고 생각해요. 하나는 선도하는 입장에서 프로덕트를 개선한다는 점이에요. 엘박스는 법률 AI 가운데 가장 앞서 있는 제품 중 하나인데요. 쫓아가는 입장이라면 이미 나와 있는 것을 기준 삼아 따라 만들면 되지만, 저희처럼 앞에 있는 제품에는 그 기준이 없죠. 다음에 무엇을 만들지부터 어느 수준이면 충분한지, 잘하고 있는지를 무엇으로 판단할지까지 저희가 직접 정해야 해요. 참고할 선례가 없다는 부담은 있지만, 그만큼 프로덕트의 방향을 직접 만들어 나갈 수 있어요.
다른 하나는 엘박스가 AI 관점에서의 방향성이 분명하다는 점이에요. 그래서 무엇을 개선할지도, 어떤 방식으로 풀지도 그 방향에 맞춰 결정해요. 제품을 만들다 보면 당장의 문제를 넘기기 위한 임시방편이 필요할 때도 있지만, 저희가 하는 일의 대부분은 장기적인 관점에서 어긋나지 않는 쪽으로 정해져요. 연구자 입장에서는 지금 붙잡고 있는 문제가 큰 그림의 어디에 놓여 있는지를 알고 일할 수 있다는 뜻이기도 하죠.
연구가 제품이 되기까지
경운 : 저희의 작업은 대체로 같은 경로를 따라요. 문제를 정의하고, 이를 검증할 방식을 설계하고(벤치마크 설계를 포함해서), 다양한 가설로 실험한 뒤 결과가 개선되면 반영해요. 이게 가능한 이유는 실험이 저희가 실제 서비스하고 있는 모델 위에서 이뤄지기 때문이에요. 실험을 위해 문제나 환경을 단순화하지 않고 실환경에서 실험한다는 점이 가장 중요한 지점이라고 생각해요. 논문용 세팅과 제품용 세팅이 따로 있고 그 사이를 다시 이식하는 구조가 아니므로, 이 경로를 거쳐 제품에 반영된 개선이 다수에요.
대신 실제 제품 위에서 실험하다 보면 단순화된 환경에서는 보이지 않던 문제가 드러나요. 이전에 Agent 구조로 첫 개선을 진행했을 때가 그랬어요. 답변 성능 수치만 확인하다 보니 Agent가 무겁게 툴을 호출하는 것을 허용하게 되었고, 그 결과 답변이 느려지고 자주 실패하는 문제가 발생하더라고요. 초기 정량평가에 인프라 부하가 포함되어 있지 않았기 때문이죠. 지표는 좋아졌지만 사용자 입장에서는 오히려 나빠진 셈이었어요.
여기서 제가 크게 배운 것은 정량평가가 고객의 만족도를 그대로 대변하지는 않는다는 점이에요. 정량 평가는 성능 개선에 있어 가장 핵심적인 요소이지만, 수치가 좋아져도 고객은 반대의 체감을 할 수 있어요. 지금은 부하까지 세밀하게 트래킹하고 있고, 실제 만족도에 가까워지기 위한 정량평가 항목도 계속 추가하고 있으며, 정량평가가 담지 못하는 부분에 대한 별도 평가도 다양한 방식으로 진행하고 있어요. 제품과 연결된 연구는 지표를 올리는 일 못지않게 무엇을 지표로 삼을 것인가를 계속 다시 정하는 일에 가깝고, 평가 체계를 만드는 일 자체가 저희 연구의 상당 부분을 차지하는 이유이기도 해요.
가장 인상 깊은 성과
경운 : 저에게 가장 기억에 남는 것은 저희의 실질적인 첫 벤치마크를 만든 일이에요. 이 작업은 "Korean Canonical Legal Benchmark: Toward Knowledge-Independent Evaluation of LLMs' Legal Reasoning Capabilities"라는 논문으로 EACL 2026에 게재되었어요. 그 전까지 저희의 평가는 정성적 분석이거나 소규모 셋을 사람이 직접 확인하는 수준이었는데, 이를 통해 비로소 대량으로 모델의 성능을 정량 평가할 수 있게 되었고 이를 기반으로 이후 다수의 성능 향상을 끌어냈어요.
벤치마크는 모델이 내재적으로 보유한 지식과 주어진 자료로 추론하는 능력을 분리해 평가하도록 설계했어요. 저희가 궁금했던 것은 '모델이 법을 얼마나 외웠는가'가 아니라 '자료를 잘 제공했을 때 얼마나 잘 추론하는가'였기 때문이죠.
이 벤치마크로 측정하면서 드러난 약점 중 하나가 쟁점 단위 검색이었어요. 기존 RAG 시스템은 사용자 입력으로 쿼리를 만들어 검색하고 결과를 가져와 답하는 방식인데, 예컨대 변호사시험 선택형 문제는 선택지별로 서로 다른 쟁점이나 사실관계를 갖는 경우가 많아 단일 쿼리로는 필요한 자료가 충분히 확보되지 않아요. 이 문제가 정량적으로 드러나면서 모델이 Agentic하게 쟁점별로 검색 도구를 병렬 호출하는 방식을 적용할 수 있게 되었어요. 저희가 워크플로우(RAG)에서 Agent로 방향을 전환한 근거 중 하나이기도 해요.
제가 이 사례를 중요하게 보는 이유는, 평가를 만드는 일이 단순히 점수를 매기는 일이 아니라 제품의 구조를 바꾸는 일이 될 수 있음을 보여주기 때문이에요. 잘 만든 평가는 무엇이 부족한지를 알려주고, 그 답이 파라미터 튜닝이 아니라 시스템 아키텍처의 변경일 때가 있어요.
진우 : 저에게 가장 기억에 남는 일은 모델의 "답"이 아니라 "추론 과정"을 평가 대상으로 삼아본 일이에요. 이 작업은 "Evaluating Legal Reasoning Traces with Legal Issue Trees"라는 논문으로 ACL 2026 메인 컨퍼런스에 게재되었어요. 출발점은 프로덕트 쪽의 실무적인 질문이었어요. 프로덕트에 어떤 LLM을 쓰는 것이 최적인지 판단하려면 각 모델의 법률적 사고 능력을 비교할 수 있어야 하는데, 객관식 변호사시험처럼 정답만 채점하는 방식으로는 모델이 엉뚱한 논리를 거쳐 우연히 정답을 맞힌 경우를 걸러낼 수가 없어요. 법률은 수학이나 코딩 같은 일반적인 추론 분야와 달리 결론에 이르는 과정 자체에 높은 정확도와 엄밀함이 요구되는 영역이라, 이 한계를 그냥 넘어가기가 어려웠어요.
추론 과정을 검증하는 데에는 LLM 기반 평가(LLM-as-a-judge)를 쓸 수 있어요. 다만 평가 기준(rubric)이 아주 자세하지 않으면 채점이 제대로 이루어지지 않고, 그렇다고 그 기준을 사람이 하나하나 만들면 비용이 감당되지 않아요. 이 지점에서 판결문을 다시 보게 됐어요. 판결문은 판사가 쟁점을 나누고 법리를 전개한 과정이 이미 체계적으로 구조화되어 있는 자료예요. 그래서 판결문을 법률적 사고 능력을 테스트할 수 있는 논술형 문제와 채점 기준표로 변환해 보고자 했어요. 엘박스가 판결문을 풍부하게 보유하고 있는 만큼, 이 방식이 되면 LLM의 법률 추론 능력을 다각도로 평가할 수 있겠다고 봤고요. 결과적으로 그 변환 방법과, 그에 기반해 추론 과정을 다각도로 평가하는 방법을 함께 제시할 수 있었어요.
이 연구가 리걸테크 도메인에서 값지다고 생각하는 이유는, 법률 AI의 능력을 "법전을 얼마나 외웠는가"로 확인하던 데에서 벗어나 실제 사건을 기반으로 법률 지식과 응용 능력을 평가할 수 있는 기틀을 마련했기 때문이에요. 작년 10월에 이 연구를 공개한 이후 Scale AI, 알리바바, Harvey 등에서 비슷한 방향의 연구를 뒤이어 내놓았는데, 이 연구가 출발한 문제의식이 업계가 곧 마주할 지점이었다는 걸 확인한 순간이기도 했어요.
제품 쪽으로도 연결이 있어요. 엘박스는 내부 AI 프로덕트의 성능을 개선하기 위해 LLM 기반 평가를 도입해 써왔는데, 이번 연구는 가장 많이 보유한 자산인 판결문으로 평가 가능한 분야와 문제 수를 빠르게 늘릴 수 있다는 것을 보였어요. 지금은 추론 능력을 평가하는 데 머물러 있지만, 모델이 어디서 어떻게 어긋나는지를 진단해 LLM과 AI 시스템 전반을 개선하는 데까지 쓸 수 있을 거라고 봐요. 저는 이 작업을 하면서 좋은 평가는 새로 만들어내는 것이라기보다 이미 쌓여 있는 자료 안에서 찾아내는 것에 가깝다는 생각을 하게 됐어요. 판사들이 써온 판결문이 그대로 채점 기준이 될 수 있다는 것이, 법률 데이터를 다시 보게 만든 지점이었어요.
한 가지 사실 공유 🤔
진우님은 2023년부터 2024년까지 엘박스팀과 함께 한 AI Researcher예요. 지금은 미국 일리노이대학(UIUC)에서 박사 과정을 밟고 있으며 펠로우십을 통해 엘박스팀과의 인연을 이어 가고 있어요.
제품팀과의 협업 환경
경운 : 저희는 제품팀과 별도의 협의 채널을 두고 요구사항을 주고받는 구조가 아니에요. 같은 목표를 가진 프로젝트에 함께 들어가서 협업하고 나누어 일해요. 역할의 경계도 따로 두지 않아요. 다만 저희가 백엔드 영역의 깊은 지식을 보유하고 있지는 않기 때문에, 서비스 구현보다는 성능 자체를 끌어올리는 부분에 집중하고 있어요.
연구자 입장에서 이 구조의 가장 큰 장점은 실세계 문제를 직접 다룬다는 점이에요. 여기서 실세계 문제란 실제 프로덕트를 연구의 대상으로 다룬다는 의미이며, AI 연구자라면 이것 자체가 의미 있는 일이라고 생각해요.
사용자 반응도 실제로 들어와요. 서비스 피드백 창구와 NPS를 통해 긍정적인 의견과 부정적인 의견이 모두 들어오고 통계적 수치로도 확인해요. 어떤 문제를 먼저 풀지, 개선한 것을 어떤 형태로 내보낼지에 대한 논의도 제품팀과 같은 자리에서 이뤄져요.
반영 속도 또한 빨라요. 정량·정성적으로 검증되고 인프라와 코드상 문제가 없음이 확인되면 바로 배포되며, 사실상 프로덕트 개선을 함께 하는 셈이에요.
함께 하고 싶은 동료
경운 : 먼저 스스로 문제를 정의하고자 하는 분이면 좋겠어요. 문제 정의에서 출발해 풀 수 있는 형태로 재정의하고, 가설을 세우고, 실험과 분석을 거쳐 결론에 이르는 과정을 즐기고 실제로 많이 해본 분이면 좋을 것 같아요. 저희 일의 대부분이 이 과정의 반복이거든요.
커뮤니케이션이 편한 분인지도 중요하게 보고 있어요. 부정적인 의견을 상대가 공격적으로 느끼지 않게 전달할 수 있고, 반대로 상대방의 부정적 의견을 방어적으로 받아들이지 않는 성항이면 좋겠어요. 그리고 연구에만 관심이 있기보다 실제 프로덕트에 관심이 있는 분이 잘 맞을 것으로 봐요.
기술적으로는 꼭 학위가 필요하다고 생각하지 않아요. 앞서 말씀드린 연구 과정에 잘 훈련되어 있는지가 훨씬 중요해요. 다만 기준을 낮게 본다는 뜻은 아니어서, 여건이 갖춰졌을 때 AI 분야의 최상위 학회에 낼 만한 연구를 스스로 끝까지 완성해낼 수 있는 분이면 좋어요. 그 과정이 실제로 논문으로 이어지기도 하고, 저희도 그런 결과를 계속 만들어 가려고 해요. 그리고 LLM의 동작 방식에 대해서는 깊이 있게 이해하고 계시면 좋겠어요. 저희가 만드는 서비스의 기반 모델에 대한 본질적인 특성 이해가 높아야 한다고 생각하며, 파라미터를 직접 학습시키지 않는 방향을 택했기 때문에 더욱 그런 것 같아요.
법률 지식은 요구되지 않아요. 솔직히 말씀드리면 저도 잘 법률을 알지는 못해요. 와서 배워나가고 있고 여전히 모르는 부분도 많아요. 대신 사내에 법률 분야 전문성을 갖고 실제 제품 개발에 기여하시는 Applied Legal Researcher 분들이 계시고, 그분들과 협업하고 있어요.
AI Researcher의 향후 연구 로드맵
경운 : 저희 연구를 관통하는 테마는 learning without training이에요. 모델의 파라미터를 직접 건드리지 않고도 법률 도메인에서 필요한 지식과 판단 기준을 갖추게 만드는 것으로, 지금 하고 있는 대부분의 일이 이 테마 위에 놓여 있어요. 검색과 평가, 그리고 knowledge engineering은 이 테마를 실현하기 위한 방법에 해당하고, 예측은 그것이 충분히 되었을 때 비로소 열리는 문제로 보고 있죠.
당장 제가 가장 깊게 보고 있는 것은 knowledge engineering이에요. 지금의 방식은 질문이 들어오면 그때마다 필요한 문서를 찾아와 모델에게 건네는 형태인데, 한 번에 건넬 수 있는 분량에는 한계가 있어요. 반면 저희가 보유한 자료는 그보다 훨씬 큰 규모에요. 이 간극을 어떻게 좁힐 것인가, 다시 말해 모델이 전체를 이미 알고 있는 것처럼 동작하게 하려면 무엇이 필요한가가 지금의 질문이에요.
크게 두 갈래를 보고 있어요. 하나는 찾아오는 대상 자체를 바꾸는 것이에요. 원문을 그대로 가져오는 대신, 여러 판결을 가로질러 읽고 특정 쟁점이 그동안 어떻게 다뤄져 왔는지를 정리한 2차 자료를 미리 만들어 두는 방식이죠. 사람이 오랜 시간에 걸쳐 써 온 해설서에 가까운 것을 AI가 만들어 두는 셈이라 난도는 높지만, 잘 되면 검색의 출발점 자체가 달라져요. 다른 하나는 찾는 방법을 축적하는 것이에요. 어떤 유형의 사건에서는 무엇부터 확인해야 하는지와 같은 요령을 다시 쓸 수 있는 형태로 쌓아, 매번 처음부터 더듬지 않도록 만드는 방향이에요.
두 갈래 모두 결국 데이터가 얼마나 잘 정리되어 있느냐에 달려 있어요. 자료가 일정한 구조를 갖추고 서로 어떻게 이어지는지가 드러나 있어야 하고, 법이 바뀌거나 새로운 판단이 나왔을 때 그것이 제때 반영되어야 합니다. 저희는 이 기반을 다지는 일을 중장기 과제로 보고 있고, 데이터와 AI를 한 팀에 둔 것도 같은 이유에요.
그 끝에 두고 있는 것이 예측이에요. 저는 AI가 푸는 문제가 결국 아직 일어나지 않은 것을 맞힐 수 있느냐로 수렴한다고 보고 있는데, 법률에서 이게 가능하려면 그동안 쌓여 온 판단의 전체 흐름을 모델이 실제로 활용할 수 있어야 해요. 앞의 두 갈래가 풀려야 비로소 손대볼 수 있는 문제라는 뜻이죠. 대부분의 영역에서 예측은 사람도 잘 해내지 못하는 일이지만, 법률은 판단의 근거가 문서로 남고 그 논리가 비교적 일관되게 축적되는 분야여서 다뤄볼 만하다고 보고 있어요. 푸는 방식 역시 모델 하나가 단번에 답을 내놓는 형태보다는 필요한 자료를 스스로 찾아 검토해 나가는 Agentic한 접근이 될 것으로 보고 있어요.
