다음에 뭘 할까 — 2026 하반기 연구 노트

지금까지 만든 것들에서 남은 질문을 추리고, 앞으로 붙잡을 문제를 정리한다.

이 글을 쓰는 이유

연구를 하다 보면 “지금 뭘 하고 있냐”는 질문에 답하기는 쉬운데, “왜 그걸 하고 있냐”에 답하기는 어렵다. 전자는 캘린더를 보면 되고, 후자는 몇 달 전의 판단을 다시 꺼내야 하기 때문이다.

그래서 앞으로는 이 블로그에 결정의 이유를 남겨두려고 한다. 논문으로 정리되기 전, 아직 틀렸을 수도 있는 상태의 생각들. 반년 뒤에 다시 읽었을 때 어디서 틀렸는지 보이는 게 목적이다.

지금까지 만든 것들

돌아보면 지난 몇 년의 작업은 서로 달라 보이지만 한 축을 공유한다. 정답이 명확하지 않은 문제에서 어떻게 학습 신호를 만들 것인가.

소리(Sori) — Qwen3-4B에 audio encoder를 붙여 한국어 speech LLM을 만들었다. Encoder와 LLM은 frozen, projection layer만 학습. 여기서의 신호는 transcription이라 깔끔했다. 정답이 있으니까.
No Verifiable Reward for Prosody (ICASSP 2026) — 반대의 경우. 운율에는 검증 가능한 정답이 없다. 그래서 preference로 갔다. “정답이 없으면 선호로 대체한다”는 게 이 논문의 전부였고, 지금 생각하면 그게 가장 중요한 부분이었다.
KoALa-Bench — 한국어 audio LM을 평가하려면 먼저 무엇을 잴지 정해야 했다. faithfulness를 따로 뺀 이유가 여기 있다.
Solar Open 2 (arXiv:2607.20062) — 250B-A15B MoE, 1M context, long-horizon agentic task를 위해 만든 모델. 열두 개의 domain specialist를 학습시킨 뒤 Multi-teacher On-Policy Distillation(MOPD)으로 하나의 모델에 합쳤다.

마지막 항목이 지금 내 관심사를 대부분 설명한다. MOPD는 결국 teacher가 여럿일 때 on-policy로 신호를 합치는 방법이고, prosody 논문은 신호가 아예 없을 때 선호로 만드는 방법이었다. 둘 다 “reward를 어디서 가져올 것인가”라는 같은 질문의 다른 답이다.

남은 질문 세 개

1. Long-horizon에서 credit assignment는 어떻게 하나

1M context는 에이전트의 trajectory 전체를 한 컨텍스트에 넣을 수 있게 해줬다. 그런데 넣을 수 있다는 것과 그로부터 배울 수 있다는 것은 다르다.

수백 스텝짜리 trajectory가 최종적으로 실패했을 때, 어느 스텝이 문제였는지를 outcome reward 하나로 역전파하는 건 신호 대 잡음비가 너무 나쁘다. Process reward를 붙이면 나아지지만, 이번엔 process reward를 누가 만드는가의 문제가 돌아온다.

지금 생각: on-policy distillation이 여기서 답이 될 수 있다. Teacher가 같은 상태에서 무엇을 했을지가 곧 스텝 단위 신호이기 때문이다. 아직 확신은 없다.

2. Self-distillation은 어디서 멈추나

모델이 자기 출력으로 자기를 학습시킬 때, 어느 시점부터는 자기 편향을 증폭하기 시작한다. MOPD처럼 teacher가 여럿이면 이 문제가 완화되는데, 왜 완화되는지를 나는 아직 정확히 설명하지 못한다.

Teacher 다양성이 정규화 역할을 하는 것인지, 아니면 단순히 앙상블 효과인지. 이 둘은 예측이 다르다. 전자가 맞으면 teacher를 일부러 서로 다르게 만들어야 하고, 후자가 맞으면 그냥 개수를 늘리면 된다.

3. 환경이 현실과 다르면 정확히 무엇이 무너지나

이게 요즘 가장 많이 생각하는 문제다.

Long-horizon agentic RL에서 병목은 알고리즘보다 환경인 경우가 많다. 벤치마크용으로 깎아둔 태스크에서 잘하는 정책이 실제 사무 업무에서는 바로 무너지는데, 그 간극이 어디서 생기는지가 명확하지 않다.

실제 사무 업무에는 벤치마크가 대개 생략하는 것들이 있다. 지시가 불완전하고, 중간에 바뀌고, 도구가 실패하고, 되돌릴 수 없는 행동이 섞여 있고, 무엇보다 “다 했다”의 기준이 사람마다 다르다. 이 중 어떤 걸 빼면 학습된 정책이 얼마나 망가지는지를 나는 아직 모른다.

지금 생각: 환경을 현실에 가깝게 만드는 걸 데이터 수집이 아니라 연구 자체로 다뤄야 한다. 환경이 곧 reward의 정의이기 때문이다. 질문 1의 credit assignment도 결국 환경이 무엇을 관측 가능하게 해주느냐에 달려 있다.

앞으로 6개월

한 문장으로 줄이면 — 사무 업무를 충분히 현실적으로 재현하는 에이전트 환경을 만들고, 거기서 끝까지 학습시켜 보는 것.

세 질문이 여기서 만난다. 환경이 있어야 스텝 단위 신호를 관측할 수 있고(질문 1), 환경이 다양해야 teacher를 의미 있게 분산시킬 수 있고(질문 2), 그 다양성이 실제로 무엇을 지탱하는지는 환경을 깎아봐야 안다(질문 3).

순서는 이렇게 잡고 있다.

환경 먼저. 벤치마크가 생략하는 것들 — 불완전한 지시, 도중에 바뀌는 요구사항, 실패하는 도구, 되돌릴 수 없는 행동 — 을 일부러 넣은 태스크를 만든다.
그 위에서 진단. 실패한 trajectory에서 어느 스텝이 문제였는지 볼 수 있는 세팅을 붙인다. 학습보다 관측이 먼저다.
그다음 학습. 여기서 비로소 질문 2를 실험으로 가른다. teacher를 의도적으로 분산시킨 조건과 개수만 늘린 조건을 비교한다.

어느 정도까지 공개할 수 있을지는 아직 정리 중이라, 구체적인 태스크 구성이나 수치는 나중에 따로 적겠다.

어떻게 알 수 있나

이런 글은 대개 틀린다. 그래서 틀렸다는 걸 알 수 있게 기준을 적어둔다.

6개월 뒤에도 환경 위에서 스텝 단위 기여도를 못 보고 있다면 — 우선순위를 잘못 잡은 것이다.
만든 환경에서 잘하는 정책이 실제 업무에서 여전히 무너진다면 — 빠뜨린 축이 있는 것이고, 그게 무엇인지가 다음 질문이 된다.
teacher 다양성 실험이 “차이 없음”으로 나온다면 — 질문 2의 전제가 틀린 것이고, self-distillation을 보는 관점을 바꿔야 한다.

다음 글에서 하나씩 확인하겠다.