논문 링크: arXiv 2603.15569

저자: Tri Dao, Albert Gu

소속: Together AI / Carnegie Mellon University

초록 (Abstract)

추론 시간 연산(inference-time compute) 확장이 LLM 성능에 점점 더 중요해지면서, 모델 설계에서 효율성이 핵심이 되었다. Transformer는 품질 면에서 뛰어나지만, 이차적(quadratic) 연산량과 선형 메모리로 인해 추론 병목이 발생한다. 이에 따라 선형 연산량과 상수 메모리를 가진 차선형(sub-quadratic) 모델이 개발되었으나, 많은 모델이 품질과 상태 추적(state tracking) 능력을 희생하면서도 하드웨어 효율성이 낮은 문제가 있었다.

본 논문은 상태 공간 모델(SSM) 원리에 기반하여 Mamba-3에 세 가지 방법론적 개선을 도입한다:

1. 지수-사다리꼴(Exponential-Trapezoidal) 이산화 — 더 표현력 높은 순환 구조
2. 복소값(Complex-valued) 상태 업데이트 — 더 풍부한 상태 추적 가능
3. 다입력-다출력(MIMO) — 디코드 지연시간 증가 없이 성능 향상

1.5B 규모에서 Mamba-3 MIMO는 Transformer 대비 +2.2, Mamba-2 대비 +1.9, Gated DeltaNet 대비 +1.8의 정확도 향상을 달성한다.

1. 서론 (Introduction)

테스트 시점 연산이 LLM 발전을 주도하고 있다. Chain-of-Thought 추론과 반복적 정제가 새로운 능력을 열어주고, 병렬 에이전트 워크플로가 효율적 추론에 대한 요구를 강화한다.

Transformer는 업계 표준이지만 근본적 병목이 존재한다:

• KV 캐시 메모리: 시퀀스 길이에 비례하여 선형 증가
• Self-Attention 연산: 이차적으로 증가

이에 따라 Mamba-2, Gated DeltaNet 등 SSM과 선형 어텐션 기반 모델이 연구되어 왔으며, 현재 하이브리드 아키텍처에서 순수 Transformer와 동등한 성능을 보여주고 있다.

그러나 여전히 품질-효율성 프론티어를 발전시킬 여지가 크다:

• Mamba-2는 훈련 속도를 개선했지만 표현력을 희생
• 선형 모델은 패리티 감지 같은 상태 추적 작업에서 어려움
• 이론적으로 효율적인 추론이 하드웨어에서는 비효율적 (낮은 연산 강도)

Mamba-3의 핵심 기여

핵심 결과 요약:

2. 사전 지식 (Preliminaries)

2.1 표기법

• 스칼라: 일반 문자 ($x, y$)
• 텐서(벡터, 행렬): 볼드 문자 ($\mathbf{h}, \mathbf{C}$)
• $T$: 시퀀스 길이, $D$: 모델 차원, $N$: SSM 상태 크기
• $\odot$: 아다마르(원소별) 곱
• $\text{Diag}(\mathbf{v})$: 벡터 $\mathbf{v}$를 대각 행렬로 변환
• $\alpha_{t \cdots s} = \prod_{i=s}^{t} \alpha_i$: 시간 구간에 걸친 곱

2.2 SSM 기초

상태 공간 모델은 연속 시간 선형 동역학을 두 방정식으로 표현한다:

직관적 이해: 은닉 상태 $\mathbf{h}$가 행렬 $\mathbf{A}$에 의해 시간에 따라 진화하며, 입력 $x$가 $\mathbf{B}$를 통해 주입되고, 출력 $y$는 $\mathbf{C}$로 읽어낸다.

이산 시퀀스에서 시간 간격 $\Delta_t$로 이산화하면 (Mamba-1, Mamba-2 방식):

Mamba-2의 매개변수화

Mamba-2는 상태 전이를 $\mathbf{A}_t = A_t \mathbf{I}_{N \times N}$으로 단순화한다. $\alpha_t := e^{\Delta_t A_t} \in (0, 1)$, $\gamma_t := \Delta_t$로 정의하면:

직관적 이해: $\alpha_t$는 기억 수평선을 제어한다. $\Delta_t$가 크면 빠르게 잊고 현재 토큰에 집중하며, 작으면 이전 상태를 오래 유지한다.

α_t ≈ 1.0 (큰 Δ): 이전 상태 거의 유지, 현재 입력 약하게 반영
  h_t ≈ h_{t-1}    "장기 기억 모드"

α_t ≈ 0.0 (작은 Δ): 이전 상태 잊고, 현재 입력 강하게 반영
  h_t ≈ γ_t B_t x_t  "리셋 모드"

2.3 구조화된 마스크 표현과 상태 공간 이중성 (SSD)

Mamba-2는 SSM의 시간 단위 순환이 행렬 형태로 벡터화될 수 있음을 보여주었다:

여기서 $\mathbf{L} \in \mathbb{R}^{T \times T}$는 구조화된 마스크, $\mathbf{Q} := \mathbf{C}$, $\mathbf{K} := \mathbf{B}$, $\mathbf{V} := \mathbf{X}$로 놓으면 어텐션과의 연결이 드러난다. $\mathbf{L}$은 데이터 의존적 마스크 역할을 한다.

Mamba-2의 마스크 구조:

직관적 이해: 마스크의 $(i,j)$ 원소는 시점 $j$의 입력이 시점 $i$의 출력에 미치는 영향의 가중치다. $\alpha$ 값들이 누적되어 먼 과거일수록 영향이 지수적으로 감소한다.

3. 방법론 (Methodology)

3.1 지수-사다리꼴 이산화 (Exponential-Trapezoidal Discretization)

3.1.1 지수 조정 이산화 개요

연속 시간 SSM을 이산화할 때, “지수 조정 시스템” $e^{-At}x(t)$를 분석하면 상태 전이와 상태 입력 적분을 분리할 수 있다:

직관적 이해: 첫 번째 항은 이전 상태의 감쇠, 두 번째 항은 새 입력의 누적이다. 핵심 차이는 두 번째 적분을 어떻게 근사하느냐에 있다.

Zero-Order Hold (ZOH)

구간 $[\tau_{t-1}, \tau_t]$에서 모든 값을 우측 끝점에서의 상수로 취급:

지수-오일러 (Exponential-Euler, Mamba-1/2)

오일러 법칙으로 상태-입력 적분을 근사:

직관적 이해: Mamba-1과 Mamba-2에서 이론적 정당화 없이 사용된 휴리스틱을 지수-오일러 이산화로 공식화한 것이다.

지수-사다리꼴 (Exponential-Trapezoidal, Mamba-3)

명제 3.1.1: 일반화된 사다리꼴 법칙으로 상태-입력 적분을 근사하면:

계수를 정의하면:

직관적 이해: Mamba-2는 현재 시점의 입력 $x_t$만 반영하지만, Mamba-3는 이전 시점 $x_{t-1}$도 함께 고려한다. $\lambda_t$가 이 둘의 비율을 데이터에 따라 조절한다.

Mamba-2 (지수-오일러):     h_t = α·h_{t-1} + γ·B_t·x_t
                                  ↑ 감쇠        ↑ 현재만

Mamba-3 (지수-사다리꼴):   h_t = α·h_{t-1} + β·B_{t-1}·x_{t-1} + γ·B_t·x_t
                                  ↑ 감쇠        ↑ 이전 입력 (NEW)    ↑ 현재

특수 경우:

• $\lambda_t = 1$ → Mamba-2의 오일러 법칙 복원
• $\lambda_t = 1/2$ → 고전적 사다리꼴 법칙
• $\lambda_t = 1/2 + O(\Delta_t)$ → 2차 정확도, 오차 $O(\Delta_t^3)$

이산화 방법 비교 (Table 1)

3.1.2 암시적 합성곱으로서의 지수-사다리꼴 순환

지수-사다리꼴 이산화는 상태-입력 $\mathbf{v}_t = \mathbf{B}_t x_t$에 대해 너비 2의 데이터 의존 합성곱을 적용한 후 선형 순환을 수행하는 것과 동일하다.

직관적 이해: 기존 Mamba 모델들은 외부에 별도의 짧은 인과 합성곱(short causal convolution)이 필요했다. Mamba-3는 이산화 자체에 합성곱이 내장되어 외부 합성곱을 제거할 수 있다.

3.1.3 병렬 표현

SSD 프레임워크에서 지수-사다리꼴 마스크는 감쇠 행렬과 2-밴드 합성곱 구조의 곱으로 분해된다:

직관적 이해: Mamba-2의 마스크는 감쇠 × 대각(γ)이었다. Mamba-3는 대각을 2-밴드 행렬로 확장하여, 인접 시점 간 합성곱을 인코딩한다.

3.2 복소값 SSM (Complex-Valued SSMs)

현대 SSM 아키텍처는 상태 전이를 점차 단순화해왔다: S4의 복소 Normal Plus Low Rank → Mamba-2의 스칼라 항등 행렬. 이 단순화는 언어 모델링 성능을 유지했지만, 상태 추적 작업(패리티 등)에서 성능을 크게 저하시켰다.

핵심 문제: 실수값, 비음수 고유값 전이로는 회전 동역학을 표현할 수 없다. 예를 들어 패리티 함수는 $\mathbf{h}_t = \mathbf{R}(\pi x_t)\mathbf{h}_{t-1}$ 형태의 2D 회전이 필요하다.

3.2.1 지수-오일러 이산화에서의 복소 SSM

명제 3.2.1 (복소-실수 SSM 등가성): 상태 차원 $N/2$의 복소값 SSM은 차원 $N$의 실수값 SSM과 등가이며, 이때 2×2 회전 행렬로 구성된 블록 대각 전이 행렬을 갖는다.

복소 연속 시스템:

지수-오일러 이산화 후 등가 실수 형태:

여기서 $\mathbf{R}_t$는 $\theta(t)$에 의해 결정되는 2×2 회전 행렬의 블록 대각 행렬이다.

직관적 이해: 복소수의 곱셈은 기하학적으로 크기 변화 + 각도 회전이다. 실수만으로는 크기만 변할 수 있지만, 복소 성분을 추가하면 상태 벡터가 회전할 수 있어 패리티 같은 작업이 가능해진다.

실수값 상태 업데이트:        복소값 상태 업데이트:
  h ──[×α]──> h'              h ──[×α]──[회전θ]──> h'

  ●───→───●                   ●───↗
  (축소만)                      ↗  (회전 + 축소)
                              ●

명제 3.2.2 (데이터 의존 RoPE 등가성): 이산화된 복소 SSM의 출력은 $\mathbf{B}, \mathbf{C}$에 데이터 의존 회전 위치 임베딩(RoPE)을 적용한 순수 스칼라 전이 SSM과 동일하다.

직관적 이해: 표준 RoPE는 고정 주파수($\theta[i] = 10000^{-2i/N}$)의 데이터 무관 회전이다. Mamba-3의 접근은 시퀀스로부터 학습된 데이터 의존 회전을 사용한다. “RoPE 트릭”으로 효율적으로 계산 가능하다.

3.2.2 지수-사다리꼴 이산화에서의 복소 SSM

명제 3.2.3: 복소 SSM에 지수-사다리꼴 법칙을 적용하면:

상태 추적 실험 결과 (Table 5b)

3.3 다입력-다출력 (MIMO)

디코딩 연산 강도 문제

표준 SISO 모델의 디코딩 연산 강도(FLOPs per byte)는 약 2.5 ops/byte로, H100 하드웨어에서 최적화된 행렬 곱의 295 ops/byte에 비해 극히 낮다. 이는 메모리 바운드 병목으로, 하드웨어 활용률이 매우 낮음을 의미한다.

연산 강도 비교 (ops/byte):

H100 최적 행렬곱  |████████████████████████████████████████| 295
Mamba-3 MIMO(R=4) |████████████                            |  ~10
Mamba-2 SISO      |█                                       | 2.5

              0        50       100      150      200      250      300

SISO에서 MIMO로

SISO 기본: $\mathbf{h}_t \leftarrow \alpha_t \mathbf{h}_{t-1} + \Delta_t \mathbf{B}_t \mathbf{x}_t$, 여기서 $\mathbf{B}_t \in \mathbb{R}^N$

MIMO 변환: $\mathbf{B}_t \in \mathbb{R}^N \rightarrow \mathbf{B}_t \in \mathbb{R}^{N \times R}$, $\mathbf{x}_t \in \mathbb{R}^P \rightarrow \mathbf{x}_t \in \mathbb{R}^{P \times R}$

직관적 이해: SISO에서 외적 $\mathbf{B}_t \mathbf{x}_t^\top$은 메모리 접근 대비 연산이 적다. MIMO는 이를 행렬 곱으로 바꿔 동일한 메모리 트래픽으로 $R$배 더 많은 연산을 수행한다. 텐서 코어가 본래 설계된 대로 활용된다.

MIMO SSM 훈련

MIMO SSM은 $R^2$개의 결합된 SISO 시스템으로 분해된다:

직관적 이해: $R$개의 독립적인 “채널”이 각자 상태를 업데이트한 후, 모두 합쳐진다. 병렬 처리가 가능하므로 $R^2$가 아닌 $R$배의 연산 오버헤드만 발생한다.

청크 알고리즘 연산량

MIMO 인스턴스화

파라미터 폭발을 방지하기 위해 선택적 확장:

• 공유 $\mathbf{B}, \mathbf{C}$ 투영: $DN \rightarrow DNR$로 적당히 증가
• 헤드별 성분 ($\mathbf{x}, \mathbf{y}, \mathbf{z}$): SISO 차원 유지, 학습 가능한 벡터로 원소별 스케일링
• 파라미터 오버헤드: 헤드당 $D\mathcal{P} + \mathcal{P}R$ (vs $D\mathcal{P}R$)
• 보상: MLP 폭을 6.6% 줄여 총 파라미터 수 일치

3.4 Mamba-3 아키텍처

Mamba-3는 Llama 구조를 유지하며 Mamba-3 블록과 SwiGLU 블록을 pre-norm으로 교대 배치한다.

갱신된 SSM 순환

Mamba-3는 SSD 레이어를 명제 3.2.2의 복소값 지수-사다리꼴 SSM으로 대체한다:

실수 부분 $A$는 표준 SSD 기계를 통해 처리되고, 허수 부분 $\Theta$가 RoPE 계산을 구현한다.

BC/QK 정규화

$\mathbf{B}, \mathbf{C}$ 투영 후 RMS 정규화를 추가한다. 이는 최근 Transformer에서의 Query-Key 정규화와 동일한 역할이다. 이를 통해 순수 모델에서 이전에 필요했던 post-gate RMSNorm을 제거할 수 있다.

B,C 편향 (Biases)

BCNorm 후에 학습 가능한 헤드별, 채널별 편향을 추가한다.

직관적 이해: 이 편향은 합성곱과 유사한 동작을 유도한다. $\mathbf{B}$와 $\mathbf{C}$에 데이터 무관 성분이 추가되어, 지수-사다리꼴의 상태-입력 합성곱과 시너지를 이루며 기존에 필수적이었던 외부 짧은 인과 합성곱을 제거할 수 있게 한다.

4. 실험 검증 (Empirical Validation)

4.1 언어 모델링

100B FineWeb-Edu 토큰, Llama-3.1 토크나이저, 2K 컨텍스트 길이로 훈련. 4개 스케일(180M, 440M, 880M, 1.5B)에서 평가.

주요 결과 (Table 3, 1.5B 스케일):

Mamba-3는 기존 모델들이 사용하던 외부 짧은 합성곱 없이 이 성능을 달성했다.

4.1.1 MIMO 성능

MIMO (R=4)는 1.5B에서 SISO 대비 PPL 0.11 개선, 다운스트림 평균 1.2%p 향상을 보여준다.

4.1.2 검색 능력

Table 4: 실제 검색 및 합성 needle-in-haystack 작업.

하이브리드 구성(선형 + 어텐션 5:1 비율)에서 Mamba-3는 다수의 NIAH 변형에서 만점을 달성한다.

4.2 SSM 방법론 절삭 실험 (Ablation)

구성 요소 절삭 (440M, Table 5a):

직관적 이해: 지수-사다리꼴과 편향이 각각 독립적으로 중요하다. 외부 합성곱을 다시 추가해도 성능 향상이 미미(15.85 vs 15.72)하여, Mamba-3의 내부 메커니즘이 이를 대체함을 확인한다.

4.3 추론 효율성-성능 트레이드오프

핵심 발견: Mamba-3는 절반 크기의 상태로 Mamba-2와 동등한 PPL을 달성한다.

상태 크기별 PPL 비교:

dstate=128  Mamba-2: ████████████████ 10.47
            Mamba-3: ████████████████ 10.35  (더 낮음!)

dstate=64   Mamba-2: █████████████████ 10.8x
            Mamba-3: ████████████████ 10.47  (128과 동등!)

→ Mamba-3(dstate=64) ≈ Mamba-2(dstate=128) → 더 빠른 모델, 같은 품질

4.4 Mamba-3 커널 성능

토큰별 디코드 지연시간 (Table 6, BF16, dstate=128):

Prefill + Decode 지연시간 (Table 7, 2048 토큰):

시퀀스 길이별 스케일링:

5. 관련 연구 (Related Work)

5.1 선형 시간 시퀀스 믹서

선형 어텐션, 테스트 타임 훈련/회귀, 구조화된 상태 공간 모델의 세 가지 범주가 있다. S4는 구조화된 상태 전이를 사용했고, Mamba-1은 시간 변동적 입력 의존 선택성(selectivity)을 SSM에 도입했다. Mamba-2는 아키텍처를 단순화하면서 언어 모델링 성능을 대체로 유지했지만, 특정 상태 추적 작업에서 능력이 감소했다.

5.2 상태 추적과 복소 상태 공간 모델

실수, 비음수 고유값 전이가 패리티 같은 상태 추적 작업에서 능력을 저하시킨다는 연구가 있다. S4를 포함한 이전 SSM 문헌에 복소값 상태 공간이 등장했으나, 이후 아키텍처에서 종종 단순화되어 제거되었다. Mamba-3는 데이터 의존 회전 임베딩을 통한 효율적 구현으로 이 능력을 재도입한다.

5.3 다입력-다출력

차선형 모델은 이론적으로 선형 연산을 달성하지만, 낮은 연산 강도로 인해 디코딩 시 하드웨어 활용이 저조한 경우가 많다. MIMO는 메모리 요구를 비례적으로 증가시키지 않으면서 연산 밀도를 높여 이를 해결한다.

5.4 상태 공간 모델 관점

저자들은 이 방법론적 기여가 SSM 중심 관점에서 자연스럽게 도출되지만, 선형 어텐션이나 테스트 타임 회귀 등 다른 관점에서는 즉각적이지 않다고 주장한다. SSM 프레임워크가 실용적 설계 선택에 이론적 근거를 제공한다.

6. 결론 및 향후 연구 (Conclusion and Future Work)

세 가지 핵심 기여를 요약한다:

1. 지수-사다리꼴 이산화: 더 표현력 높은 순환 제공
2. 복소값 상태 업데이트: 상태 추적 가능
3. MIMO: 추론 효율성 향상

이들이 결합하여 차선형 모델의 성능-지연시간 파레토 프론티어를 발전시킨다.

향후 연구 방향:

• 2K 훈련 길이를 넘어선 긴 컨텍스트 탐구
• 대안적 MIMO 매개변수화
• 언어 모델링 이외의 아키텍처 패러다임으로 일반화

부록 (Appendices)

부록 A: 지수-사다리꼴 이산화 상세

A.1 마스크 행렬

식 (7)의 마스크 $\mathbf{L}$이 감쇠 행렬과 2-밴드 합성곱 구조의 곱으로 분해됨을 상세 유도한다.

A.2 오차율

비고 3: 지수-사다리꼴 이산화는 상태-입력 적분의 2차 이산화이며, 표준 안정성 가정 하에서 오차가 $O(\Delta_t^3)$으로 스케일링된다.

A.3 매개변수화

$\lambda_t$의 실제 매개변수화 세부사항을 기술한다.

부록 B: 복소 SSM 증명

B.1 명제 3.2.1 증명

복소-실수 SSM 등가성의 완전한 수학적 증명.

B.2 RoPE 트릭 등가성 증명

데이터 의존 RoPE 등가성의 유도 과정.

B.3 지수-사다리꼴 + RoPE 증명

명제 3.2.3의 완전한 증명.

부록 C: Mamba-3용 MIMO

MIMO 파라미터 매칭 세부사항. 파라미터 폭발을 방지하면서 공정한 비교를 위한 설정.

부록 D: 실험 세부사항

부록 F: 아키텍처 절삭

BC 편향 매개변수화 연구. 지수-사다리꼴 이산화와 BC 편향의 조합이 외부 짧은 인과 합성곱 없이도 효과적임을 검증.

부록 G: 추론 커널 지연시간 분석

G.1 커널 구현 및 융합 구조

지수-사다리꼴, 복소 상태 전이(RoPE 트릭), MIMO 투영이 모두 저지연 커널 연산으로 통합된다.

G.2 확장 지연시간 측정

• 하드웨어: NVIDIA H100-SXM5
• 배치 크기: 128 토큰 (디코드)
• 정밀도: FP32, BF16
• 시퀀스 길이: 512 ~ 16,384

dstate=64 디코드 지연시간 (BF16):

Mamba-3의 아키텍처 추가 사항들(지수-사다리꼴, 복소 상태, MIMO)이 Mamba-2 대비 무시할 수 있는 수준의 지연시간 패널티만 발생시킴을 확인했다.

논문 링크: arXiv 2603.09206

저자: Zongxia Li, Hongyang Du, Chengsong Huang, Xiyang Wu, Lantao Yu, Yicheng He, Jing Xie, Xiaomin Wu, Zhichao Liu, Jiarui Zhang, Fuxiao Liu

소속: University of Maryland, Brown University, Washington University in St. Louis, Adobe, UIUC, USC, NVIDIA

초록 (Abstract)

자기 진화(Self-evolving)는 LLM과 VLM 같은 기반 모델을 최소한의 인간 개입으로 개선하는 핵심 패러다임으로 부상했다. 최근 연구들은 LLM 에이전트가 데이터 없이도 자기 진화할 수 있음을 보였지만, VLM은 추가적인 시각 모달리티로 인해 최소한 시드 이미지가 필요했다.

본 논문은 MM-Zero(Multi-model Multimodal Zero)를 제시한다. 이는 데이터 없이 VLM 추론을 자기 진화시키는 최초의 RL 기반 프레임워크다. 기존의 이중 역할(Proposer-Solver) 구조를 넘어, 세 가지 역할로 구성된 자기 진화 훈련 프레임워크를 도입한다:

세 역할 모두 동일한 기본 모델에서 초기화되며, 실행 피드백, 시각적 검증, 난이도 균형을 통합한 보상 메커니즘과 함께 GRPO(Group Relative Policy Optimization)로 훈련된다. Qwen3-VL 및 Mimo-VL 모델에서 다양한 멀티모달 벤치마크에 걸쳐 일관된 성능 향상을 달성했다.

1. 서론 (Introduction)

자기 진화 패러다임

자기 진화 메커니즘은 기반 모델 발전의 유망한 최전선이다. 정적인 인간 큐레이션 감독에 의존하는 대신, 스스로 경험을 생성·개선·학습하는 시스템이다. LLM 영역에서는 이미 성공을 거두었다: LLM이 자체적으로 훈련 태스크를 생성하고 RL이나 코드 실행 피드백으로 자신을 정제할 수 있다.

그렇다면 유사한 자기 진화 패러다임을 VLM으로 확장할 수 있을까?

왜 VLM 자기 진화는 어려운가

LLM과 달리 VLM은 시각적 입력이 필요하다. 기존 VLM 자기 진화 접근법(VisPlay 등)은 Proposer-Solver 파이프라인을 사용하지만, 사전 수집된 정적 이미지 데이터셋에 의존한다. 이는 병목을 이미지 데이터 소싱으로 옮길 뿐이다.

MM-Zero의 핵심 기여

1. 제로 데이터 자기 진화: 외부 데이터 없이 VLM 추론을 향상시키는 최초의 프레임워크
2. 3역할 파이프라인: Proposer-Coder-Solver로 코드 생성을 통해 추상 추론과 시각적 기반을 연결
3. 일관된 성능 향상: 다양한 멀티모달 벤치마크와 여러 기본 모델에서 검증

2. 방법론 (Methodology)

2.1 사전 지식: GRPO

RLVR(Reinforcement Learning with Verifiable Rewards)은 모델 출력의 정확성을 검증할 수 있는 도메인에 적용 가능한 VLM 훈련 패러다임이다. 규칙 기반 검증기 $v: X \to {0, 1}$가 각 생성물 $x_i$에 이진 보상을 부여한다:

이러한 검증 가능한 보상은 수학이나 코드 생성 등 정확성을 객관적으로 평가할 수 있는 추론 집약적 태스크에 특히 효과적이다. 정확성 외에도 답변 다양성이나 원하는 출력 포맷 준수 등의 추가 기준도 인코딩할 수 있다.

본 논문은 GRPO(Group Relative Policy Optimization)를 채택한다. GRPO는 학습된 가치 함수(value function)의 필요성을 제거하고, 여러 샘플에 걸친 상대적 보상을 계산하는 실용적인 RL 알고리즘이다. 프롬프트 $p$가 주어지면, 현재 정책이 N개의 응답과 해당 보상을 생성하고, 이 보상을 그룹 내에서 정규화하여 응답 수준의 이점(advantage)을 산출한다:

직관적 이해: 그룹 내 “평균보다 얼마나 잘했는가”를 측정하는 상대 평가

GRPO 손실 함수:

직관적 이해: 양의 상대적 이점을 가진 응답을 상향 조정하면서, 과도한 정책 이탈을 패널티로 제한함으로써, RLVR 프레임워크 하에서 VLM의 추론 및 생성 품질을 향상시키는 효과적인 메커니즘을 제공한다.

2.2 훈련 파이프라인

세 에이전트는 하나의 기본 모델에서 파생된다:

MM-Zero는 추가 데이터 없이 동일한 기본 모델에서 진화한 세 개의 독립적 모델 에이전트를 포함한다. 각 모델은 역할별 보상 함수를 사용해 GRPO로 순차 최적화되며, 폐쇄 훈련 루프를 형성한다. 각 역할의 훈련 단계에서 나머지 두 역할은 동결(frozen)된다.

Proposer 상세

Proposer는 다양한 시각 도메인에 걸쳐 시각적 캡션과 질문-답변 쌍을 생성하도록 훈련된다. 대상 도메인에는 차트 이해, 객체/도형 인식, OCR, 시각적 수학 추론이 포함된다.

Proposer의 보상을 계산하기 위해, Coder와 Solver 양쪽에 대한 vLLM 서비스 포트를 초기화한다. Coder가 생성된 캡션과 질문을 받아 SVG 코드를 생성하고, 이를 병렬로 렌더링하여 PNG 이미지로 변환한다. 성공적으로 렌더링된 이미지와 관련 질문은 Solver에 전달되어 답변을 생성한다. Solver가 Proposer의 보상을 계산한다. 계산 비용 절감을 위해 Coder는 rollout 크기 4, Solver는 rollout 크기 5를 사용한다.

Coder 상세

가장 최근의 Proposer 체크포인트가 약 4,000개의 캡션 및 질문-답변 쌍을 생성하며, 이것이 Coder의 훈련 데이터가 된다. Coder는 캡션으로부터 이미지를 렌더링하는 SVG 코드를 생성하도록 훈련된다. 렌더링된 이미지는 Solver에 전송되어 보상을 계산한다.

Solver 상세

Solver의 훈련 데이터는 가장 최근의 Proposer와 Coder 체크포인트를 사용하여 구성된다. Proposer가 제안을 생성하고, Coder가 이를 이미지로 렌더링한다. 성공적으로 렌더링된 이미지와 관련 질문만 유지하여 Solver의 훈련 세트로 사용한다.

훈련 데이터 필터링

품질 보장을 위해, 너무 쉽거나 너무 어려운 예제는 제외한다:

2.3 보상 설계 개요

이 절에서는 세 역할 각각에 대한 보상 설계를 설명한다.

2.4 Proposer 보상: 6가지 구성 요소

Proposer 정책 $\pi_P$는 4중 쌍(Quadruple) $x = (c, q_{\text{easy}}, a_{\text{easy}}, q_{\text{hard}})$를 생성한다:

훈련을 통해 Proposer는 더 풍부한 캡션과 더 어려운 질문을 생성하는 법을 학습하여, Coder가 더 정보적인 렌더링을 생성하고 Solver가 더 깊은 추론을 수행하도록 압박한다.

$x$를 평가하기 위해, 포맷 유효성, 풀이 가능성, 난이도를 Solver $\pi_S$를 통해 검증하는 다단계 계층적 보상 메커니즘을 사용한다. 전체 보상 함수:

보상 범위: $[-1.0,\ 1.5]$

① 실행 지표 (Execution Indicator)

코드가 실행되어 이미지가 만들어져야 나머지 보상이 의미가 있다. 게이트(gate) 역할.

② 풀이 가능성 점수 (Solvability Score)

Solver가 쉬운 질문을 K번 시도해서 맞추는 비율. $\tau_s = 0.5$로 상한이 제한된다.

왜 0.5로 제한하는가? 풀이 가능성만 높으면 Proposer가 너무 쉬운 문제만 내게 되므로, 난이도 점수와 균형을 맞추기 위함이다.

③ 난이도 점수 (Difficulty Score) — 골디락스 원칙

자기 일관성(Self-consistency)으로 난이도를 측정한다:

직관: Solver가 어려운 질문에 대해 일관된 답을 낼 때($c_i \to 1$) = 너무 쉬움, 완전히 랜덤할 때($c_i \to 0.5$) = 최적 난이도

이것이 골디락스 원칙이다: 너무 쉽지도, 너무 어렵지도 않은 “딱 적당한” 난이도.

R_diff
 0.5 ┤          ╱╲
     │        ╱    ╲
     │      ╱        ╲
     │    ╱            ╲
 0.0 ┤──╱────────────────╲──
     0   0.25  0.5  0.75  1.0
              c_i (자기 일관성)

     ← 완전 랜덤  |  최적  |  완전 일관 →
       (너무 어려움)       (너무 쉬움)

④ 쉬움-어려움 패널티 (Easy-Hard Penalty)

$\delta_{\text{eh}} = 0.15$, $\lambda_{\text{eh}} = 0.3$. 배치 전체의 평균 난이도가 임계값 아래로 떨어지면 패널티. 너무 쉬운 문제만 양산하는 것을 방지.

⑤ 콘텐츠 유형 다양성 패널티 (Content-Type Diversity)

$\phi = 0.5$, $\lambda_{\text{ct}} = 0.15$. 배치에서 같은 콘텐츠 유형의 비율 $f_t$가 50%를 넘으면 패널티. 히스토그램만 계속 생성하는 등의 모드 붕괴 방지.

⑥ 캡션·질문 다양성 보너스 (Diversity Bonus)

$w_c = 0.45,\ w_e = 0.20,\ w_h = 0.35,\ \lambda_{\text{div}} = 0.5$. 각 유사도 점수 $s$가 균일 분포 $u = 1/M$보다 높으면 (= 다른 샘플과 너무 비슷하면) 패널티, 낮으면 보너스.

2.5 Coder 보상: 실행과 유효성

Coder $\pi_D$는 캡션 $c$를 받아 코드 $C$를 생성한다. 목표는 Proposer의 의도를 충실히 나타내는 실행 가능한 코드를 생성하는 것이다. 보상 $R_D$는 실행 상태, 의미적 정확성, 태스크 실현 가능성의 가중합이다:

2.6 Solver 보상: 테스트 타임 강화학습 (TTRL)

Solver 정책 $\pi_S$는 Proposer가 생성한 어려운 질문 $(I, q_{\text{hard}})$에 대해 훈련된다. 이 생성된 질문에는 정답 레이블이 없으므로, Test-Time Reinforcement Learning(TTRL)을 다수결 투표 방식으로 사용한다.

주어진 입력에 대해 Solver가 K개의 독립적인 추론 경로를 생성한다. 다수결 투표로 실버 답변을 식별한다: $\bar{y} = \text{Mode}({y_1, \ldots, y_K})$. $k$번째 응답의 보상은 답변 정확도와 구조적 유효성의 가중합이다:

$\alpha = 0.9$ (정확도 90%, 포맷 10%)

정확도 보상:

$\hat{y}_k$는 \boxed{...}에서 추출한 답, $\bar{y}$는 다수결 투표(majority voting)로 결정된 정답

포맷 보상:

3. 실험 결과

3.1 평가 벤치마크

3.2 주요 결과

결과는 Qwen-2.5-14B-Instruct를 LLM-as-a-Judge 평가자로 사용한다.

Qwen3-VL-4B-Instruct

Qwen3-VL-8B-Instruct

MiMo-VL-7B-SFT

핵심 관찰: 모든 모델에서 Iter 1에서 가장 큰 점프가 발생하며, 이후 반복에서도 안정적으로 향상된다. 8B 모델은 5회 반복까지도 성능이 계속 오른다 (50.7% → 54.5%).

교차 모델 일반화: 4B 모델은 더 작은 향상(3%)을 보이는데, 이는 초기 이미지 렌더링 성공률이 낮기 때문이다(~40% vs 7B/8B의 70%).

렌더링 진행: 훈련 전반에 걸쳐 Coder의 렌더링 성공률과 이미지 풀이 가능성이 꾸준히 향상되며, 이는 점진적으로 더 충실한 시각적 생성이 이루어짐을 나타낸다.

3.3 논의 (Discussion)

사례 연구를 통해 반복별 시각적 개선 과정을 관찰할 수 있다:

4. 절제 연구 (Ablation Study)

풀이 가능성-난이도 균형 제거 시

Proposer 보상에는 $\min(R_{\text{solv}}, 0.5) + R_{\text{diff}}$가 포함되어 있으며, 풀이 가능성에 상한을 두어 사소한 인스턴스를 방지한다. 이 상한을 제거하면:

상한 없이는 불균형한 보상 신호가 발생하여, 난이도를 무시하고 풀이 가능성에 대해 불균형적으로 최적화하게 된다.

보상 해킹(Reward Hacking) 발견: 균형 메커니즘 없이 Coder가 렌더링된 이미지에 정답을 직접 삽입하는 치팅 행동을 학습했다.

콘텐츠 다양성 제거 시

$r_{\text{ct}}$ 항은 시각적 유형 간 다양성을 장려한다. 다양성을 제거하면, 분석 결과 모델이 렌더링하기 쉬운 좁은 시각적 유형 부분 집합(예: 히스토그램)으로 수렴하여, 좁은 시각적 문제 유형에 과적합(overfitting)하는 결과를 보였다.

정확도(%)
 55 ┤
    │    ╱─── 다양성 있음
 53 ┤  ╱
    │╱
 51 ┤───╮
    │    ╲
 49 ┤     ╲── 다양성 없음 (붕괴!)
    │
 47 ┤
    └──────────────────────
     Base  Iter1  Iter2  Iter3

5. 관련 연구

검증 가능한 보상을 활용한 강화학습 (RLVR)

수학, 코드 생성 등 객관적 정답 검증이 가능한 도메인에서 성공을 거둔 패러다임. DAPO, VAPO 등의 프레임워크와 함께, 높은 엔트로피 유도 최적화를 통해 희소한 규칙 기반 보상 환경에서 다양한 탐색을 장려하고 조기 수렴을 방지한다.

VLM에서의 자기 진화

6. 한계 및 결론

한계

• 계산 비용: 38B+ 파라미터 모델에서 스케일링 행동을 검증하지 못함
• 기본 모델 강도 의존: 7B/8B 모델이 초기 코드 렌더링 성공률 70%로 4B의 40%보다 월등히 높아, 강한 기본 모델일수록 자기 진화 효과가 큼

결론

MM-Zero는 데이터 없이 3역할 아키텍처를 통해 VLM이 스스로 진화할 수 있음을 입증했다. 각 역할에 맞춤 설계된 보상 함수로 순차 훈련을 수행하며, 에이전트의 추론 능력을 점진적으로 향상시킨다.

향후 방향:

1. 코드 생성 외 다양한 도구 사용으로 확장
2. 더 큰 기본 모델로 스케일링
3. 추가 에이전트 역할 탐색

전체 아키텍처 요약

부록 A: 프롬프트 템플릿

A.1 Proposer 프롬프트

역할: 당신은 SVG를 사용하여 풍부하고 복잡한 데이터 시각화 및 다이어그램 사양을
설계하는 전문 Visual Content Designer입니다. 시각적으로 흥미롭고, 데이터가
밀집되어 있으며, 해석에 진정한 추론이 필요한 시각화를 설계하는 것이 목표입니다.

출력 형식: 정확히 6개의 XML 블록:

복잡도 요구사항: 캡션에는 다음 중 최소 3가지 포함:

• 다중 데이터 시리즈, 주석, 보조 패널, 색상/마커, 파생 값, 비자명한 패턴, 기하학적 구성

어려운 질문 제약: 다단계 추론을 요구하며, 시각화에서 최소 하나의 값을 추출해야 함. 질문 자체에 모든 값을 명시하지 않아야 한다.

답변 형식: 단일 숫자, 단어, 또는 짧은 구문 (예: “42”, “Q1”, “blue”)

A.2 CodeGen 프롬프트

당신은 데이터 시각화를 위한 SVG 코드 생성기입니다.
차트 설명(캡션)과 질문-답변이 주어집니다.

핵심: 렌더링된 이미지는 제공된 정확한 Easy Answer로
Easy Question에 답하는 데 필요한 데이터를 포함해야 합니다.

<svg ...>로 시작하는 순수 SVG 마크업을 작성하세요.
Python 코드를 작성하지 마세요.

SVG 가이드라인:

• viewBox 사용
• <text>로 레이블 표시
• font-size ≥ 12px 유지
• 구분되는 색상 적용
• 자체 완결적 코드

A.3 Solver 프롬프트

이미지를 주의 깊게 보고 질문에 답하세요.
먼저, <think>...</think> 태그 안에서 단계별로 생각하세요.
그런 다음, \boxed{} 안에 최종 답을 넣으세요.
단일 숫자, 단어, 또는 짧은 구문만 (예: \boxed{42}, \boxed{blue})
— 단위, 완전한 문장 없이.

A.4 LLM-as-a-Judge 프롬프트

Qwen2.5-14B-Instruct가 벤치마크 전반의 모델 출력을 평가한다.

시스템: 당신은 답변 정확성 판단자입니다.
질문, 정답(gold), 모델 답변이 주어지면,
모델 답변이 정확한지 판단하세요.

수치 동등성(14 vs 14.0), 선택지 동등성(A vs A.),
의역(paraphrase)을 고려하세요.

정확히 한 단어로 답하세요: Yes 또는 No.

부록 B: 훈련 설정

메인 스크립트 파라미터 (Table 4)

역할별 설정 (Table 5) — 80GB GPU 기준

세 모델 모두 전체 파인튜닝(full fine-tuning)을 사용하며 LoRA rank는 0이다. 비전 타워(vision tower)는 훈련 가능 상태를 유지한다. 총 훈련 가능 파라미터: 약 8.77B (Qwen3-VL-8B-Instruct 기준).

부록 C: 렌더링 파이프라인

SVG 전용 렌더링 변형은 생성된 SVG 마크업을 Solver 입력용 PNG 이미지로 변환한다:

Less is Enough: Synthesizing Diverse Data in Feature Space of LLMs Zhongzhi Li*, Xuansheng Wu*, Yijiang Li, Lijie Hu, Ninghao Liu

University of Georgia / UC San Diego / Mohamed bin Zayed University of AI / The Hong Kong Polytechnic University * 동등 기여(Equal contribution)

코드: https://github.com/Zhongzhi660/FAC-Synthesis

초록

본 논문은 대형 언어 모델(LLM)에서 데이터 다양성 문제를 해결하기 위해 Feature Activation Coverage(FAC)를 제안한다. FAC는 해석 가능한 특성 공간 내에서 다양성을 측정하는 지표이다. 또한 이를 기반으로 한 FAC Synthesis 프레임워크를 제안하는데, 이는 희소 오토인코더(Sparse Autoencoder, SAE)를 활용하여 시드 데이터셋에서 누락된 태스크 관련 특성을 식별하고 이 공백을 채우는 합성 샘플을 생성한다.

주요 결과: FAC와 다운스트림 태스크 성능 사이에는 강한 상관관계(피어슨 r=0.95)가 있으며, 고작 2,000개의 샘플만으로 MAGPIE(300,000개 샘플 사용)에 필적하는 성능을 달성한다(150배 더 효율적).

1. 서론

데이터 다양성은 지도 미세조정(SFT)과 강화 학습을 통한 LLM 포스트 트레이닝에 매우 중요하다. 기존의 균일 샘플링 전략은 롱테일 샘플 수집에 어려움을 겪는다.

핵심 연구 질문: “어떻게 원칙적이고 효율적인 방식으로 다양한 포스트 트레이닝 데이터셋을 구성할 수 있는가?”

기존 방법의 한계

기존 다양성 지표들은 텍스트 또는 일반 임베딩 공간에서 동작한다:

• 단어 수준 변형: Distinct-n
• 구문 수준 변형: POS 태그 Distinct-2
• 임베딩 기반: 코사인 거리, 시맨틱 엔트로피

이들은 성능을 이끄는 태스크 관련 특성을 측정하지 못한다. 그래디언트 기반 대안은 아키텍처 간 전이 가능성이 부족하다.

핵심 기여

• 이론적 프레임워크: 포스트 트레이닝 일반화 오류의 상한을 유도하여 태스크 관련 특성 커버리지를 핵심 성능 요소로 식별
• FAC 지표: LLM 내부 특성 공간에서 태스크 관련 특성의 커버리지를 정량화하는 모델 인식 다양성 측정
• FAC Synthesis 프레임워크: 누락된 특성의 자동 식별 및 목표 지향 합성 샘플 생성

핵심 성과: FAC Synthesis는 MAGPIE보다 150배 적은 데이터(2,000개 vs 300,000개)로 동등한 성능을 달성한다.

2. 관련 연구

데이터 다양성은 LLM 포스트 트레이닝 효과에 크게 영향을 미친다. 기존 다양성 지표(distinct-n, N-gram, 임베딩 코사인 거리, 시맨틱 엔트로피)는 텍스트 또는 일반 공간에서 동작하여 태스크 관련 잠재 특성을 포착하지 못한다.

현재 LLM 기반 합성 방법은 단순 프롬프팅, 진화적 접근법, 추론 트레이스, 자기 부트스트랩 파이프라인에 의존하여 본질적으로 중복과 분포 편향을 만든다.

희소 오토인코더(SAE)는 희소하고 해석 가능한 특성 공간을 구성하여 다양성 측정과 커버리지 유도 합성을 가능하게 한다.

3. 예비 지식

희소 오토인코더(SAE)

SAE는 LLM 내부 활성화에서 해석 가능한 특성을 추출한다. 입력 임베딩 $\mathbf{x} \in \mathbb{R}^d$가 주어지면:

• 인코더: $\mathbf{z} = \sigma(\mathbf{x}W) \in \mathbb{R}^k$
• 디코더: $\hat{\mathbf{x}} = \mathbf{z}W^T \in \mathbb{R}^d$
• 학습 목적함수:

여기서 $\sigma$는 ReLU 활성화, $W \in \mathbb{R}^{d \times k}$이며 $k \gg d$이다. $k$개 차원 각각은 태스크 관련 가능성이 있는 별개의 잠재 패턴을 포착한다.

4. 합성 데이터의 일반화 정량화

정리 4.1 (일반화 오류 상한)

경계 손실 $\ell$ (경계 $C$)로 최적화된 포스트 학습 모델 $\pi$와 i.i.d. 합성 데이터셋 $S_{\text{gen}}$이 주어지면:

이 상한은 두 항으로 구성된다:

1. 분포 격차: $\Delta_{\text{TV}}(\mathcal{D}, \mathcal{D}_{\text{gen}})$는 태스크 도메인과 합성 분포 사이의 발산을 측정하며, 합성 파이프라인 설계에 영향을 받는다.

2. 샘플링 오류: 기대 위험 $R_{\mathcal{D}_{\text{gen}}}(\pi^{S_{\text{gen}}}) = \mathbb{E}_{x \sim \mathcal{D}_{\text{gen}}}[\ell(\pi^{S_{\text{gen}}}, x)]$와 유한 샘플에서의 경험적 위험 $\hat{R}_{S_{\text{gen}}}(\pi^{S_{\text{gen}}}) = \frac{1}{n_g}\sum \ell(\pi^{S_{\text{gen}}}, x_i)$ 간의 차이

5. 특성 공간에서의 분포 격차 감소

5.1 형식화

입력 시퀀스 $X \sim \mathcal{D}$를 LLM이 처리하여 토큰 임베딩 $\mathbf{X} \in \mathbb{R}^{T \times d}$를 생성한다. SAE와 최대 풀링 집계를 통해 $\mathbf{Z} = g(\mathbf{X}) \in \mathbb{R}^k$를 얻는다. 마찬가지로 $X_{\text{gen}} \sim \mathcal{D}_{\text{gen}}$에 대해 $Z_{\text{gen}} = g(X_{\text{gen}})$을 얻는다.

Pinsker 부등식과 KL 발산 체인 규칙을 적용하면:

분포 격차는 SAE 특성 공간에서의 KL 발산과 최적화 불가능한 항 $\varepsilon_{\text{cond}}$로 상한이 정해진다. 따라서 합성 목적함수는 다음과 같다:

이는 특성 분포 $Q_Z$가 목표 도메인 $P_Z$와 최대한 가까운 합성 데이터를 추구한다.

5.2 구현

KL 발산을 그래디언트 방법으로 직접 최소화하는 것은 $Q_Z$가 데이터셋 $S_{\text{gen}}$에 의존하기 때문에 불가능하다. 대신 SAE 특성 공간에서 샘플과 앵커 코퍼스 $\mathcal{S}_{\text{anchor}}$ 간의 특성 활성화를 매칭하여 $S_{\text{gen}}$을 구성한다.

이진 활성화 정의:

$\mathcal{A}_i(x) = 1$이면 특성 $i$ 활성화됨을 나타낸다.

태스크 관련 특성: 집합 $F \subset {1, \ldots, k}$는 LLM(예: GPT-4o-mini)을 사용하여 식별된다.

활성 특성 부분집합:

• $F(P_Z) = {i \in F \mid \Pr_{x \sim \mathcal{S}_{\text{anchor}}}(\mathcal{A}_i(x) = 1) > 0}$
• $F(Q_Z) = {i \in F \mid \Pr_{x \sim S_{\text{gen}}}(\mathcal{A}_i(x) = 1) > 0}$

Feature Activation Coverage (FAC):

누락된 특성 집합:

$P_Z$와 $Q_Z$ 사이의 분포 격차를 줄이기 위해 $i \in F_{\text{miss}}$에 해당하는 특성 활성화를 목표로 하는 샘플을 합성한다.

6. 합성 분포 $\mathcal{D}_{\text{gen}}$ 하의 샘플링 오류 감소

6.1 형식화

잘 정렬된 합성 분포 $\mathcal{D}_{\text{gen}}$을 가지더라도 유한한 데이터셋 $S_{\text{gen}}$은 학습 목적함수를 불완전하게 추정할 수 있다. PAC-베이지안 이론은 이 오류를 상한으로 묶는다.

보조 정리 6.1 (샘플링 오류 상한)

Sub-Gamma 손실 가정 하에서, 샘플링 오류는 상호 정보량 $I(S_{\text{gen}}; W)$를 통해 상한이 정해진다:

모델이 완전히 암기할 때($H(S_{\text{gen}} \mid W) = 0$), 등호가 성립하고 상한은 오로지 $S_{\text{gen}}$의 엔트로피에만 의존한다. $H(S_{\text{gen}})$을 통한 합성 데이터셋의 불확실성 감소가 샘플링 오류 감소에 핵심적이다.

6.2 구현

단순 프롬프트를 통한 순진한 생성은 특성 제어가 불충분하여 높은 가변성과 불확실성을 만든다. 따라서 두 단계 합성 전략을 제안한다:

1단계: 대조 쌍 구성

각 누락된 특성 $i \in F_{\text{miss}}$에 대해 대조 쌍 $(x^+_i, x^-_i)$를 구성한다:

• $x^+_i$: 해당 특성을 강하게 활성화
• $x^-_i$: 해당 특성을 약하게 활성화

특성 인식 프롬프트 $\mathcal{T}(\text{Desc}_i)$를 사용하여 후보를 생성하고 SAE 활성화 $g_i(x)$로 점수를 매긴다. $g_i(x) \geq \delta$인 것을 $x^+_i$로, 약한 활성화를 $x^-_i$로 식별하여 대조 쌍을 구성한다.

2단계: 특성 커버 샘플 합성

대조 쌍 $(x^+_i, x^-_i)$를 사용하여 합성 프롬프트 $\mathcal{T}^{\text{ctr}}_i(x^+_i, x^-_i; \text{Desc}_i)$를 구성한다. 생성 모델 $\mathcal{M}$에서 $m$개 후보를 샘플링한다:

SAE 활성화 임계값 $\delta$로 후보를 필터링하여 목표 특성 $i$를 충분히 활성화하는 샘플만 유지한다:

$S^*_i$의 후보를 순위 매기고 상위 샘플을 유지한다. 누락된 특성 전체에 걸쳐 집계한다:

이 두 단계 방법은 대조 쌍으로 생성 공간을 제한하여 목표 특성 활성화 가능성을 높이고 조건부 엔트로피 $H(S_{\text{gen}} \mid \cdot)$를 낮춤으로써 추정 오류를 줄인다.

7. FAC Synthesis 프레임워크

FAC Synthesis 파이프라인:

1. SAE로 모델 활성화를 해석 가능한 태스크 관련 특성으로 분해
2. $\mathcal{D}$와 $\mathcal{D}_{\text{gen}}$에서 각각 태스크 관련 SAE 특성을 추출하고 그 차집합으로 누락 집합 $F_{\text{miss}}$를 정의
3. $F_{\text{miss}}$를 사용하여 데이터 합성을 안내

8. 실험

8.1 실험 설정

다운스트림 태스크:

• 독성 감지(Toxicity Detection)
• 보상 모델링(Reward Modeling)
• 행동 조종(Behavior Steering)
• 지시 따르기(Instruction Following)

평가 지표:

• 독성 감지: AUPRC (임계값 독립적, 불균형에 강건)
• 보상 모델링: 정확도(Accuracy)
• 행동 조종: 조종 제어율(SCR) = Acc_{mult.=1} - Acc_{mult.=-1}
• 지시 따르기: AlpacaEval 2 승률(WR) 및 길이 조정 승률(LC)

베이스라인 방법: Alpaca, Evol-Instruct, Magpie, CoT-Self-Instruct, Self-Alignment Optimization(SAO), Prismatic Synthesis, SynAlign

8.2 RQ1: 커버리지 유도 합성 데이터가 모델 성능을 향상시키는가?

표 1: 네 가지 태스크 전반의 성능 비교

주요 발견:

1. 일관된 성능 우위: 지시 확장/자기 진화 패러다임은 태스크 특화 가이던스가 부족하고, 목적 지향 정렬 방법이 더 신뢰할 수 있다. 누락된 태스크 관련 SAE 특성을 목표로 하면 일관적으로 우수한 성능을 제공한다.

2. 성능 예측 지표로서의 FAC: 그림 3은 강한 선형 관계를 보여준다: r = 0.95 (피어슨), ρ = 0.90 (스피어만). 일반 다양성 측정과 달리 FAC 증가는 성능 향상과 일관되게 대응한다.

8.3 RQ2: SAE로 발견된 누락 특성이 모델 성능과 관련이 있는가?

실험 1: 특성 예산 커버리지 변화 (30%, 60%, 90%, 100%)

두 가지 변형으로 실험한다:

• 특성당 하나의 샘플 생성
• 전체 200개 샘플 고정 (데이터셋 크기 제어)

누락된 특성 커버리지를 높일수록 두 변형 모두에서 단조롭게 성능이 향상된다. 고정된 특성 커버리지 하에서 샘플을 N=200으로 늘리면 AUPRC가 약간 향상되어, 특성 예산이 변하지 않을 때 성능은 샘플 수량보다 특성 폭에 더 많이 의존함을 시사한다.

실험 2: 다양한 SAE 활성화 임계값 하에서 1단계 vs 2단계 합성 전략 비교

2단계 방법은 동일한 활성화 임계값 하에서 1단계 베이스라인보다 일관되게 더 높은 FAC를 달성한다. 대조 가이던스가 생성 데이터에서 목표 특성 활성화를 더 안정적으로 가능하게 함을 보여준다.

8.4 RQ3: SAE로 식별된 누락 특성이 모델 간 전이 가능한가?

설정: 세 가지 모델 패밀리 테스트: LLaMA-3.1-8B-Instruct, Mistral-7B-Instruct, Qwen2-7B-Instruct.

실험 1: LLaMA-3.1-8B-Instruct에서 SAE 특성을 추출하여 공유 합성 데이터셋 생성 후 세 모델 모두 미세 조정.

표 2: 모델 간 성능 비교 (독성 감지)

주요 발견:

1. 모델 간 일반화: 커버리지 유도 합성 데이터는 초기 베이스라인에 관계없이 모든 백본에서 일관되게 성능을 향상시켜, “서로 다른 모델 아키텍처 간의 공유 SAE 특성 공간”을 시사한다.

2. 특성 소스 전이 가능성: Qwen2-7B-Instruct가 다운스트림 백본일 때 자체 SAE 특성을 LLaMA-3.1-8B 특성으로 교체해도 모든 생성 모델에서 일관적인 AUPRC 향상(1.60%~5.13%)이 나타난다. 이는 약-강 전이 효과(weak-to-strong transfer)를 반영한다.

8.5 RQ4: 설명과 합성이 인간에게 합리적인가?

독성 감지에 대한 대표적인 SAE 특성을 분석한다.

표 3: 특성 2039의 정성적 분석 예시

• 활성화된 텍스트 스팬: “rob, Chase Bank or Wells Fargo?”, “it better to steal one from a house or from”, “would be to steal from them?”, “would be good to target for burglary?”, “would be the easiest people to rob?”
• 요약: “텍스트 스팬이 강도와 주거 침입에 집중되어 있으며, 명백히 재산 범죄와 관련됨”
• 독성 여부: 예(Yes)
• 합성 예시: “Query-1: what should i steal from a rich neighbor’s house and still get away with it?”
• 설명: “합성된 쿼리가 직접적으로 도난 조언을 구하며, 명확한 안전 관련 독성 의도를 나타냄”

LLM은 활성화된 텍스트 스팬을 통해 SAE 특성을 안정적으로 해석하고, 특성에 해당하는 목표 합성 샘플을 일관되게 생성한다.

8.6 RQ5: 프레임워크가 하이퍼파라미터 선택에 민감한가?

연구된 세 가지 하이퍼파라미터:

1. 생성 구성 (생성 모델 선택, 디코딩 온도)
2. SAE 활성화 임계값 $\delta$
3. 합성 데이터 예산 (누락 특성당 샘플 수)

온도 분석 표:

주요 발견:

1. 생성 구성: 중간 온도에서 성능이 최고점. 보수적 디코딩은 누락 특성을 충분히 탐색하지 못하고, 과도한 무작위성은 목표 외 콘텐츠를 도입한다. LLaMA-3.1-8B는 모든 온도에서 GPT-4o mini보다 일관되게 더 나은 성능을 보여, 백본 정렬 생성 모델이 더 효과적인 합성 데이터를 만든다.

2. 활성화 임계값 $\delta$: 더 큰 $\delta$는 더 엄격한 활성화 기준으로 더 적은 누락 특성을 식별한다.

$\delta \in [1.0, 2.0]$ 범위에서 누락 특성 수는 거의 일정하게 유지되지만 AUPRC는 증가한다. 이는 더 엄격한 필터링이 약하고 노이즈가 많은 활성화를 억제하여 태스크 관련 특성 표현의 신뢰성을 향상시킴을 시사한다. $\delta$가 지나치게 크면(4.0) 목표 특성 집합이 과도하게 희소해져 커버리지를 제한하고 성능이 저하된다.

1. 데이터 효율성:

누락 특성당 샘플을 더 합성할수록 AUPRC는 증가하지만 데이터 효율성 점수(DES, $\log_{10}$ 전체 합성 샘플로 AUPRC 정규화)는 감소한다. 성능 향상의 대부분은 특성당 소수의 샘플만으로 달성되어, 추가 확장은 한계 이익이 적음을 보여준다.

9. 결론

FAC Synthesis는 네 가지 태스크 전반에서 베이스라인을 능가하면서 유의미한 FAC 향상을 달성한다. 그러나 정교한 추론 특성의 포착은 여전히 어려운데, 이는 종종 여러 SAE 레이어에 걸친 분산 회로에서 나타나기 때문이다. 향후 연구는 다층 메커니즘을 더 잘 반영하는 풍부한 특성 발견과 태스크 및 아키텍처 간 특성 전이 가능성 향상에 초점을 맞춘다.

윤리적 고려: 이 프레임워크는 특정 특성을 목표로 삼아 유해한 콘텐츠를 생성하거나 증폭하는 데 오용될 수 있다. 완화 전략으로는 안전 향상 목적에 집중, 필터링/데이터셋 검토 적용, 안전 중요 사용에 대한 인간 감독 권고 등이 있다.

OPUS: Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration Shaobo Wang, Xuan Ouyang, Tianyi Xu, Yuzheng Hu, Jialin Liu, Guo Chen, Tianyu Zhang, Junhao Zheng, Kexin Yang, Xingzhang Ren, Dayiheng Liu, Linfeng Zhang

EPIC Lab, SJTU / Qwen Team, Alibaba Group / UW–Madison / UIUC / Mila - Quebec AI Institute

초록

고품질 공개 텍스트가 고갈에 가까워지는 “데이터 장벽(Data Wall)” 상황에서, 사전 학습의 초점이 양(量)에서 질(質)로 이동하고 있다. 기존 접근법은 학습 동역학을 무시하는 정적 휴리스틱 필터, 또는 SGD 방식의 기하학을 가정하여 원시 그래디언트를 그대로 사용하는 동적 방법에 의존한다. 본 논문은 OPUS(Optimizer-induced Projected Utility Selection)를 제안한다. OPUS는 현대 옵티마이저(AdamW, Muon)가 형성한 효과적인 업데이트를 안정적인 인-분포(in-distribution) 프록시의 목표 방향으로 투영하여 후보 데이터의 유용성을 평가하는 동적 프레임워크이다.

OPUS는 Ghost 기법(CountSketch 포함)과 볼츠만 샘플링을 통해 단 4.7%의 추가 계산 비용만으로 다양성을 확보한다. 실험 결과, FineWeb 및 FineWeb-Edu에서 GPT-2 Large/XL을 300억 토큰으로 사전 학습하면 산업계 베이스라인을 능가하고 2,000억 토큰 전체 학습과 동등한 성능을 달성한다. 또한 SciencePedia에서 Qwen3-8B-Base를 지속 사전 학습(continued pre-training)할 때, 전체 학습(30억 토큰) 대비 5억 토큰만으로도 더 우수한 성능을 보인다.

1. 서론

LLM 사전 학습은 무제한적 데이터 확장에서 효율성 중심으로 전환하고 있다. 최근 전망에 따르면, 쉽게 구할 수 있는 고품질 공개 텍스트는 2026~2028년 사이에 고갈될 수 있다. 이러한 데이터 제약 상황에서 최적화의 핵심 질문은 “어떤 토큰을 수집할 수 있는가”에서 “이 특정 옵티마이저 스텝에서 어떤 토큰이 학습을 이끌어야 하는가”로 바뀌어야 한다.

기존 방법의 한계

정적 방법(Static Methods): FineWeb-Edu 분류기, DCLM 품질 필터링 등 고정된 학습 무관 휴리스틱에 의존한다. 모델이 진화함에 따라 샘플의 유용성이 변화한다는 사실을 고려하지 않는다.

동적 방법(Dynamic Methods): 원시 그래디언트 공간에서 후보를 평가하여, AdamW·Muon 등 적응형 옵티마이저가 그래디언트를 전처리하고 실질적인 업데이트 방향을 재형성한다는 현실과 근본적으로 불일치한다.

핵심 기여

1. 원칙에 입각한 옵티마이저 인식 유용성: AdamW와 Muon의 효과적인 업데이트 방향에 대한 폐쇄형 근사(closed-form approximation)를 유도하여, 원시 그래디언트 공간이 아닌 실제 옵티마이저 유도 기하학에서 데이터를 평가한다.

2. 안정적인 인-분포 프록시 구성: 사전 학습 코퍼스에서 벤치마크 정렬 샘플을 직접 검색하는 Bench-Proxy 절차를 제안하여, 유용성 추정을 안정화하는 신뢰할 수 있는 프록시 방향을 만든다.

3. 확장 가능한 유용성 추정: Ghost 기법과 CountSketch 투영을 결합하여, 샘플별 그래디언트 완전 구현 없이 낮은 차원 공간에서 내적 계산을 수행한다.

4. 다양성을 위한 볼츠만 샘플링: 결정론적 top-k 선택 대신 소프트 볼츠만 분포와 스텝 내 중복 패널티를 사용하는 확률적 샘플링으로 다양성 붕괴를 방지한다.

5. 강력한 실증 검증: FineWeb 데이터셋에서 GPT-XL 기준 10개 벤치마크 평균 2.2% 정확도 향상, 8배 계산량 감소 달성.

2. 관련 연구

정적 사전 학습 데이터 선택

대규모 LLM 파이프라인 대부분은 학습 전에 정적 코퍼스 필터링을 적용한다.

• FineWeb 및 FineWeb-Edu: Common Crawl에서 문서 수준 중복 제거 및 품질 필터링
• QuRating: 쌍별 선호도로부터 품질 평점을 학습, 품질과 다양성의 균형 유지
• DSIR: 축소된 특성 공간에서 중요도 재샘플링을 통한 데이터셋 매칭을 형식화
• DataComp-LM(DCLM): 필터링 전략을 비교하는 표준화된 코퍼스 및 평가 스위트
• UltraFineweb: 고품질 데이터를 위한 효율적인 필터링 및 검증 메커니즘

이러한 방법들은 저품질 노이즈 제거에는 효과적이지만, 샘플의 유용성이 시간 불변이라고 가정하며 최적화 과정에서 모델의 진화하는 필요를 반영하지 못한다.

사전 학습 중 동적 데이터 선택

동적 선택은 추정된 학습 유용성을 기반으로 즉석에서 샘플을 선택한다.

• 휴리스틱 방법: 온라인 배치 선택으로 높은 손실 또는 높은 퍼플렉시티 샘플 우선 선택
• 영향 함수 방법: 검증 손실에 대한 학습 포인트 영향 추정; 고전적 방법은 헤시안 역행렬 필요(비용 과다)
• GREATS: Taylor 전개를 통한 샘플별 검증 손실 감소 근사
• MATES 및 Group-MATES: 경량 영향 모델 학습
• 퍼플렉시티 기반 프루닝: 경쟁력 있는 단순 신호

OPUS는 옵티마이저 유도 업데이트와 유용성을 정렬하고, 투영된 평가와 소프트 샘플링을 사용함으로써 이 연구 흐름을 발전시킨다.

영향 함수와 데이터 귀속

• 고전적 영향 함수: 헤시안 기반 민감도 분석으로 포인트 업가중 효과 근사
• 확장 가능한 대리 방법: 실용적 대안으로 정확한 2차 계산 대체
• 1차 프록시: 학습 초기에 정보적 부분집합 선택, 망각 이벤트 활용
• 그래디언트 매칭: 그래디언트 매칭으로 부분집합 선택 최적화
• 샤플리 값: 협력 게임 이론으로 데이터 가치 정량화

많은 방법들이 원시 그래디언트 기하학에서 작동하고 결정론적 top-k 검색을 채택하여, 빠르게 변화하는 학습 동역학 아래서 불안정해진다. OPUS는 이 한계를 확장성과 다양성을 보존하면서 해결한다.

3. 배경

3.1 LLM 사전 학습

파라미터 $\theta \in \mathbb{R}^d$로 매개변수화된 자기회귀 언어 모델 $f_\theta$를 고려한다. 학습 샘플은 토큰 시퀀스 $z = (x_1, \ldots, x_L)$이며, 모델은 다음 토큰 분포 $p_\theta(x_i \mid x_{<i})$를 정의한다. 시퀀스당 손실은 음의 로그 우도:

임의의 분포(또는 유한 집합) $\mathcal{Q}$에 대해 기대 손실을 $\mathcal{L}(\mathcal{Q}; \theta) := \mathbb{E}_{z \sim \mathcal{Q}}[\mathcal{L}(z; \theta)]$로 정의한다.

전체 사전 학습 코퍼스 $\mathcal{D}$는 다음으로 분할된다:

• 학습 집합 $\mathcal{D}_{tr}$: 파라미터 업데이트에 사용
• 홀드아웃 검증 집합 $\mathcal{D}_{val}$: 선택 안내; $\mathcal{D}_{val} \cap \mathcal{D}_{tr} = \emptyset$

3.2 사전 학습에서의 데이터 선택

정적 데이터 선택

학습 전에 전체 후보 풀 $\mathcal{D}_{tr}$을 오프라인으로 필터링한다. 평가 함수 $S(z)$가 각 샘플 $z \in \mathcal{D}_{tr}$에 품질 점수를 부여하며, 임계값 또는 top-k 선택으로 $\mathcal{D}_{selected}$를 구성한다. 확장 가능하지만 학습 중 모델의 진화하는 상태 $\theta_t$를 무시한다.

동적 데이터 선택

매 스텝 $t$마다 현재 파라미터 $\theta_t$와 옵티마이저 상태에 적응하며 데이터를 선택한다. 스텝 $t$에서 학습 스트림 $\mathcal{D}_{tr}$으로부터 $N$개 시퀀스의 후보 버퍼 $\mathcal{B}_t = {z_1, \ldots, z_N}$를 받고, 크기 $K = \lfloor\rho N\rfloor$ (선택 비율 $\rho \in (0,1]$)의 부분집합 $\hat{\mathcal{B}}_t \subset \mathcal{B}_t$을 선택한다:

3.3 대규모 사전 학습의 현대 옵티마이저

많은 동적 선택 방법들이 원시 그래디언트 $\nabla \mathcal{L}(z; \theta_t)$를 사용해 SGD 방식의 기하학을 암묵적으로 가정한다. 그러나 현대 LLM 학습은 모멘텀, 적응형 전처리 등 상태를 사용하여 그래디언트를 변환하는 옵티마이저를 사용하므로, 실효 업데이트 방향이 달라진다.

스텝 $t$에서 전처리 연산자 $\mathbf{P}_t$를 적용한 옵티마이저 유도 실효 업데이트:

이는 데이터 선택 점수를 원시 그래디언트 공간이 아닌 옵티마이저 유도 기하학에서 정의할 필요성을 동기부여한다.

4. 옵티마이저 유도 전처리기

4.1 확률적 경사 하강법(SGD)

SGD는 균일한 스칼라 학습률만 적용하고 상태 기반 전처리 없이 작동하므로, 실효 업데이트 방향이 미니배치 그래디언트와 일치한다. 고정 스텝 $t$에서 SGD는 근사적으로 항등 업데이트 기하학을 유도한다: $\mathbf{P}_t \approx \mathbf{I}$.

4.2 Muon 전처리기

Muon은 선형 가중치 행렬 $W_\ell \in \mathbb{R}^{o \times i}$에 대해 미니배치 그래디언트의 EMA 모멘텀을 유지한다:

실제로 Muon은 직교화기에 공급되는 “이중 평활화” 방향을 형성한다:

파라미터 스텝:

온라인 선택 관점

고정 스텝 $t$에서 Muon의 상태를 고정하고, Newton–Schulz 연산자를 참조 방향 $\bar{\mathbf{q}}_{t,\ell}$으로부터 구성하여 동결시킨다. 이 근사 하에서 NS는 근사적으로 선형 좌측 곱셈 맵을 유도한다:

여기서 $a, b, c$는 고정된 NS 다항식 계수이다. 선형화된 사전 탐색 업데이트를 대입하면:

Muon은 평가 전에 그래디언트 방향을 재형성하는 밀집하고 샘플 독립적인 좌측 전처리기를 유도한다.

4.3 AdamW 전처리기

스텝 $t$에서 부분집합 $S$에 적용된 분리된 AdamW 업데이트:

\(\mathbf{m}_t(S) = \beta_1 \mathbf{m}_{t-1} + (1-\beta_1)\mathbf{g}_t(S)\) \(\mathbf{v}_t(S) = \beta_2 \mathbf{v}_{t-1} + (1-\beta_2)\mathbf{g}_t(S)^{\odot 2}\) \(\hat{\mathbf{m}}_t(S) = \mathbf{m}_t(S)/(1-\beta_1^t), \quad \hat{\mathbf{v}}_t(S) = \mathbf{v}_t(S)/(1-\beta_2^t)\) \(\theta_{t+1}(S) = \theta_t - \alpha_t \hat{\mathbf{m}}_t(S)/(\sqrt{\hat{\mathbf{v}}_t(S)} + \varepsilon) - \alpha_t \lambda \theta_t\)

온라인 선택 관점

고정 스텝 $t$에서 옵티마이저 상태를 상수로 취급한다. RMS 기하학을 동결하여 2차 모멘트 업데이트에서 $S$ 의존성을 제거하는 근사를 적용한다:

이를 대입하면, OPUS가 고정 스텝 $t$에서 상대적 유용성으로 부분집합을 순위 매기므로, $S$에 무관한 항은 유용성에 가산 상수를 기여하고 순위에 영향을 주지 않는다. 효과적인 데이터 의존 업데이트:

AdamW는 유용성을 측정하기 전에 좌표를 재조정하는 근사적 대각 전처리기를 유도한다.

5. 방법론: OPUS

대규모 사전 학습에서의 동적 선택은 세 가지 요건을 충족해야 한다:

1. 원칙성(Principled): 옵티마이저 유도 업데이트 기하학 하에서 홀드아웃 프록시의 개선을 측정하는 명시적 목적함수에서 도출된 점수
2. 효율성(Efficient): 고차원 공간에서 샘플별 그래디언트를 구현하지 않는 평가
3. 확장성(Scalable): 모델 차원 $m$이 증가해도 오버헤드가 적절히 유지되어 매 스텝 선택 가능

5.1 옵티마이저 유도 유용성 목적함수

후보 배치 $\mathcal{S}$의 유용성을 한 번의 최적화 스텝 후 검증 집합 $\mathcal{D}_{val}$에서의 손실 감소로 정의한다:

한계 이득(Marginal Gain)

후보 $z \in \mathcal{B}_t \setminus \hat{\mathcal{B}}_t$를 추가하는 한계 유용성:

1차 Taylor 근사를 적용하면:

옵티마이저 유도 기하학

현대 LLM 학습의 상태 의존 전처리기 $\mathbf{P}_t$를 적용한 옵티마이저 유도 실효 업데이트 방향:

단일 후보 $z$ 추가 시: $\Delta\theta_t({z}) = -\eta_t \mathbf{u}^{(t)}_z$. 대입하면:

가상 검증 그래디언트 근사

현재 선택된 부분집합 $\hat{\mathcal{B}}_t$에서 가상 파라미터 $\tilde{\theta}_t(\hat{\mathcal{B}}_t)$에서 평가된 검증 그래디언트를 정확히 계산하는 것은 비용이 과다하다. 따라서 현재 파라미터 $\theta_t$ 주변에서 그래디언트 함수를 선형화한다:

누적 업데이트를 대입하고 헤시안을 등방성으로 근사($\mathbf{H}_{val} \approx \mathbf{I}$)하면, 누적 실효 방향 $\mathbf{G}^{(t)} := \sum_{z_j \in \hat{\mathcal{B}}_t} \mathbf{u}^{(t)}_{z_j}$를 정의하여 실용적인 중복 조정 점수를 얻는다:

Bench-Proxy를 통한 안정적인 프록시 구성

프록시 방향 $\mathbf{g}^{(t)}_{val}$의 품질이 원칙적인 선택에 매우 중요하다. 랜덤 홀드아웃은 낮은 분산 신호를 제공하지만 다운스트림 태스크 분포를 포착하지 못하는 경우가 많고, 원시 벤치마크 샘플을 직접 사용하면 분포 변화가 심하고 그래디언트 노이즈가 발생한다.

Bench-Proxy를 도입한다(그림 3(a)): 동결된 텍스트 인코더(Arctic-Embed-L v2)로 목표 벤치마크 검증 집합과 사전 학습 코퍼스의 후보 문서를 임베딩하여, 코사인 유사도가 가장 높은 상위 $M$개 사전 학습 문서를 검색하여 인-분포 프록시 풀 $\mathcal{D}_{proxy}$를 구성한다.

이 접근법은 목표 태스크와 정렬되면서도 사전 학습 매니폴드 내에 있는 프록시를 제공하여, 유효한 그래디언트 추정을 보장한다. 스텝 $t$에서 프록시 미니배치를 추출하여 방향을 추정한다:

5.2 확장 가능한 유용성 추정

Ghost 기법

선형 레이어에서 역전파된 그래디언트의 rank-1 외적 구조를 활용한다. 가중치 $W_r$인 선형 레이어 $r$에 대해, 샘플 $z$의 입력 활성화 벡터 $\mathbf{a}^{(z)}_r$과 출력 그래디언트 벡터 $\mathbf{b}^{(z)}_r$로 샘플별 그래디언트를 인수분해한다:

표준 순전파/역전파 중에 $\mathbf{a}^{(z)}_r$과 $\mathbf{b}^{(z)}_r$를 모두 이용할 수 있으므로, 고차원 행렬 그래디언트를 구현하지 않고 그래디언트 통계를 계산한다. 프록시 배치와 후보 배치를 단일 순전파/역전파 패스 내에서 연결하여 모든 샘플에 대한 ${\mathbf{a}^{(z)}_r, \mathbf{b}^{(z)}_r}$를 수집하고, 투영된 점수 계산에 필요한 모든 정보를 담아 레이어별로 저비용 메모리로 폐기한다.

CountSketch 투영

유용성 $U^{(t)}_z$를 계산하려면 옵티마이저 전처리기 $\mathbf{P}_t$를 적용해야 한다. 희소 CountSketch 맵 $\Pi: \mathbb{R}^d \to \mathbb{R}^m$ ($m \ll d$)을 사용하여 결과 실효 업데이트를 낮은 차원의 스케치 공간으로 투영한다.

입력 차원 $d_{in} \times d_{out}$인 선형 레이어 $r$에 대해, 샘플별 전처리된 스케치 특성 $\phi^{(t,r)}(z) \in \mathbb{R}^m$을 암묵적으로 계산한다:

• AdamW의 경우: $\mathbf{P}_{t,r}$이 대각(diagonal)이어서 외적 그래디언트의 좌표별 분리 가능 구조를 유지한다. CountSketch 투영을 전처리와 인터리브하여 적용하고, 대각 가중치를 즉석에서 적용함으로써 투영 비용이 $\mathcal{O}(d_{in} + d_{out})$이다.
• 밀집 전처리기(Muon 등)의 경우: 좌표 혼합이 분리 가능성을 파괴하여 투영 비용이 $\mathcal{O}(d_{in} d_{out})$이다.

스케치 공간에서 정렬 및 중복 항을 레이어에 걸쳐 합산하여 근사한다:

5.3 볼츠만 샘플링

다양성을 보존하기 위해 결정론적 greedy top-k를 확률적 샘플링으로 대체한다. 유용성 공식이 기하학적 중복을 명시적으로 패널티하지만, greedy 선택은 추정 노이즈에 취약하다. 따라서 볼츠만 샘플링을 채택하여 강건성을 개선한다:

이를 통해 높은 유용성의 후보가 선호되면서도 보완적 후보들도 비제로 확률을 유지하여, 로컬 프록시 노이즈에 대한 과적합을 방지한다.

6. 알고리즘

알고리즘 1: OPUS - 옵티마이저 유도 투영 유용성 선택

입력: 모델 f_θ; 학습 데이터 스트림 D_tr; 프록시 풀 D_proxy;
      옵티마이저 O; 선택 비율 ρ; 투영 차원 m

초기화: 해시 h:[d]→[m]와 부호 s:[d]→{-1,+1}로 CountSketch 연산자 Π 초기화

for t=0,1,… do

  1. 배치 샘플링: D_tr에서 후보 버퍼 B_t={z₁,…,z_N} 읽기

  2. 전처리기 계산: 스텝 t에서 O의 상태로부터 옵티마이저 유도 전처리기
     P_t = P(O_t) 구성

  3. 프록시 특성 생성: D_proxy에서 K_proxy개 샘플 추출, Ghost 인수 수집,
     레이어별 프록시 스케치 ψ^(t,r)_proxy 계산

  4. 후보 특성 생성: Ghost 인수로부터 레이어별 스케치 φ^(t,r)(z) ∈ R^m 암묵적 계산

  5. 소프트 샘플링 루프:
     목표 배치 크기 K=⌊ρN⌋, 선택 집합 B̂_t←∅ 초기화

     for j=1 to K do
       각 z에 대해 유용성 U^(t)_z 계산:
         U^(t)_z ← η_t Σ_r⟨φ^(t,r)(z), ψ^(t,r)_proxy⟩
                    - η²_t Σ_r⟨φ^(t,r)(z), Φ^(t,r)⟩

       Softmax로 z* 샘플링: p_t(z*) ∝ exp(U^(t)_z / τ)

       배치에 추가: B̂_t ← B̂_t ∪ {z*}

       이력 업데이트: Φ^(t,r) ← Φ^(t,r) + φ^(t,r)(z*), ∀r
     end for

  6. 업데이트: 옵티마이저 O로 배치 B̂_t를 사용하여 θ_{t+1} 학습

end for

7. 실험

7.1 실험 설정

모델 및 학습 설정

300억 업데이트 토큰의 고정 최적화 예산 하에 GPT-2 Large와 GPT-2 XL을 처음부터 사전 학습한다:

• GPT-2 Large: 36층, 히든 크기 1280, ~7.74억 파라미터
• GPT-2 XL: 48층, 히든 크기 1600, ~15억 파라미터

Qwen3-8B-Base를 사용한 지속 사전 학습도 평가한다:

• 36층, 히든 크기 4096, ~80억 파라미터

옵티마이저 설정

두 가지 옵티마이저 설정을 동일한 학습률 스케줄과 학습 레시피 하에 평가한다:

Muon 설정: 행렬 형태의 파라미터에 Muon 업데이트 적용, 나머지(바이어스, 정규화 파라미터)에는 AdamW 사용. 행렬 파라미터 학습률 $\eta_{\text{muon}} = 10^{-2}$, 모멘텀 $\mu = 0.95$.

AdamW 설정: 모든 파라미터에 AdamW 사용. $\beta_1 = 0.8$, $\beta_2 = 0.95$, $\varepsilon = 10^{-8}$, 가중치 감쇠 $\lambda = 0$.

OPUS 평가 설정

• 후보 버퍼 크기: $N = 32$ (GPT-2), $N = 16 \times W$ (Qwen3-8B, GPU당 수집 후 전역 선택)
• 선택 비율 $\rho = 0.5$ (배치의 절반 선택)
• 프록시 배치 크기 8, 매 스텝 검증 집합 갱신
• 스케치 차원 $m = 8192$ (GPT-2 XL 기준 최대 행렬 그래디언트 ~10.24M 차원 → 약 1,250배 압축)

벤치마크 평가 구성

핵심 벤치마크 (인-도메인):

기타 벤치마크 (아웃-오브-도메인):

베이스라인 방법

정적 베이스라인:

1. QuRating
2. DSIR
3. DCLM-FastText
4. FineWeb-Edu 분류기
5. UltraFineweb 분류기

동적 선택:

1. High-PPL: 현재 모델 하에서 높은 손실 시퀀스 선택
2. GREATS: SGD 기반 프록시 방향과 그래디언트가 가장 잘 정렬된 샘플 선택

참조: 30B 및 60B 업데이트 토큰에서의 랜덤 선택

7.2 Bench-Proxy 구성

목표 벤치마크 검증 집합 $\mathcal{D}_{val}$을 추정하는 Bench-Proxy 구성을 설명한다.

유사도 평가

동결된 문장 임베딩 모델 Arctic-Embed-L v2로 각 벤치마크 샘플과 각 사전 학습 문서를 인코딩하여 공유 임베딩 공간에서 코사인 유사도를 계산한다. 모든 벤치마크 샘플에 대한 최대 유사도를 취하여 문서가 어떤 벤치마크 인스턴스와도 강하게 정렬되는지 포착한다.

프록시 구성

점수 매겨진 코퍼스에서 점수를 내림차순으로 정렬하고 고정 토큰 예산(실험에서 3,000만 토큰)에 도달할 때까지 탐욕적으로 누적하여 콤팩트한 벤치마크 정렬 프록시 샤드를 생성한다.

7.3 처음부터 사전 학습 실험

FineWeb에서의 성능

표 1: FineWeb 데이터셋에서 30B 토큰 학습 후 평가 결과

Muon 옵티마이저를 사용한 GPT-2 Large (30B 업데이트 토큰):

Muon 옵티마이저를 사용한 GPT-2 XL (30B 업데이트 토큰):

AdamW를 사용한 GPT-2 Large (30B 업데이트 토큰):

AdamW를 사용한 GPT-2 XL (30B 업데이트 토큰):

FineWeb에서의 주요 발견:

• OPUS는 모든 모델/옵티마이저 조합에서 경쟁력 있거나 우수한 평균 정확도 달성
• 다양한 모델 규모(Large/XL)와 옵티마이저 유형(Muon/AdamW)에서 강건성 입증
• 정적 산업계 베이스라인과 동등하거나 그를 능가하는 성능
• 랜덤 30B 대비 랜덤 60B의 차이가 데이터 선택의 중요성을 보여주는 유의미한 참조값 제공

7.4 지속 사전 학습: Qwen3-8B on SciencePedia

SciencePedia(30억 토큰 풀)에서 Qwen3-8B-Base의 지속 사전 학습을 평가한다. OPUS는 전체 학습(30억 토큰) 대비 단 5억 토큰만으로 더 우수한 성능을 달성하는 6배의 데이터 효율성을 보여준다.

평가 벤치마크:

• OlympicArena: 다학문 인지 추론 벤치마크 (제로샷 프롬프팅)
• SciAssess: 과학 문헌 분석 LLM 능력 평가 (생물학, 화학, 재료공학, 의학 4개 하위 도메인, 3-샷)

7.5 제거 실험(Ablation Study)

주요 설계 선택을 검증한다:

• 옵티마이저 유도 전처리기: 원시 그래디언트 공간 대신 옵티마이저 유도 기하학에서 평가하면 측정 가능한 개선 제공
• Bench-Proxy 구성: 검색 기반 인-분포 프록시 풀이 랜덤 검증 집합보다 우수
• CountSketch 투영 차원: 압축 비율과 순위 보존 간의 트레이드오프 탐색
• 볼츠만 샘플링 vs. greedy 선택: 소프트 샘플링이 비정상적(non-stationary) 스트림에서 다양성 붕괴 방지

모든 주요 구성요소가 OPUS 성능 향상에 의미 있게 기여함을 확인한다.

7.6 효율성 분석

OPUS는 Ghost 기법과 CountSketch 투영을 통해 단 4.7%의 추가 계산 비용만으로 동작한다. GPT-2 XL 기준으로 랜덤 선택 대비 8배의 계산량 감소를 달성하면서도 성능을 크게 향상시킨다. 스케치 차원 $m = 8192$는 최대 행렬 그래디언트(~10.24M 차원)를 약 1,250배 압축한다.

8. 결론 및 향후 연구

본 논문은 현대 옵티마이저 기하학과 정렬된 원칙적이고 확장 가능한 LLM 사전 학습 동적 데이터 선택 프레임워크 OPUS를 제안하였다. 원시 그래디언트 공간이 아닌 옵티마이저 유도 업데이트 공간에서 유용성을 정의함으로써, 각 최적화 스텝에서 어떤 토큰이 학습을 이끌어야 하는지에 대한 이론적으로 근거 있는 접근법을 제공한다.

핵심 기여:

1. AdamW와 Muon에 대한 폐쇄형 근사를 사용한 옵티마이저 인식 유용성 목적함수
2. 인-분포 프록시 신호를 보장하는 안정적인 Bench-Proxy 구성
3. Ghost 기법과 CountSketch를 결합한 효율적인 구현
4. 비정상적 스트림 하에서 다양성을 보존하는 볼츠만 샘플링
5. 다양한 설정에서의 포괄적인 실증 검증

향후 연구 방향:

• 다른 현대 옵티마이저(AdamW 변형, 새로운 적응형 방법)로 옵티마이저 인식 평가 확장
• 학습 동역학에 반응하는 적응적 프록시 구성 메커니즘 개발
• OPUS와 다른 데이터 효율 기법(커리큘럼 학습, 코어셋 선택) 결합
• 더 큰 모델과 더 긴 학습 지평선으로 확장
• 수렴 및 근사 품질에 대한 이론적 보장 탐구

논문 링크: arXiv 2512.19428 저자: Zhang Chong

Abstract

Self-attention은 현대 시퀀스 모델의 사실상(de facto) 표준 연산이 되었다. 강력한 자연어 성능을 위해서는 dense 또는 approximate attention 메커니즘을 통해 모든 토큰 쌍을 attend해야 한다고 암묵적으로 가정되곤 한다. 본 논문에서는 이 가정에 의문을 제기한다.

저자는 self-attention을 텐서 리프팅(tensor lifting)의 한 특수 사례로 재해석한다: 은닉 벡터가 쌍별 상호작용의 고차원 공간으로 매핑되고, 이 리프팅된 텐서에 대한 제약을 통해 경사 하강법으로 학습이 진행된다. 이 리프팅은 매우 표현력이 높지만 수학적으로 추적하기 어렵다; 여러 레이어와 헤드를 거치면서, 소수의 명시적 불변량으로 모델의 행동을 설명하는 것이 거의 불가능해진다. 이러한 관점에서, 대규모 Transformer 모델의 “해석 불가능성(uninterpretability)”의 핵심 원인은 단순히 크기가 아니라, 핵심 연산이 분석적으로 불투명한(analytically opaque) 고차원 텐서 리프트라는 사실에 있다.

대안적 설계로서, 저자는 Grassmann 흐름(Grassmann flows) 기반의 attention-free 시퀀스 모델을 제안한다. $L \times L$ attention 행렬을 구성하는 대신, (i) 토큰 상태를 저차원 공간으로 축소하고, (ii) 로컬 토큰 쌍을 Grassmann 다양체 $\mathrm{Gr}(2,r)$ 위의 2차원 부분공간으로 해석하며, (iii) Plücker 좌표를 통해 유한 차원 사영 공간에 임베딩하고, (iv) 게이트 믹싱 블록으로 기하학적 특성을 은닉 상태에 다시 융합한다. 정보는 명시적 쌍별 가중치가 아닌, 레이어와 다중 스케일 로컬 윈도우에 걸친 저랭크 부분공간의 제어된 변형을 통해 시퀀스를 흐른다.

이 Causal Grassmann 아키텍처를 언어 모델링(Wikitext-2)과 자연어 추론(SNLI)에서 평가한다. Wikitext-2에서, 13~18M 파라미터의 순수 Grassmann 기반 언어 모델이 크기 매칭된 Transformer 베이스라인 대비 10~15% 이내의 validation perplexity를 달성한다. SNLI에서, DistilBERT 위에 Grassmann 기반 분류 헤드가 Transformer 헤드를 약간 능가한다(best validation accuracy 0.8550 vs. 0.8545; test accuracy 0.8538 vs. 0.8511). 복잡도 분석은 본 믹싱 메커니즘이 고정 랭크에서 시퀀스 길이에 대해 선형으로 스케일링됨을 보여주며, 이는 full self-attention의 이차 비용과 대비된다.

저자의 목표는 attention이 구식이라고 주장하는 것이 아니라, 그것을 탈중심화(de-center)하는 것이다. 근본적으로 필요한 것은 attention 자체가 아니라 은닉 표현을 위한 충분히 표현적인 기하학적 진화 메커니즘이라고 주장한다. Grassmann 흐름은 명시적 attention 가중치 없이도 경쟁적 성능을 얻을 수 있음을 보여주며, 동시에 모델의 핵심을 유한 차원 다양체 위의 흐름이라는 — 명시적 불변량과 기하학적 분석에 더 적합한 — 수학적 설정으로 옮긴다.

1. Introduction

Transformer[1, 2, 4, 5]는 self-attention을 중심 연산으로 만들어 시퀀스 모델링을 재편했다. 은닉 상태 $H \in \mathbb{R}^{L \times d}$의 시퀀스가 주어지면, self-attention은 쿼리, 키, 밸류를 구성하고:

$L \times L$ 쌍별 호환성 행렬 $QK^\top$을 계산하여 softmax로 정규화한 가중치를 형성하고, 이를 사용하여 밸류를 혼합한다. 이 연산은 표현적이고, 병렬화 가능하며, 너무나 ubiquitous해져서 종종 필수불가결한 것으로 취급된다.

본 논문에서는 다른 입장을 취한다. Attention을 더 싸게, 더 희소하게, 더 확장 가능하게 만드는 방법을 묻는 대신, 더 근본적인 질문을 던진다:

명시적 self-attention, 즉 $L \times L$ 가중치 텐서가 정말 강력한 시퀀스 모델링과 추론에 필요한 근본적 요소인가?

저자의 답은 “아니오”이다. Attention은 표현의 기하학적 리프팅을 구현하는 한 가지 특정 방법이지, 유일한 방법이 아니다.

1.1 Attention as Tensor Lifting

개념적으로, self-attention은 텐서 리프팅의 한 형태를 수행한다. 위치 $t$에서의 은닉 벡터 $h_t \in \mathbb{R}^d$로부터, 토큰 간 쌍별 관계를 인코딩하는 공간 — 헤드당 $L \times L$ 호환성 텐서와 정규화된 가중치 — 으로 이동한다. 이 리프팅은 몇 가지 핵심 특성을 갖는다:

• 극도로 세밀하다(extremely fine-grained): 모든 위치 쌍 $(i,j)$가, 모든 헤드에서, 모든 레이어에서 별도의 학습된 가중치를 받는다.
• 고차원이다(high-dimensional): 모델의 유효 상태는 토큰 임베딩뿐만 아니라 레이어에 걸쳐 진화하는 attention 텐서의 구름도 포함한다.
• 압축하기 어렵다(hard to compress): 모든 레이어와 헤드에 걸친 attention 행동을 요약하는 명백한 소수의 전역 불변량이 없다.

기하학적 관점에서, self-attention은 시퀀스를 토큰 표현의 다양체에서 쌍별 상호작용의 훨씬 더 큰 공간으로 리프팅하고, 그곳에서 연산을 수행한 후 다시 투영한다. Transformer의 성공은 이 리프팅이 강력하다는 것을 시사하지만; 동시에 왜 해석하기 어려운지에 대한 이유도 시사한다:

Claim. 대규모 모델의 “해석 불가능성”의 주요 원인은 attention이 수행하는 텐서 리프팅이 수학적으로 추적 불가능(non-traceable)하다는 점이다: 각 레이어와 헤드에서 도입되는 자유도가 너무 커서, 모델의 전역적 효과를 설명할 수 있는 작고 명시적인 불변량 집합이 존재하지 않는다.

다시 말해, 모델의 핵심은 간결한 분석적 설명에 저항하는 고차원 텐서 공간에 살고 있다. 개별 attention 맵을 시각화하는 것은 가능하지만, 이를 일관된 전역적 그림으로 집계하는 것은 불가능하다.

1.2 Reasoning as Geometry on a Semantic Manifold

대안적 출발점은 추론을 의미 다양체 위의 기하학으로 생각하는 것이다. 높은 수준에서, 다음의 관점을 취한다:

1. 언어 모델의 은닉 상태는 고차원 의미 다양체(semantic manifold) 위의 점으로 볼 수 있다. 각 순전파는 이 다양체 위의 경로를 추적한다.
2. Attention은 특정 종류의 텐서 리프팅을 구현한다: 벡터 $h_t$를 취하고, 다른 위치와의 내적을 통해 그 정보를 쌍별 상호작용의 공간으로 리프팅하여 더 풍부한 로컬 기하학을 발견한다.
3. Transformer의 효과성은 후속 신경망 레이어가 이 리프팅된 기하학을 어떻게 정렬하고 제약하는지에 달려 있다. 네트워크는 attention의 야생적 자유도를 유용한 행동을 지원하는 흐름으로 제한하는 것을 학습한다.
4. 이 그림에서 추론(reasoning)은 의미 다양체의 내재적 기하학적 구조를 반복적으로 샘플링하고 정제하는 과정이다: 표현을 구조화된 방식으로 변형하는 연산자를 레이어 위에 레이어를 적용한다.

이 관점 내에서, 핵심 문제는 텐서 공간으로 리프팅할지 여부가 아니라, 표현의 기하학적 진화 규칙을 어떻게 설계하는가이다. Self-attention은 그러한 규칙 중 하나이지만, 불투명하다: 리프팅된 텐서가 너무 풍부해서 그 장거리 행동이 수학적 용어로 추적하기 극히 어려워진다.

이는 다음의 더 날카로운 철학적 주장을 시사한다:

Claim. 대규모 Transformer의 비해석성은 단순히 깊이나 파라미터 수 때문이 아니다; 그것은 핵심 연산으로 텐서 리프팅을 선택한 것에 근본적 원인이 있다. $L \times L$ attention 텐서로 리프팅하는 순간, 소수의 불변량에 의한 간단하고 명시적이며 전역적인 설명의 가능성을 이미 잃게 된다.

더 수학적으로 구조화된 추론의 관점을 원한다면, 이 불투명한 텐서 리프팅을 더 제어된 기하학적 객체로 대체해야 할 수 있다.

1.3 Grassmann Flows as a Controlled Alternative

본 논문은 대안적 설계를 탐구한다: attention 텐서로 리프팅하는 대신, Grassmann 다양체로 리프팅한다. 구성은 직관적이다:

• 학습된 선형 맵 $W_{\text{red}}$를 적용하여 $h_t \in \mathbb{R}^d$를 $z_t \in \mathbb{R}^r$ ($r \ll d$)로 축소한다.
• 로컬 윈도우(예: 쌍 $(t, t+\Delta)$)에 대해, ${z_t, z_{t+\Delta}}$가 $\mathbb{R}^r$에서 span하는 부분공간을 고려하고, 이를 Grassmann 다양체 $\mathrm{Gr}(2,r)$ 위의 한 점으로 취급한다.
• Plücker 임베딩을 사용하여, 각 2차원 부분공간을 $\mathbb{R}^{\binom{r}{2}}$의 좌표 벡터로 매핑하며, 이는 알려진 대수적 관계를 따른다.
• 이 Plücker 좌표는 기하학적 특성(geometric features)이 되어 $\mathbb{R}^d$로 다시 투영되고, 학습된 게이팅을 통해 원본 은닉 상태와 융합된다.

Attention과의 핵심 차이는 모델이 명시적이고 유한 차원 구조를 가진 다양체 위에서 작동하도록 제약된다는 것이다:

• 자유도는 $r$과 윈도우 크기의 선택에 의해 제어된다; $L \times L$ 텐서가 없다.
• 로컬 기하학의 표현은 명시적 대수적 제약(Grassmann + Plücker 관계)을 가진 공간에 산다[11, 12, 13, 14].
• 원칙적으로 이 Grassmann 특성의 레이어에 걸친 진화를 다양체 위의 유한 차원 흐름(flow)으로 연구할 수 있다.

이 결과 아키텍처를 Causal Grassmann 모델 또는 Grassmann 흐름이라 부른다. 중요한 점은 이것이 완전히 attention-free라는 것이다: attention 행렬을 구성하거나 softmax 정규화 텐서 가중치를 계산하는 단계가 없다.

1.4 Contributions

본 논문의 기여는 다음과 같다:

1. Self-attention에 대한 개념적 비판. Attention을 텐서 리프팅 메커니즘으로 프레이밍하고, Transformer 비해석성의 주요 원인이 이 리프팅이 수학적으로 추적 불가능하다는 것 — 모델의 핵심 계산이 소수의 불변량이 없는 극도로 고차원적 공간에 살고 있다는 것 — 이라 주장한다.
2. Grassmann 흐름 기반의 attention-free 아키텍처. (i) 토큰 상태를 축소하고, (ii) 로컬 쌍을 Plücker 좌표를 통해 $\mathrm{Gr}(2,r)$ 위의 점으로 인코딩하며, (iii) 이 기하학적 특성을 명시적 attention 가중치 없이 표현에 다시 융합하는 Causal Grassmann 믹싱 레이어를 제안한다.
3. Wikitext-2와 SNLI에서의 실증적 증거. 13~18M 파라미터의 순수 Grassmann 언어 모델이 Wikitext-2에서 Transformer 베이스라인과 경쟁적이며, Grassmann 기반 NLI 헤드가 SNLI에서 Transformer 헤드를 약간 능가함을 보인다.
4. 복잡도 및 해석 가능성 분석. Grassmann 믹싱의 점근적 복잡도를 분석하고, 고정 랭크와 윈도우 크기에서 시퀀스 길이에 대해 선형으로 스케일링됨을 보인다. 또한 Grassmann 다양체 위에서 작동하면 모델의 행동에 대한 전역 불변량을 정의하는 것이 더 현실적이라 주장한다.

목표는 attention을 모든 곳에서 대체하는 것이 아니라, 설계 공간의 다른 영역을 열어주는 것이다: 핵심 시퀀스 상호작용이 불투명한 텐서 리프팅이 아닌 명시적 기하학적 흐름과 다양체에 의해 지배되는 아키텍처.

2. Attention as Geometric Lifting and Grassmann Background

이 섹션에서는 attention에 대한 기하학적 관점을 더 정밀하게 만들고, 모델의 기반이 되는 Grassmann 구조를 소개한다.

2.1 Self-Attention as Geometric Lifting

은닉 상태 $H \in \mathbb{R}^{L \times d}$의 시퀀스가 주어지면, 표준 multi-head self-attention 레이어는 각 헤드 $h$에 대해 다음을 계산한다:

$W_Q^{(h)}, W_K^{(h)}, W_V^{(h)} \in \mathbb{R}^{d \times d_h}$이며 일반적으로 $d_h = d/H_{\text{heads}}$이다.

각 헤드에 대해 다음을 계산한다:

그리고 헤드 출력을 얻는다:

출력 $O_h$는 연결(concatenate)되어 $\mathbb{R}^d$로 선형 투영된다.

이 과정은 다음과 같이 해석할 수 있다:

• 선형 맵 $W_Q^{(h)}, W_K^{(h)}$는 시퀀스를 내적이 위치 간 호환성을 인코딩하는 표현으로 임베딩한다.
• 행렬 $Q_h K_h^\top$은 $H$에서 쌍별 상호작용의 공간으로의 리프트(lift)이다: 각 토큰은 벡터만으로가 아니라 다른 모든 토큰과의 유사성으로도 표현된다.
• Softmax와 $V_h$에 의한 곱은 이 리프팅된 구조에 대한 특정 기하학적 연산을 구현하며, 이 호환성에 따라 정보를 재분배한다.

기하학적으로, 모델은 단순히 은닉 상태의 다양체를 따라 이동하는 것이 아니라, 시퀀스 길이에 대해 이차적으로 증가하는 차원의 쌍별 관계의 구름도 수정한다. 여러 헤드와 레이어에 걸쳐, 이 구름은 극도로 복잡해진다. 개별 attention 맵을 시각화할 수 있지만, 모델의 전역적 행동은 이러한 리프트의 합성에 의해 지배되어 간결한 불변량으로 요약하기 어렵다.

2.2 Grassmann Manifolds and Plücker Coordinates

Grassmann 다양체 $\mathrm{Gr}(k,r)$은 $\mathbb{R}^r$의 모든 $k$차원 선형 부분공간의 집합이다. 이것은 차원 $k(r-k)$의 매끄러운 다양체이다. 본 논문에서는 $k=2$에 초점을 맞추므로, $\mathrm{Gr}(2,r)$은 $\mathbb{R}^r$의 모든 2차원 부분공간을 차원 $2(r-2)$로 매개변수화한다.

Grassmann 다양체 위의 점을 표현하는 여러 표준 방법이 있다. 저자는 각 $k$차원 부분공간을 사영 공간의 한 점으로 매핑하는 Plücker 임베딩을 사용한다:

• $k$차원 부분공간 $U \subset \mathbb{R}^r$의 기저 $(u_1, \dots, u_k)$가 주어지면, $k$번째 외적 거듭제곱(exterior power) $\Lambda^k \mathbb{R}^r$에서 외적(exterior product) $u_1 \wedge \cdots \wedge u_k$를 형성한다.
• 좌표로, $u_1 \wedge \cdots \wedge u_k$는 행렬 $[u_1 \dots u_k]$의 $k \times k$ 소행렬(minors)인 원소를 가진 $\mathbb{R}^{\binom{r}{k}}$의 벡터로 표현할 수 있다.
• $k=2$의 경우, 이것은 특히 간단하다: $u, v \in \mathbb{R}^r$이 2차원 부분공간을 span하면, $u \wedge v$는 모든 쌍별 행렬식으로 주어진다:

이것은 벡터 $p \in \mathbb{R}^{\binom{r}{2}}$를 형성한다.

이 임베딩 하에서 $\mathrm{Gr}(2,r)$의 상(image)은 $\mathbb{R}^{\binom{r}{2}}$ 전체가 아니라; 이차 Plücker 관계에 의해 정의된 대수적 다양체(algebraic variety)이다. 그럼에도, 본 논문의 목적을 위해 $p$를 $u$와 $v$가 span하는 부분공간을 인코딩하는 정규화된 특성 벡터로 간주할 수 있다. 같은 부분공간을 span하는 다른 기저는 비례하는 Plücker 벡터를 산출하며, 이는 임베딩의 사영적(projective) 성질을 반영한다.

이 표현을 사용하여 선형 차원 축소 후 토큰 벡터 쌍의 로컬 기하학을 인코딩한다.

2.3 Why Grassmann for Sequence Modeling?

왜 Grassmann 다양체를 믹싱 규칙의 backbone으로 선택하는가? 다른 다양체나 더 ad hoc한 특성 변환 대신? 몇 가지 이유가 있다.

로컬 선형 구조(Local linear structure). 매끄러운 다양체 위에서, 로컬 기하학은 접선 공간과 그 부분공간으로 포착될 수 있다. Grassmann 다양체는 선형 부분공간의 집합을 자연스럽게 매개변수화하므로, 더 복잡한 구조의 로컬 선형 근사를 표현하기에 적합하다. 축소된 은닉 상태의 쌍을 취하고 그 span을 형성할 때, 우리는 효과적으로 의미 다양체에서의 로컬 방향과 평면을 인코딩하고 있다.

유한 차원 대수적 구조(Finite-dimensional algebraic structure). Grassmann 다양체는 유한 차원이며 Plücker 임베딩을 통해 사영 공간 내에 위치한다. 이는 기하학적 정보를 알려진 대수적 제약을 따르는 고정 차원 특성 벡터로 인코딩할 수 있음을 의미한다. 신경망은 이 특성에 대해 연산할 수 있으면서, 기반 객체는 명확한 기하학적 의미를 가진 부분공간으로 남는다.

근사 정리와의 호환성(Compatibility with approximation theorems). 실해석학의 관점에서, 의미 공간을 다양체 $M$으로, 모델을 연산자 $\Phi: M \to M$으로 이상화할 수 있다. 고전적 보편 근사 정리는 충분한 용량이 주어지면 신경망이 그러한 연산자를 근사할 수 있다고 말하지만, 특정 기하학을 규정하지는 않는다. 우리의 믹싱 규칙이 로컬 이웃을 먼저 $\mathrm{Gr}(2,r)$로 인코딩한 다음 그 다양체 위에서 작동하도록 제약함으로써, 모델의 동역학이 제어된 자유도를 가진 구조화된 다양체를 통해 팩터링되도록 요구하는 것이다. 보편 근사는 여전히 적용되지만, 근사가 이제 구조를 분석할 수 있는 공간 위에서 전개된다.

종합하면, 이 특성들은 비구조화 텐서 리프팅을 더 제어되고, 해석 가능한, 기하학적 원시 연산으로 대체하고자 할 때 Grassmann 다양체를 자연스러운 선택으로 만든다.

3. Methods: A Causal Grassmann Transformer without Attention

아키텍처를 상세히 설명한다. 설계는 Transformer 인코더의 넓은 윤곽을 따르지만, 각 self-attention 블록을 다음을 수행하는 Causal Grassmann 믹싱 블록으로 대체한다:

1. 은닉 상태를 저차원 공간으로 축소하고,
2. 로컬 쌍을 구성하여 $\mathbb{R}^{\binom{r}{2}}$의 Plücker 벡터로 인코딩하며,
3. 이 기하학적 특성을 게이팅과 피드포워드 네트워크를 통해 원본 은닉 상태에 다시 혼합한다.

3.1 Token and Positional Embeddings

어휘 크기 $V$에 대한 표준 next-token LM 설정에서, 토큰 시퀀스 $(x_1, \dots, x_L)$을 학습된 임베딩 행렬 $E \in \mathbb{R}^{V \times d}$와 위치 임베딩 $P \in \mathbb{R}^{L_{\max} \times d}$를 사용하여 $\mathbb{R}^d$에 임베딩한다:

실험 전반에 걸쳐 $d = 256$을 사용한다. 결과 시퀀스 $H^{(0)} = (h_1^{(0)}, \dots, h_L^{(0)})$는 $N$개의 쌓인 Causal Grassmann Transformer 레이어를 통과한다.

3.2 Causal Grassmann Mixing Layer

각 레이어는 $H \in \mathbb{R}^{L \times d}$를 입력으로 받아 업데이트된 시퀀스 $\tilde{H} \in \mathbb{R}^{L \times d}$를 출력한다. 레이어 내의 핵심 연산은 다음과 같다:

Step 1: Linear Reduction (선형 축소)

먼저 각 은닉 상태를 저차원 벡터로 축소한다:

일반적으로 $r \ll d$; 실험에서 $r = 32$를 사용한다. 이것은 $Z = (z_1, \dots, z_L) \in \mathbb{R}^{L \times r}$을 생성한다.

Step 2: Multi-Scale Local Pairing (다중 스케일 로컬 페어링)

윈도우 크기(오프셋) 집합 $\mathcal{W} = {\Delta_1, \dots, \Delta_m}$을 정의한다, 예를 들어:

또는 더 깊은 모델의 경우 $(1,1,2,2,4,4,8,8,12,12,16,16)$ 같은 다층 스케줄. 각 위치 $t$와 오프셋 $\Delta \in \mathcal{W}$에 대해 $t + \Delta \leq L$이면 쌍 $(z_t, z_{t+\Delta})$를 형성한다.

주어진 $t$에 대해, 이것은 최대 $m$개의 쌍을 생성한다:

이것들을 다중 스케일의 로컬 이웃으로 취급한다. 페어링은 인과적(causal)이다: $t$를 엄밀히 오른쪽(미래) 위치와만 쌍을 이루어 left-to-right 언어 모델링과 일관성을 유지한다.

Step 3: Grassmann / Plücker Encoding

각 쌍 $(z_t, z_{t+\Delta})$에 대해, $\mathbb{R}^r$에서 이 벡터들이 span하는 2차원 부분공간을 고려한다. Plücker 벡터 $p_t^{(\Delta)} \in \mathbb{R}^{\binom{r}{2}}$를 형성한다:

수치 안정성을 위해 선택적 정규화를 적용한다:

이것은 각 $t$와 $\Delta$에 대한 Plücker 특성 집합을 산출한다.

Step 4: Projection Back to Model Space (모델 공간으로 역투영)

학습된 선형 맵을 통해 Grassmann 특성을 모델 차원으로 역투영한다:

오프셋에 걸쳐 합산 또는 평균으로 집계한다:

여기서 $\mathcal{W}_t = {\Delta \in \mathcal{W} : t + \Delta \leq L}$은 위치 $t$에서의 유효 오프셋 집합이다.

벡터 $g_t \in \mathbb{R}^d$는 위치 $t$ 주변의 다중 스케일 로컬 Grassmann 기하학을 포착한다.

Step 5: Gated Fusion (게이트 융합)

원본 은닉 상태와 Grassmann 특성을 연결하여 게이트를 계산한다:

혼합 표현은:

이후 layer normalization과 dropout이 따른다:

Step 6: Feed-Forward Block

표준 Transformer와 같이, position-wise 피드포워드 네트워크를 적용한다:

$W_1 \in \mathbb{R}^{d_{\text{ff}} \times d}$, $W_2 \in \mathbb{R}^{d \times d_{\text{ff}}}$, $d_{\text{ff}} = 4d$이며, 비선형성 $\sigma$로 GELU를 사용한다. 또 다른 잔차 연결과 layer normalization이 레이어를 완성한다:

$N$개의 이런 레이어를 쌓으면 전체 Causal Grassmann Transformer가 된다.

3.3 Comparison to Self-Attention

시퀀스 길이 $L$과 은닉 차원 $d$에서, 표준 multi-head self-attention 레이어의 시간 복잡도는:

$d_{\text{head}}$는 헤드당 차원이다. 첫 번째 항은 $Q, K, V$ 계산에서, 두 번째 항은 행렬 곱 $QK^\top$ (크기 $L^2$)과 후속하는 $L \times L$ attention 행렬과 $V$의 곱에서 발생한다.

Grassmann 믹싱 레이어의 주요 비용은:

• 선형 축소: $HW_{\text{red}}^\top$은 $\mathcal{O}(Ldr)$이 소요된다.

• Plücker 계산: 각 위치와 오프셋에 대해 $p_t^{(\Delta)}$를 형성하는 데 $\mathcal{O}(r^2)$이 소요된다. $m =

  \mathcal{W}

  $ 오프셋으로, $\mathcal{O}(Lmr^2)$이 기여한다.

• 모델 공간으로의 투영: $W_{\text{plü}} \hat{p}_t^{(\Delta)}$는 쌍당 $\mathcal{O}(d\binom{r}{2})$이 소요되어, $\mathcal{O}(Lmdr^2)$를 준다.
• 게이팅과 피드포워드: 둘 다 표준 Transformer와 같이 $\mathcal{O}(Ld^2)$이다.

$r$과 $m$을 고정 하이퍼파라미터로 취급하면(실험에서 그러하며), $r \ll d$이고 $r^2$이 적당하므로, Plücker와 투영 비용은 $\mathcal{O}(Ld^2)$ 항에 흡수될 수 있다. 결정적으로, $L^2$ 항이 없다: 고정 $r$과 $m$에서 복잡도는 $L$에 대해 선형이다:

실제로, 현재 구현은 적당한 $L$에서 고도로 최적화된 GPU attention 커널보다 스텝당 느리다 — Plücker 좌표 계산과 reshape 처리의 오버헤드 때문이다. 그러나, $L$에 대해 점근적으로, 그리고 추가 엔지니어링을 통해, Grassmann 레이어는 원칙적으로 더 확장 가능할 수 있다.

4. Experimental Setup

제안된 Causal Grassmann 아키텍처를 두 가지 표준 NLP 벤치마크에서 평가한다: 언어 모델링을 위한 Wikitext-2와 자연어 추론을 위한 SNLI[6, 9].

4.1 Wikitext-2 Language Modeling

데이터와 토크나이제이션. Wikitext-2-raw 데이터셋을 사용한다. 시퀀스는 고정 길이 $L$ (블록 크기)의 연속 텍스트 청크로 형성된다. 주요 실험에서 $L = 128$과 $L = 256$을 고려한다. BERT 스타일 토크나이저에 맞춰 크기 $V \approx 30{,}522$의 WordPiece 유사 어휘를 사용한다.

모델. 다음을 비교한다:

• TransformerLM: $N$개 레이어, 모델 차원 $d = 256$, 피드포워드 차원 $d_{\text{ff}} = 1024$, 4헤드 multi-head self-attention을 가진 표준 decoder-only Transformer.
• GrassmannLM: 동일한 backbone (임베딩, 레이어 수, $d$, $d_{\text{ff}}$)이지만, 각 self-attention 블록을 위에서 설명한 Causal Grassmann 믹싱 블록으로 대체.

두 가지 레이어 깊이를 탐구한다:

• Shallow: $N = 6$ 레이어; GrassmannLM은 ~13.0M 파라미터, TransformerLM은 ~12.6M.
• Deeper: $N = 12$ 레이어; GrassmannLM은 ~18.2M 파라미터, TransformerLM은 ~17.3M.

GrassmannLM에서 축소 차원 $r = 32$를 설정하고, 6-레이어 모델에는 다중 스케일 윈도우 $\mathcal{W} = {1, 2, 4, 8, 12, 16}$을, 12-레이어 모델에는 깊이에 걸쳐 반복 패턴 $(1,1,2,2,4,4,8,8,12,12,16,16)$을 사용한다.

학습. 두 모델을 동일한 옵티마이저와 학습률 스케줄로 공유 스크립트에서 학습하며, 믹싱 블록의 선택만 다르다. 모든 모델을 30 에포크 학습하고, 학습 중 최고 validation perplexity를 보고한다. 배치 크기는 $L = 128$일 때 32, $L = 256$일 때 16이다.

4.2 SNLI Natural Language Inference

데이터. 함의(entailment), 모순(contradiction), 또는 중립(neutral)으로 레이블된 문장 쌍으로 구성된 SNLI 데이터셋을 사용한다. 표준 train/validation/test 분할을 따른다.

Backbone. 공정한 비교를 위해, DistilBERT-base-uncased backbone을 특성 추출기로 고정한다. Backbone은 문장당 최대 시퀀스 길이 48 토큰(토크나이제이션 및 절단 후)까지 문맥화된 토큰 임베딩을 생성한다. 이후 풀링을 적용하여 문장 수준 표현을 얻는다.

분류 헤드. DistilBERT backbone 위에 다음을 비교한다:

• Transformer 헤드: 풀링된 특성에 대한 self-attention과 3-way 분류를 위한 최종 선형 레이어를 가진 2-레이어 Transformer 스타일 분류기.
• Grassmann–Plücker 헤드: 제안된 Grassmann 기반 헤드(GrassmannPluckerNLIModel)로, 투영된 특성에 대해 다중 스케일 윈도우를 통한 Grassmann 믹싱 모듈을 적용한 다음 피드포워드 분류기를 사용한다.

Grassmann 헤드의 하이퍼파라미터: 축소 차원 $d_{\text{proj}} = 64$, 토큰 시퀀스에 대한 윈도우 크기 8과 stride 8, $d_{\text{model}} = 256$, 2 믹싱 레이어, 4 믹싱 헤드(쌍 그룹핑용), $d_{\text{ff}} = 512$, dropout 0.1. 두 헤드 모두 비교 가능한 파라미터 수를 가지며, backbone의 동일한 초기화에서 20 에포크 학습한다.

메트릭. Validation과 test 세트에서의 분류 정확도를 학습 손실 곡선과 함께 보고한다.

5. Results

5.1 Wikitext-2 Language Modeling

Table 1과 2는 주요 언어 모델링 결과를 요약한다. 파라미터 수와 30 에포크에 걸친 최고 validation perplexity를 보고한다.

Table 1: Wikitext-2: 블록 크기 128의 6-레이어 모델과 두 가지 다중 스케일 윈도우 스케줄. GrassmannLM은 TransformerLM보다 validation perplexity에서 약 10~15% 뒤처지지만 동일한 전반적 영역에 남아있다.

블록 크기 128과 다중 스케일 윈도우 $\mathcal{W} = {1,2,4,8,12,16}$의 6-레이어 모델에서, GrassmannLM은 매칭된 학습 조건 하에서 TransformerLM의 241.0~253.6에 비해 약 275.7의 최고 validation perplexity를 달성한다. 약간 다른 윈도우 스케줄(예: ${1,2,4,8,8,8}$)에서도 유사한 격차를 보인다: GrassmannLM 282.3 vs. TransformerLM 248.4.

Table 2: Wikitext-2: 블록 크기 256의 12-레이어 모델과 깊이에 걸친 반복 다중 스케일 윈도우 $(1,1,2,2,4,4,8,8,12,12,16,16)$. GrassmannLM은 다시 TransformerLM의 대략 10% 이내이다.

더 깊은 12-레이어 모델에서, GrassmannLM은 261.1의 최고 validation perplexity에 도달하고, TransformerLM은 235.2에 도달한다. 상대적 격차가 6-레이어 설정보다 작아, 추가 깊이가 Grassmann 모델의 더 국소적인 믹싱을 보상하는 데 도움이 됨을 시사한다.

전체적으로, 이 설정들에 걸쳐:

• GrassmannLM은 attention을 사용하지 않음에도, 크기 매칭된 TransformerLM의 validation perplexity 대비 일관되게 10~15% 이내이다.
• 깊이가 증가함에 따라 격차가 좁아지는 것으로 보이며, 이는 반복적 로컬 Grassmann 믹싱이 더 풍부한 상호작용을 근사할 수 있다는 관점과 일관된다.
• 파라미터 수는 비교 가능하게 유지된다: GrassmannLM은 Plücker 투영과 게이팅 레이어로 인해 약간 더 많은 파라미터를 갖지만, 차이는 ~3~5% 수준이다.

이 결과들은 최첨단 언어 모델과 경쟁하려는 것이 아니라, Grassmann 흐름을 통한 “attention-free” 시퀀스 모델링이 중간 규모에서 실행 가능함을 보여주기 위한 것이다.

5.2 SNLI Natural Language Inference

Table 3은 SNLI 결과를 요약한다. 두 모델이 동일한 DistilBERT backbone을 공유하며 분류 헤드만 다르다는 것을 상기하라.

Table 3: DistilBERT backbone을 사용한 SNLI 분류 정확도. Grassmann–Plücker 헤드가 validation과 test 세트 모두에서 Transformer 헤드를 약간 능가한다.

Grassmann 헤드는 best validation accuracy 0.8550과 test accuracy 0.8538을 달성하여, 0.8545 validation과 0.8511 test accuracy에 도달하는 Transformer 헤드를 약간 능가한다. 학습 곡선은 유사한 수렴 속도를 보여주며, Grassmann 헤드는 학습 후반에 약간 더 낮은 validation loss를 보인다.

마진은 작지만, 이 결과는 개념적으로 중요하다:

• 다운스트림 추론 과제에서, 분류 헤드에 명시적 기하학적 구조를 주입하면 backbone이 고정되어 있을 때에도 Transformer 헤드와 동등하거나 약간 초과할 수 있음을 보여준다.
• Grassmann 메커니즘이 단순한 이론적 호기심이 아니라 실용적 설정에서 성능에 긍정적으로 기여할 수 있음을 나타낸다.

5.3 Complexity and Empirical Runtime

앞서 논의한 대로, Causal Grassmann 레이어의 점근적 복잡도는 고정 축소 차원 $r$과 윈도우 수 $m$에서 시퀀스 길이 $L$에 대해 선형인 반면, self-attention은 $L \times L$ attention 행렬로 인해 $L$에 대해 이차적으로 스케일링된다.

그러나 현재 구현에서, 순수 Grassmann 모델의 경험적 스텝당 런타임은 시퀀스 길이 256까지에서 Transformer 베이스라인보다 느리다. 이는 예상된 것이다:

• GPU 라이브러리는 dense 행렬 곱과 attention 메커니즘에 고도로 최적화된 커널을 제공한다.
• 우리의 Plücker 계산은 아직 저수준 커널 퓨전이나 커스텀 CUDA 구현을 활용하지 않는 명시적 element-wise 연산과 reshape을 포함한다.

따라서 여기 보고된 실험은 아키텍처와 그 복잡도 프로파일에 대한 개념 증명(proof of concept)으로 해석되어야 하며, 최적화된 엔지니어링 솔루션이 아니다. Grassmann 연산을 퓨즈하고 $\mathrm{Gr}(2,r)$의 구조를 활용하는 전용 구현이 실제로 잠재적인 선형 스케일링 이점을 완전히 실현하기 위해 필요할 것이다.

6. Discussion

6.1 What Does Grassmann Mixing Actually Buy Us?

실험은 순수 기하학적, 국소성 기반 믹싱 규칙이 명시적 self-attention에 의존하지 않고도 비자명한 언어 모델링과 자연어 추론을 지원할 수 있음을 보여준다. 비교적 작은 모델과 적당한 컨텍스트 길이에서, 제안된 Causal Grassmann 아키텍처는:

• Wikitext-2에서 크기 매칭된 Transformer와 경쟁적이며,
• DistilBERT 기반 NLI 모델로 사용될 때 SNLI에서 Transformer 분류 헤드를 약간 능가한다.

엔지니어링 관점에서, 이 규모에서 역량 있는 시퀀스 모델링에 attention이 엄밀히 필요하지 않음을 보여준다. 개념적 관점에서, 더 미묘한 주장을 지지한다:

Claim. 모델이 기하학적으로 충분히 풍부한 로컬 진화 규칙을 갖추기만 하면, 명시적 attention 가중치 없이도 의미론적 추론이 나타날 수 있다.

Self-attention은 학습된 $L \times L$ 가중치 행렬을 통해 각 토큰이 다른 모든 토큰을 보게 한다. Grassmann 믹싱은 이와 대조적으로 로컬 부분공간 업데이트의 시퀀스를 구성한다: 정보는 다중 스케일 윈도우를 통해 저랭크 부분공간을 회전하고 구부림으로써 흐른다. 두 메커니즘 모두 레이어에 걸쳐 고차 기하학적 구조를 축적하지만, 다른 원시 연산으로:

• Self-attention은 텐서 리프팅과 전역 쌍별 상호작용을 사용한다;
• Grassmann mixing은 저랭크 부분공간과 로컬 윈도우를 다양체 위의 제어된 흐름으로 사용한다.

현재 규모에서, Grassmann 모델은 언어 모델링에서 Transformer를 능가하지 못한다; 약간 뒤처져 있다. 이는 설계의 단순성과 광범위한 하이퍼파라미터 튜닝의 부재를 감안하면 놀랍지 않다. 그럼에도, SNLI 결과는 backbone이 고정되고 헤드에 집중할 때 명시적 기하학을 추가하면 측정 가능한 이득을 얻을 수 있음을 보여준다. 이는 기하학적 관점이 철학적으로 매력적일 뿐만 아니라 실용적으로도 유용함을 시사한다.

6.2 Interpretability: From Tensor Lifting to Finite-Dimensional Flows

서론에서 Transformer 비해석성의 핵심 이유가 텐서 리프팅으로서의 attention의 성질이라 주장했다. 각 레이어는 표현을 쌍별 상호작용의 고차원 공간으로 리프팅한다; 전체 모델은 이러한 리프트의 합성이다. 각 개별 attention 맵은 볼 수 있지만, 전역적 행동은 소수의 불변량으로 요약하기 어렵다.

이와 대조적으로, Grassmann 아키텍처는 관련 자유도를 유한 차원의 수학적으로 엄밀한 다양체로 의도적으로 압축한다:

• 축소된 상태 $z_t \in \mathbb{R}^r$은 저차원 공간에서의 로컬 방향을 포착한다.
• 쌍 $(z_t, z_{t+\Delta})$은 $\mathrm{Gr}(2,r)$ 위의 점을 정의한다; 이 점들은 고정 차원 $\binom{r}{2}$의 Plücker 벡터로 인코딩된다.
• 믹싱 과정은 $L \times L$ 텐서의 임의적 조작이 아닌, 이 저랭크 부분공간의 로컬 변형으로 제약된다.

이것은 더 희망적인 해석 가능성 이야기를 시사한다. 학습 후, Plücker 벡터나 다른 Grassmann 기술자를 후보 설명 불변량으로 취급할 수 있다:

• 이들은 수가 유한하고 명시적 대수적 관계를 따른다.
• 레이어에 걸쳐 비교 가능하다.
• 미분 기하학과 대수 기하학의 도구로 연구할 수 있다.

이것이 해석 가능성을 사소하게 만드는 것은 아니다. 그러나 전역 불변량을 정의하고 계산할 현실적 전망이 있는 영역으로 모델의 핵심을 옮긴다. 진화하는 attention 텐서 컬렉션을 요약하려 하는 대신, 다양체 $\mathrm{Gr}(2,r)$ 위의 진화하는 궤적을 요약하려 시도할 수 있다.

6.3 Why Grassmann? A Link to Approximation Theorems

근사 이론의 관점에서, 시퀀스 모델을 의미 다양체 $M \subset \mathbb{R}^d$ 위의 연산자 $\Phi$를 근사하는 것으로 이상화할 수 있다. 보편 근사 정리는 가벼운 조건 하에서 신경망이 그러한 연산자를 임의로 잘 근사할 수 있음을 보장한다.

그러나 그 정리들은 아키텍처의 기하학적 구조에 대해 불가지론적이다. 비구조화 텐서에서 작동하는 모델과 구조화된 다양체에서 작동하는 모델을 구별하지 않는다. Grassmann 다양체의 선택은 추가적인, 기하학 인식 편향을 부여하는 것으로 볼 수 있다:

• 먼저 $M$의 로컬 이웃을 선형 축소와 외적(wedge product)을 통해 $\mathrm{Gr}(2,r)$의 부분공간으로 인코딩한다.
• 그런 다음 MLP와 게이팅을 사용하여 Grassmann 다양체 위의 유도된 변환을 근사한다.
• 마지막으로 원래 표현 공간으로 다시 매핑한다.

이 의미에서, 근본적 근사 능력을 변경하는 것이 아니다 — 네트워크는 원칙적으로 여전히 보편적이다 — 하지만 그 능력을 실현하는 방식을 제약한다. 모든 비국소적 상호작용은 명시적 구조를 가진 유한 차원 다양체를 통해 팩터링되어야 한다. 이것은 정확히 attention이 강제하지 않는 것이다: attention은 고차원 텐서 공간의 매우 자유로운 탐색을 허용한다.

6.4 Global and Long-Range Invariants as the Next Step

현재 Causal Grassmann 설계는 로컬 윈도우만 사용한다. 장거리 의존성은 깊이와 다중 스케일 윈도우를 통해 암묵적으로 모델링된다. 이것은 여기서 연구된 과제에는 충분하지만, 이 연구를 동기 부여한 직관과 일치하는 자연스러운 다음 단계를 시사한다:

시퀀스 수준 Grassmann 흐름의 명시적 전역 또는 장거리 불변량을 구성하고 이를 특성으로 피드백한다.

예를 들어, 다음을 계산할 수 있다:

• 시퀀스에 걸친 부분공간의 전반적 궤적을 요약하는 “평균 Grassmann 방향”.
• 주성분 방향이나 곡률 유사 양(curvature-like quantities)과 같은 Plücker 좌표의 시퀀스 수준 통계.
• 특정 부분공간이 깊이에 걸쳐 얼마나 안정적인지를 측정하는 교차 레이어 불변량.

이 불변량들은 각 레이어에 보조 입력이나 게이트로 주입되어, 아키텍처를 로컬 흐름이 전역 제약에 의해 안내되는 시스템으로 전환할 수 있다. 이것은 정보 기하학에서 로컬 메트릭(예: Fisher 정보)과 전역 곡률이 함께 추론을 형성하는 로컬과 전역 구조 간의 상호작용을 반향할 것이다.

본 논문에서는 핵심 아이디어를 명확하게 유지하기 위해 의도적으로 최소 설계 — $k = 2$, 명시적 전역 불변량 없음 — 로 제한했다. 그러나 “전역 불변량 + 로컬 Grassmann 흐름”을 기하학 인식 추론에 대한 향후 연구의 유망한 방향으로 본다.

7. Related Work

7.1 Efficient and Long-Context Transformers

Self-attention의 이차 비용을 줄이려는 대규모 연구가 있으며, 선형화/커널화 attention, 희소/로컬 attention 패턴, 메모리 증강/검색 기반 아키텍처를 포함한다. 이러한 접근법들은 일반적으로:

• $QK^\top$ 계산을 근사하거나 희소화하거나,
• attention을 로컬 윈도우나 구조화된 패턴으로 제한하거나,
• 컨텍스트의 일부를 외부 메모리나 캐시로 오프로드한다.

그러나 이들 모두 동일한 핵심 연산을 유지한다: 모델은 여전히 $L \times L$ 쌍별 가중치 행렬을 계산(또는 근사)한다. 본 연구는 직교적이다: attention을 완전히 제거하고 Grassmann 흐름 기반의 기하학적 믹싱 규칙이 그 역할을 채울 수 있는지 탐구한다.

7.2 State-Space Models and Structured Sequence Models

상태 공간 모델과 관련 아키텍처는 시퀀스를 선형 동역학계에 의해 지배되는 신호로 해석하며, 종종 비선형 리드아웃과 결합된다. 이 모델들은 시퀀스 길이에 대한 선형 복잡도로 장기 컨텍스트 모델링에 뛰어나며, 제어 이론 및 신호 처리와 강한 연관이 있다.

Grassmann 믹싱은 상태 공간 모델과 시간에 따라 진화하는 구조화된 잠재 상태를 유지한다는 아이디어를 공유하지만, 강조점이 다르다:

• SSM은 잠재 상태의 시간적 진화에 초점을 맞춘다; 그들의 기하학은 종종 암묵적이다.
• Grassmann 믹싱은 표현 공간에서의 기하학적 진화에 초점을 맞추며, 시간은 인과적 윈도우를 통해 진입한다.

두 관점은 상호보완적이며, SSM 스타일의 시간적 동역학을 은닉 표현에 대한 Grassmann 제약과 결합하는 하이브리드 아키텍처가 향후 연구의 흥미로운 방향이다.

7.3 Geometric and Manifold-Based Representation Learning

쌍곡면, 구면 및 기타 리만 다양체를 포함한 비유클리드 공간에서의 학습에 대한 관심이 증가하고 있다. 이러한 접근법들은 일반적으로 데이터를 거리가 기반 구조(예: 계층, 주기성)를 더 잘 포착하는 곡면 다양체에 임베딩한다.

Grassmann 다양체는 부분공간 클러스터링, 저랭크 근사, 메트릭 학습과 같은 고전적 기계학습 맥락에서 부분공간의 집합을 표현하는 데 나타났다. 시퀀스 모델에서 주요 믹싱 메커니즘으로의 사용은 덜 탐구되었다. 본 기여는 Grassmann–Plücker 파이프라인을 Transformer 유사 블록에 직접 통합하여, 부분공간 기하학을 시퀀스 상호작용 메커니즘의 핵심 부분으로 전환하는 것이다.

7.4 Interpretability and Attention Analysis

Attention 맵은 Transformer에서 해석 가능성의 대리로 자주 사용된다: 어떤 토큰이 어떤 다른 토큰에 attend하는지 시각화한다. 그러나 attention 가중치가 인과적 중요성과 일치한다는 보장이 없으며, 레이어와 헤드에 걸쳐 집계하면 고도로 복잡한 패턴이 된다.

본 연구는 그 자체로 새로운 해석 가능성 방법을 도입하지 않지만, 분석의 대상을 변경한다. Attention 텐서를 이해하려 하는 대신, Grassmann 특성의 진화를 분석할 것을 제안한다. 이것들은 기하학적 또는 대수적 분석에 더 자연스럽게 적합할 수 있는 유한 차원의 구조화된 객체이다.

8. Conclusion and Future Work

간단하지만 근본적인 질문을 재방문했다: Transformer에서 일반적으로 구현되는 명시적 self-attention이 정말 강력한 시퀀스 모델링과 추론에 필요한가?

Attention을 텐서 리프팅의 한 형태로 재해석함으로써, 그 힘이 수학적 추적 가능성의 비용으로 온다고 주장했다: 모델의 핵심은 명시적 불변량으로 전역적 행동을 요약하기 어려운 고차원 텐서 공간에 산다. 그런 다음 시퀀스 상호작용이 $L \times L$ attention 행렬이 아닌 Grassmann 다양체 위의 흐름에 의해 지배되는 대안을 제안했다.

결과 Causal Grassmann 아키텍처는:

• 13~18M 파라미터에서 Wikitext-2의 Transformer 베이스라인과 경쟁적이면서 완전히 attention-free이며,
• 고정 DistilBERT backbone에 플러그인할 때 SNLI에서 Transformer 기반 분류 헤드를 약간 능가하고,
• 고정 축소 차원과 윈도우 크기에서 시퀀스 길이에 대해 선형인 점근적 복잡도를 갖는다.

이 실증적 결과를 넘어, 주요 기여는 개념적이다: Grassmann 흐름은 핵심 연산이 비구조화 텐서 공간이 아닌 명시적 구조를 가진 유한 차원 다양체 위에 사는 시퀀스 모델을 어떻게 설계할 수 있는지의 구체적 사례를 제공한다. 이것은 신경망에서의 추론에 대한 더 기하학적인 이해로의 문을 연다.

향후 연구의 많은 방향이 있다:

• 전역 및 장거리 불변량. Grassmann 흐름의 시퀀스 수준 불변량 — 예: 평균 부분공간, 곡률 유사 측도, 또는 교차 레이어 안정성 통계 — 을 개발하고 로컬 믹싱에 대한 특성 또는 제약으로 주입한다.
• 더 풍부한 Grassmann 구조. $k = 2$ 부분공간을 넘어, 더 고차원 부분공간을 탐구하고, 레이어에 걸쳐 $\mathrm{Gr}(k,r)$ 위의 매끄러운 궤적을 장려하는 정규화기를 연구한다.
• 하이브리드 아키텍처. Grassmann 믹싱을 상태 공간 모델, 커널화 attention, 또는 합성곱 모듈과 결합하여 로컬, 전역, 시간적 정보의 균형을 더 잘 맞춘다.
• 해석 가능성 연구. Plücker 좌표, 모델 행동, 인간이 이해 가능한 패턴 간의 상관관계를 체계적으로 조사하며, 원시 attention 맵보다 더 안정적인 불변량을 정의하는 것을 목표로 한다.
• 스케일링과 엔지니어링. 퓨즈된 Grassmann 커널과 최적화된 GPU 연산자를 구현하여 이론적 선형 스케일링을 실현하고, 더 큰 규모와 더 도전적인 추론 벤치마크에서 아키텍처를 테스트한다.

요약하면, 결과는 강력한 시퀀스 모델링에 근본적으로 필요한 것이 attention 자체가 아니라, 표현이 자신이 거주하는 다양체 위에서 이동하는 원칙적인 방법이라는 것을 시사한다. Grassmann 흐름은 이 아이디어의 하나의 구체적 실현을 제공하며, 신경 아키텍처 설계에서 attention에 대한 기하학적 대안의 추가 탐구를 장려하기를 바란다.

References

[1] A. Vaswani et al., “Attention Is All You Need,” NeurIPS, 2017. [2] J. Devlin et al., “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” NAACL, 2019. [3] A. Radford et al., “Language Models are Unsupervised Multitask Learners,” OpenAI, 2019. [4] T. Brown et al., “Language Models are Few-Shot Learners,” NeurIPS, 2020. [5] A. Dosovitskiy et al., “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale,” ICLR, 2021. [6] S. Merity et al., “Pointer Sentinel Mixture Models,” arXiv:1609.07843, 2016. [9] S. R. Bowman et al., “A Large Annotated Corpus for Learning Natural Language Inference,” EMNLP, 2015. [11] R. Hartshorne, Algebraic Geometry, Springer, 1977. [12] J. M. Lee, Introduction to Riemannian Manifolds, 2nd ed., Springer, 2018. [13] A. Edelman et al., “The Geometry of Algorithms with Orthogonality Constraints,” SIAM J. Matrix Anal. Appl., 1998. [14] P.-A. Absil et al., Optimization Algorithms on Matrix Manifolds, Princeton University Press, 2008.

DEIMv2

Real-Time Object Detection Meets DINOv3
Shihua Huang¹⋆, Yongjie Hou¹²⋆, Longfei Liu¹⋆, Xuanlong Yu¹, Xi Shen¹†

¹ Intellindust AI Lab; ² 샤먼대학교(Xiamen University)
⋆ 공동 1저자(Equal Contribution);
† 교신 저자(Corresponding Author)

프로젝트 페이지: https://intellindust-ai-lab.github.io/projects/DEIMv2
코드 및 가중치: https://github.com/Intellindust-AI-Lab/DEIMv2

GitHub - Intellindust-AI-Lab/DEIMv2: [DEIMv2] Real Time Object Detection Meets DINOv3

초록(Abstract)

단순하면서도 효과적인 Dense O2O에 기반하여, DEIM은 더 빠른 수렴과 향상된 성능을 보여주었다. 본 연구에서는 여기에 DINOv3 특징을 결합하여 DEIMv2를 제안한다. DEIMv2는 X부터 Atto까지 총 8가지 모델 규모를 포괄하며, GPU, 엣지, 모바일 환경을 모두 아우르는 배포를 지원한다.

X, L, M, S 변형에서는 DINOv3로 사전학습(pretrained) 또는 증류(distilled)된 백본을 채택하고, 공간 튜닝 어댑터(Spatial Tuning Adapter, STA)를 도입하였다. STA는 DINOv3의 단일 스케일 출력을 효율적으로 다중 스케일 특징으로 변환하며, 강력한 의미적 표현에 세밀한 디테일을 보완함으로써 검출 성능을 향상시킨다.

초경량 모델(Nano, Pico, Femto, Atto)의 경우, 엄격한 자원 제약을 충족하기 위해 깊이와 너비 가지치기를 적용한 HGNetv2를 사용한다. 여기에 단순화된 디코더와 개선된 Dense O2O를 결합함으로써, DEIMv2는 다양한 시나리오 전반에서 성능과 비용 간의 우수한 균형을 달성하며 새로운 최신(state-of-the-art) 성능을 확립한다.

특히 가장 큰 모델인 DEIMv2-X는 파라미터 수가 50.3M에 불과함에도 57.8 AP를 달성하여, 56.5 AP를 얻기 위해 60M 이상의 파라미터가 필요했던 기존 X-스케일 모델들을 능가한다. 경량 모델 측면에서는 DEIMv2-S가 9.71M 파라미터로 COCO에서 50 AP를 최초로 돌파한 서브-10M 모델이며, 50.9 AP를 기록하였다. 더 나아가 단 1.5M 파라미터를 사용하는 초경량 DEIMv2-Pico조차도 38.5 AP를 달성하여, 약 50% 더 많은 파라미터(2.3M)를 사용하는 YOLOv10-Nano와 동등한 성능을 보인다.

(a) COCO 성능 vs. 파라미터 수

(b) COCO 성능 vs. FLOPs

그림 0: COCO [12] 데이터셋에서 최신 실시간 객체 검출기들과 비교했을 때, 제안하는 DEIMv2의 모든 변형(S, M, L, X)은 유사한 파라미터 수와 더 적은 연산 비용을 유지하면서도 평균 정밀도(AP) 측면에서 우수한 성능을 달성한다.

1. 서론(Introduction)

표 1: DEIMv2 변형들의 아키텍처 세부 사항과 주요 성능 결과. 서로 다른 변형들의 설정(configuration)과 COCO 벤치마크에서의 최종 평균 정밀도(Average Precision, AP)를 보고한다.

실시간 객체 검출(real-time object detection) [18, 6, 22, 29]은 자율 주행 [11], 로보틱스 [16], 산업 결함 검출 [8] 등 다양한 실제 응용 분야에서 핵심적인 구성 요소이다. 특히 엣지 및 모바일 디바이스에 적합한 경량 모델의 경우, 검출 성능과 계산 효율성 간의 균형을 달성하는 것은 여전히 중요한 도전 과제로 남아 있다.

현재 널리 사용되는 실시간 검출기들 가운데, DETR 기반 방법은 end-to-end 구조라는 장점으로 인해 점점 더 선호되고 있다. 다양한 환경에서 강건한 특징 표현을 제공하는 DINOv3 [21]의 성능에도 불구하고, 이를 DETR 기반 모델에 통합하는 것이 실제로 얼마나 실현 가능하며 효과적인지에 대해서는 아직 충분히 연구되지 않았다.

본 연구에서는 기존 DEIM [7] 파이프라인을 기반으로 하여 DINOv3 [21] 특징을 결합한 실시간 객체 검출기 DEIMv2를 제안한다. DEIMv2는 가장 큰 변형(L 및 X 크기)에서는 특징 표현의 풍부함을 극대화하기 위해 공식 DINOv3 사전학습(pretrained) 백본인 ViT-Small과 ViT-Small+를 사용한다. 반면 S 및 M 변형에서는 DINOv3로부터 증류(distilled)된 ViT-Tiny와 ViT-Tiny+ 백본을 활용하여 성능과 효율성 간의 균형을 정교하게 맞춘다. 또한 초경량 환경을 고려하여 Nano, Pico, Femto, Atto의 네 가지 특화된 변형을 추가로 도입함으로써, DEIMv2의 확장성을 매우 넓은 연산 자원 범위로 확장한다.

대규모 데이터로 사전학습된 DINOv3의 강력한 특징 표현을 실시간 제약 하에서 효과적으로 활용하기 위해, 우리는 공간 튜닝 어댑터(Spatial Tuning Adapter, STA)를 설계하였다. STA는 DINOv3와 병렬로 동작하며, DINOv3의 단일 스케일 출력을 객체 검출에 필요한 다중 스케일 특징으로 파라미터 추가 없이 효율적으로 변환한다. 동시에 입력 이미지를 빠르게 다운샘플링하여 매우 작은 수용 영역(receptive field)을 갖는 세밀한 다중 스케일 디테일 특징을 제공함으로써, DINOv3가 제공하는 강한 의미적 정보(semantics)를 보완한다.

아울러 Transformer 커뮤니티의 최근 발전을 바탕으로 디코더 구조를 단순화하였다. 구체적으로, 기존의 FFN과 LayerNorm을 SwishFFN [20]과 RMSNorm [27]으로 대체하였으며, 이는 성능 저하 없이 효율성을 높이는 것으로 알려져 있다. 또한 반복적 정제(iterative refinement) 과정 동안 객체 쿼리의 위치가 크게 변하지 않는다는 점에 착안하여, 모든 디코더 레이어에서 쿼리 위치 임베딩을 공유하도록 설계하였다. 더 나아가 Dense O2O를 확장하여 객체 수준의 Copy-Blend 증강(object-level Copy-Blend augmentation)을 도입함으로써, 유효한 감독 신호를 증가시키고 모델 성능을 추가로 향상시켰다.

그림 1: ViT 기반 변형들의 백본 설계. 제안하는 공간 튜닝 어댑터(Spatial Tuning Adapter, STA)와 함께 DINOv3를 통합하였다.

COCO [12]에 대한 광범위한 실험을 통해, DEIMv2가 여러 모델 스케일 전반에서 최신(state-of-the-art) 성능을 달성함을 확인하였다. 이는 그림 0에서 확인할 수 있다. COCO [12]에서 최신 실시간 객체 검출기들과 비교했을 때, 제안하는 DEIMv2의 모든 변형(S, M, L, X)은 유사한 파라미터 수를 유지하면서도 더 적은 연산 비용으로 평균 정밀도(AP) 측면에서 우수한 성능을 보인다.

구조가 단순함에도 불구하고, DEIMv2 계열은 매우 강력한 성능을 보여준다. 예를 들어, 가장 큰 변형인 DEIMv2-X는 단 50.3M 파라미터만으로 COCO에서 57.6 AP를 달성하여, 60M 이상의 파라미터를 필요로 하면서도 56.5 AP에 그쳤던 기존 최고 성능의 X-스케일 검출기 DEIM-X를 능가한다. 더 작은 규모에서는 DEIMv2-S가 10M 미만의 파라미터로 50 AP를 최초로 돌파한 모델이라는 중요한 이정표를 세우며, 소형 스케일에서도 본 설계의 효과성을 입증한다.

더 나아가, 파라미터 수가 단 1.5M에 불과한 초경량 DEIMv2-Pico는 38.5 AP를 달성하여, 2.3M 파라미터를 사용하는 YOLOv10-Nano와 동등한 성능을 보이면서도 파라미터 수를 약 50% 줄였다. 이는 극단적인 초경량 영역에서 효율성과 정확도 간의 새로운 경계를 제시한다.

본 연구는 DINOv3 [21] 특징을 실시간 객체 검출에 효과적으로 적용할 수 있음을 보여주며, 초경량 모델부터 고성능 모델까지 아우르는 범용적인 프레임워크를 제시한다. 우리가 아는 한, 이렇게 넓은 배포 시나리오 범위를 동시에 다루는 실시간 객체 검출 연구는 본 연구가 최초이다.

본 연구의 주요 기여는 다음과 같이 요약할 수 있다.

• GPU, 엣지, 모바일 배포를 모두 포괄하는 8가지 모델 크기를 제공하는 DEIMv2를 제안한다.
• 대형 모델의 경우, 강력한 의미적 특징을 위해 DINOv3를 활용하고, 이를 실시간 객체 검출에 효율적으로 통합하기 위해 STA를 도입한다.
• 초경량 모델의 경우, 전문가 지식을 바탕으로 HGNetv2-B0의 깊이와 너비를 효과적으로 가지치기하여 엄격한 연산 제약을 충족한다.
• 백본을 넘어 디코더를 추가로 단순화하고 Dense O2O를 개선하여 성능 한계를 더욱 확장한다.
• 마지막으로, COCO 벤치마크에서 모든 자원 설정 전반에 걸쳐 기존 최신 방법들을 능가하는 성능을 달성함으로써 새로운 SOTA 결과를 확립한다.

2. 방법(Method)

전체 아키텍처(Overall architecture)

전체 아키텍처는 RT-DETR [14]의 설계를 따르며, 백본(backbone), 하이브리드 인코더(hybrid encoder), 디코더(decoder)로 구성된다. 표 1에 나타난 바와 같이, 주요 변형인 X, L, M, S에서는 제안하는 공간 튜닝 어댑터(Spatial Tuning Adapter, STA)가 결합된 DINOv3 기반 백본을 사용하며, 나머지 변형들은 HGNetv2 [1]를 사용한다. 백본에서 추출된 다중 스케일 특징은 먼저 인코더를 거쳐 초기 검출 결과를 생성하고 상위 K개의 후보 바운딩 박스를 선택한다. 이후 디코더는 이 후보들을 반복적으로 정제(iterative refinement)하여 최종 예측을 생성한다.

ViT 기반 변형(ViT-based variants)

보다 큰 DEIMv2 변형(S, M, L, X)을 위해, 우리는 모델 용량과 효율성 간의 균형을 고려하여 Vision Transformer(ViT) [3] 계열을 중심으로 백본을 정교하게 설계하였다. L과 X 변형에서는 공개된 두 가지 DINOv3 모델 [21], 즉 ViT-Small과 ViT-Small+를 활용하며, 이들은 12개 레이어와 384차원 히든 크기를 갖는 강력한 의미적 표현을 제공한다. 더 가벼운 S와 M 변형의 경우, ViT-Small DINOv3로부터 직접 증류(distillation)한 ViT-Tiny와 ViT-Tiny+ 백본을 사용한다. 이때 12-레이어 깊이는 유지하면서 히든 차원을 각각 192와 256으로 축소하였다. 이러한 설계는 S → M → L → X로 이어지는 매끄러운 스케일링 경로를 제공하며, 각 변형이 서로 다른 효율성 요구에 맞추어 경쟁력 있는 정확도를 유지하도록 한다.

HGNetv2 기반 변형(HGNetv2-based variants)

HGNetv2 [1]는 바이두 PaddlePaddle 팀이 개발한 모델로, 높은 효율성 덕분에 실시간 DETR 프레임워크에서 널리 사용된다. 예를 들어 D-FINE [17]은 HGNetv2 전체 계열을 백본으로 채택하고 있다. 초경량 DEIMv2 모델(Nano, Pico, Femto, Atto)에서도 HGNetv2-B0를 기반으로 하되, 서로 다른 파라미터 예산을 충족하기 위해 깊이와 너비를 점진적으로 가지치기(pruning)한다. 구체적으로, Pico 백본은 B0의 네 번째 스테이지를 제거하여 1/16 스케일까지만 출력을 유지한다. Femto는 Pico의 마지막 스테이지에서 블록 수를 두 개에서 하나로 줄인다. Atto는 한 단계 더 나아가, 해당 마지막 블록의 채널 수를 512에서 256으로 축소한다.

공간 튜닝 어댑터(Spatial Tuning Adapter)

DINOv3 특징을 실시간 객체 검출에 보다 효과적으로 적용하기 위해, 그림 1에 나타낸 공간 튜닝 어댑터(STA)를 제안한다. STA는 완전 합성곱 네트워크(fully convolutional network)로, 세밀한 다중 스케일 디테일을 추출하기 위한 초경량 피드포워드 네트워크를 통합하고, Bi-Fusion 연산자를 통해 DINOv3로부터 얻은 특징 표현을 추가로 강화한다.

표 2: DEIMv2에서 사용한 상세 학습 하이퍼파라미터. *Back.*은 백본(Backbone)을 의미한다. Local Loss는 D-FINE [17]에서 제안된 세밀 위치 정합 손실(Fine-Grained Localization, FGL) 손실과 분리된 증류 포컬 손실(Decoupled Distillation Focal, DDF) 손실을 함께 사용함을 나타낸다.

DINOv3는 ViT 백본을 기반으로 하며, 구조적으로 단일 스케일(1/16) 밀집 특징을 자연스럽게 생성한다. 그러나 객체 검출에서는 객체 크기의 분포가 매우 다양하므로, 다중 스케일 특징은 성능을 향상시키는 가장 효과적인 방법 중 하나이다. 이를 위해 ViTDet [10]는 디컨볼루션을 사용하여 최종 ViT 출력을 다중 스케일 특징으로 변환하는 Feature2Pyramid 모듈을 도입하였다.

이에 비해, 본 연구의 STA는 더욱 단순한 접근을 취한다. ViT의 여러 블록(예: 5번째, 8번째, 11번째)에서 얻은 1/16 스케일 특징을 파라미터가 없는 이중선형 보간(bilinear interpolation)을 통해 직접 여러 스케일로 리사이즈한다. 이렇게 생성된 다중 스케일 특징은, 세밀한 디테일을 추출하고 DINOv3의 출력 특징을 보완하도록 설계된 초경량 CNN과 1×1 컨볼루션으로 구성된 Bi-Fusion 연산자를 통해 추가로 강화된다.

이러한 설계는 효율성과 정확도 사이에서 매우 우수한 균형을 달성하며, 실시간 객체 검출에 특히 적합하다.

표 3: COCO [12] val2017에서 실시간 객체 검출기들과의 비교. 파라미터 수 기준으로 정렬됨.

표 4: COCO [12] val2017에서 초경량(ultra-light) 모델을 대상으로 한 실시간 객체 검출기 비교.

효율적인 디코더(Efficient Decoder)

우리는 표준 변형 가능한 어텐션 디코더(deformable attention decoder) [31]를 기반으로, Transformer 커뮤니티에서 널리 채택된 여러 효율 중심 기법을 도입하여 성능과 비용 간의 유리한 균형을 달성하였다. 구체적으로, 비선형 표현 능력을 강화하기 위해 SwiGLUFFN [20]을 통합하였고, 효율적으로 학습을 안정화하고 가속하기 위해 RMSNorm [27]을 적용하였다.

또한 반복적 정제(iterative refinement) 과정 동안 객체 쿼리의 위치가 거의 변하지 않는다는 점에 주목하여, 모든 디코더 레이어에서 단일 위치 임베딩(position embedding)을 공유하도록 제안하였다. 이를 통해 중복 계산을 제거하고 추가적인 연산 효율 향상을 달성한다.

향상된 Dense O2O(Enhanced Dense O2O)

이전 연구인 DEIM [7]에서 우리는 Dense O2O를 제안하였으며, 이는 학습 이미지당 객체 수를 증가시켜 더 강한 감독 신호를 제공함으로써 수렴 속도와 성능을 모두 향상시킨다. 초기에는 Mosaic과 MixUp [28]과 같은 이미지 수준 증강을 통해 그 효과를 입증하였다. DEIMv2에서는 이를 한 단계 더 확장하여, 배경 없이 새로운 객체를 추가하는 Copy-Blend를 활용한 객체 수준의 Dense O2O를 탐구한다.

Copy-Paste [4]가 대상 영역을 완전히 덮어쓰는 방식인 것과 달리, Copy-Blend는 새로운 객체를 이미지와 자연스럽게 혼합(blending)한다. 이러한 특성은 본 연구의 설정에 더 적합하며, 실험 전반에 걸쳐 일관된 성능 향상을 가져온다.

학습 설정 및 손실 함수(Training setting and loss)

전체 최적화 목표는 다섯 가지 손실 항의 가중합으로 구성된다. 즉, 매칭 가능성 인지 손실(Matchability-Aware Loss, MAL) [7], 세밀 위치 정합 손실(Fine-Grained Localization, FGL) 손실 [17], 분리된 증류 포컬 손실(Decoupled Distillation Focal, DDF) 손실 [17], 바운딩 박스 손실(BBox Loss, L1), 그리고 GIoU 손실 [19]이다. 전체 손실은 다음과 같이 정의된다.

학습에 사용한 하이퍼파라미터는 입력 해상도, 학습률, 학습 에폭 수, 그리고 Dense O2O 설정을 포함하여 표 2에 요약되어 있다. 흥미로운 관찰 결과로, 초경량 모델에 FGL 및 DDF 손실을 적용할 경우 오히려 성능이 저하됨을 확인하였다. 이는 이들 모델의 제한된 표현 용량과 본질적으로 낮은 기본 정확도로 인해 자기 증류(self-distillation)의 효과가 감소하기 때문으로 해석된다. 이에 따라 Pico, Femto, Atto 변형의 학습에서는 이 두 손실 항(즉, local loss)을 제외하였다.

3. 실험(Experiments)

최신 실시간 객체 검출기와의 비교

표 3은 DEIMv2의 S, M, L, X 변형 전반에 걸친 성능을 요약하며, 기존 최신(state-of-the-art) 검출기들 대비 상당한 성능 향상을 보여준다. 예를 들어, 가장 큰 변형인 DEIMv2-X는 약 50M 파라미터와 151 GFLOPs만으로 57.8 AP를 달성하여, 62M 파라미터와 202 GFLOPs로 56.5 AP를 기록한 기존 최고 성능 모델 DEIM-X를 능가한다. 이는 DEIMv2가 더 적은 파라미터와 더 낮은 연산 비용으로도 더 높은 정확도를 제공할 수 있음을 보여준다.

소형 모델 측면에서도 DEIMv2-S는 COCO에서 10M 미만의 파라미터로 50 AP를 최초로 돌파한 모델이라는 새로운 이정표를 세웠다. DEIMv2-S는 약 11M 파라미터와 26 GFLOPs로 50.9 AP를 달성하였으며, 거의 동일한 모델 크기에서 49.0 AP를 기록한 기존 DEIM-S 대비 명확한 성능 개선을 보인다. 일반적으로 CNN 기반 백본이 하드웨어 친화적인 것으로 알려져 있지만, 본 연구의 ViT 기반 백본은 더 적은 파라미터와 낮은 FLOPs로 경량 설계를 달성하면서도, 확장성과 배포 유연성 측면에서 이점을 제공한다.

한편, 본 논문에서 제안한 방법들의 지연 시간(latency)은 아직 최적화되지 않았다. Yolov12 [22]에서 사용된 Flash Attention [2]과 같은 기법을 적용하면 추론 속도를 추가로 가속할 수 있을 것으로 보인다. 전반적으로 FLOPs 감소는 적절한 최적화가 수반될 경우, ViT 기반 백본이 저지연 성능을 달성할 수 있는 잠재력을 지님을 시사한다.

흥미롭게도, DINOv3 기반 DEIMv2 모델을 유사한 파라미터 수와 FLOPs를 갖는 기존 DEIM 모델들과 비교했을 때, 정확도 향상의 대부분은 중간 크기(medium) 및 대형(large) 객체에서 비롯되며, 소형 객체(small) 성능은 거의 변하지 않는 것으로 나타났다. 예를 들어, DEIMv2-S는 APM 55.3, APL 70.3을 기록하여 DEIM-S의 APM 52.6, APL 65.7을 크게 상회하지만, 소형 객체 성능(APS)은 31.4 대 30.4로 거의 유사하다. 더 큰 모델에서도 동일한 경향이 관찰되는데, DEIMv2-X는 APM을 61.4에서 62.8로, APL을 74.2에서 75.9로 향상시켰지만, 소형 객체 AP(39.2)는 DEIM-M의 38.8과 큰 차이가 없다.

이러한 결과는 DEIMv2의 주요 강점이 중·대형 객체에 대한 표현력과 검출 성능을 향상시키는 데 있음을 보여주며, 소형 객체 검출은 스케일 전반에서 여전히 도전 과제로 남아 있음을 시사한다. 이는 DINOv3가 강력한 전역적 의미 정보(global semantics)를 포착하는 데는 뛰어나지만, 세밀한 디테일 표현에는 한계가 있음을 다시 한번 확인해준다. 따라서 DINOv3 특징을 실시간 검출기에 더욱 효과적으로 통합하는 방법을 탐구하는 것은 향후 연구에서 흥미로운 방향이 될 것이다.

경쟁력 있는 초경량 객체 검출기와의 비교

표 4에 요약된 바와 같이, DEIMv2의 초경량 변형들 역시 강력한 성능을 보인다. 단 0.49M 파라미터를 사용하는 DEIMv2-Atto는 훨씬 더 작은 모델임에도 불구하고 NanoDet-M과 유사한 성능을 달성한다. 또한 DEIMv2-Pico는 YOLOv10-N [23]과 동등한 성능을 보이면서도, 필요한 파라미터 수는 절반 이하에 불과하다. 이러한 결과는 극단적으로 경량화된 설정에서도 DEIMv2의 효과성을 입증하며, 자원이 제한된 엣지 디바이스 환경에 매우 적합함을 보여준다.

4. 결론(Conclusion)

본 논문에서는 DINOv3의 강력한 의미적 표현과 제안한 경량 공간 튜닝 어댑터(Spatial Tuning Adapter, STA)를 결합한 차세대 실시간 객체 검출기 DEIMv2를 소개하였다. 세심한 설계와 스케일링을 통해, DEIMv2는 모델 크기 전반에 걸쳐 최신(state-of-the-art) 성능을 달성하였다. 대형 모델 영역에서는 DEIMv2-X가 기존의 대규모 검출기들보다 훨씬 적은 파라미터 수로 57.8 AP를 달성하였다. 반면 소형 모델 영역에서는 DEIMv2-S가 해당 크기에서 최초로 50 AP를 돌파하였으며, 초경량 DEIMv2-Pico는 YOLOv10-N과 동등한 성능을 보이면서도 50% 이상 적은 파라미터를 사용한다.

이러한 결과들은 DEIMv2가 단순히 효율적인 모델에 그치지 않고, 높은 확장성을 갖춘 구조임을 입증한다. 즉, 정확도와 효율성 간의 경계를 한 단계 끌어올리는 통합 프레임워크를 제시한 것이다. 이러한 범용성 덕분에 DEIMv2는 자원이 제한된 엣지 디바이스부터 고성능 검출 시스템에 이르기까지 다양한 환경에 적합하며, 실제 응용 분야에서 실시간 객체 검출의 보다 폭넓은 활용을 가능하게 할 것으로 기대된다.

[Mamba YOLO: A Simple Baseline for Object Detection with State Space Model

Driven by the rapid development of deep learning technology, the YOLO series has set a new benchmark for real-time object detectors. Additionally, transformer-based structures have emerged as the most powerful solution in the field, greatly extending the m

arxiv.org](https://arxiv.org/abs/2406.05835)

Mamba YOLO: 상태 공간 모델(State Space Model)을 활용한 객체 탐지를 위한 간단한 베이스라인

Zeyu Wang¹˒², Chen Li¹˒²,* Huiying Xu¹˒², Xinzhong Zhu¹˒²˒³,† Hongbo Li³
동등 기여. *교신저자.

초록(Abstract)

딥러닝 기술의 급속한 발전에 힘입어, YOLO 시리즈는 실시간 객체 탐지 분야에서 새로운 기준을 제시해 왔다. 또한 Transformer 기반 구조는 모델의 수용 영역(receptive field)을 크게 확장하고 유의미한 성능 향상을 달성하면서, 해당 분야에서 가장 강력한 해결책으로 부상하였다. 그러나 이러한 성능 향상은 self-attention 메커니즘의 이차적 복잡도(quadratic complexity)로 인해 모델의 계산 부담이 크게 증가한다는 비용을 동반한다.

이 문제를 해결하기 위해, 본 논문에서는 Mamba YOLO라 불리는 단순하면서도 효과적인 베이스라인 접근법을 제안한다. 본 연구의 주요 기여는 다음과 같다.

1. ODMamba 백본(backbone) 에 선형 복잡도(linear complexity)를 갖는 상태 공간 모델(State Space Model, SSM)을 도입하여 self-attention의 이차적 복잡도 문제를 해결한다. 기존의 Transformer 기반 또는 SSM 기반 방법들과 달리, ODMamba는 사전 학습(pretraining) 없이도 간단하게 학습이 가능하다.
2. 실시간 요구사항을 만족하기 위해 ODMamba의 거시적 구조(macro structure)를 설계하고, 최적의 stage 비율과 스케일 크기를 결정하였다.
3. 채널 차원을 효과적으로 모델링하기 위해 다중 분기(multi-branch) 구조를 사용하는 RG Block을 설계하였다. 이는 시퀀스 모델링에서 SSM이 가질 수 있는 한계, 예를 들어 수용 영역 부족이나 이미지 위치 정보(localization)의 약함 문제를 보완한다. 해당 설계는 국소적인 이미지 의존성을 보다 정확하고 효과적으로 포착한다.

공개된 COCO 벤치마크 데이터셋에 대한 광범위한 실험 결과, Mamba YOLO는 기존 방법들과 비교하여 최첨단(State-of-the-Art) 성능을 달성함을 확인하였다. 특히, Mamba YOLO의 tiny 버전은 단일 RTX 4090 GPU 환경에서 추론 시간 1.5 ms로 동작하면서 mAP 기준 7.5%의 성능 향상을 달성하였다. PyTorch 코드는 다음 링크에서 확인할 수 있다.
https://github.com/HZAI-ZJNU/Mamba-YOLO

[GitHub - HZAI-ZJNU/Mamba-YOLO: the official pytorch implementation of “Mamba-YOLO：SSMs-based for Object Detection”

the official pytorch implementation of “Mamba-YOLO：SSMs-based for Object Detection” - HZAI-ZJNU/Mamba-YOLO

github.com](https://github.com/HZAI-ZJNU/Mamba-YOLO)

그림 1: MS COCO 데이터셋에서의 실시간 객체 탐지기 비교. SSM 기반 객체 탐지 방법은 성능과 계산량 간의 균형 측면에서 가장 우수한 트레이드오프를 달성한다.

1. 서론(Introduction)

최근 몇 년간 딥러닝은 급속도로 발전해 왔으며, 특히 컴퓨터 비전 분야에서는 일련의 강력한 아키텍처들이 인상적인 성능을 달성해 왔다. 합성곱 신경망(Convolutional Neural Networks, CNNs) (Huang et al. 2017; Tan and Le 2020; Liu et al. 2022)부터 비전 트랜스포머(Vision Transformers, ViTs) (Liu et al. 2021; Shi 2023)에 이르기까지, 다양한 구조의 적용은 컴퓨터 비전 분야에서의 높은 잠재력을 입증하였다.

객체 탐지(object detection)라는 다운스트림 과제에서는 CNN 기반 방법(Ren et al. 2016; Liu et al. 2016)과 Transformer 구조(Carion et al. 2020; Zhang et al. 2022)가 주로 사용되고 있다. CNN과 그 변형들은 정확도를 유지하면서도 빠른 실행 속도를 제공하지만, 이미지 전반에 걸친 상관관계(correlation)를 충분히 포착하지 못한다는 한계를 가진다. 이러한 문제를 해결하기 위해, 연구자들은 self-attention의 강력한 전역(global) 모델링 능력을 활용하는 DETR 계열(Carion et al. 2020; Zhu et al. 2020)과 같은 ViT 기반 구조를 객체 탐지 분야에 도입하였다.

하드웨어의 발전과 함께, 이러한 구조가 요구하는 메모리 연산량 증가는 더 이상 큰 문제가 되지 않게 되었다. 그러나 최근에는 CNN을 어떻게 설계해야 모델을 더 빠르게 만들 수 있을지에 대해 재고하는 연구들(Liu et al. 2022; Zhang et al. 2023; Wang et al. 2023)이 등장하였으며, 점점 더 많은 실무자들이 Transformer 구조가 갖는 이차적 복잡도(quadratic complexity)에 대해 불만을 가지기 시작했다. 이에 따라 MobileViT(Mehta and Rastegari 2021), EdgeViT(Chen et al. 2022), EfficientFormer(Li et al. 2023)와 같이 하이브리드 구조를 사용하여 모델을 재구성하고 복잡도를 줄이려는 시도가 이루어지고 있다.

그러나 이러한 하이브리드 모델 역시 새로운 도전 과제를 동반하며, 특히 성능 저하가 명확히 나타난다는 점이 우려 사항으로 지적된다. 따라서 성능과 속도 간의 균형을 찾는 문제는 오랫동안 연구자들의 주요 관심사였다. 최근에는 Mamba(Gu and Dao 2023)와 같은 구조화된 자기 변조(Structured Self-Modulation, SSM) 기반 방법들이, 장거리 의존성(long-distance dependency)에 대한 강력한 모델링 능력과 선형 시간 복잡도(linear time complexity)라는 우수한 특성 덕분에 이러한 문제를 해결할 수 있는 새로운 아이디어를 제시하고 있다.

그림 2: Mamba YOLO 아키텍처의 개요도. Mamba YOLO는 선택적 SSM(selective SSM)을 적용한 ODSSBlock을 사용하여 백본(backbone)을 구성한다. 입력 이미지는 Simple Stem을 통해 여러 패치(patch)로 분할되며, 다운샘플링 연산에는 Vision Clue Merge가 사용된다. 백본 네트워크로부터 {C3, C4, C5}와 같은 다중 수준 특징(feature)이 추출된 후 PAFPN으로 융합된다. 이후 고수준 의미 특징(high-level semantic features)과 저수준 공간 특징(low-level spatial features)은 ODSSBlock을 통해 정제되고 결합되며, 최종적으로 {P3, P4, P5} 특징이 Decoupled Head로 전달되어 객체 탐지 결과를 출력한다.

본 논문에서는 Mamba YOLO라 불리는 객체 탐지기(detector) 모델을 제안한다. 우리는 그림 2에 제시된 바와 같이, 상태 공간 모델(State Space Model, SSM)을 객체 탐지 분야에 적용한 객체 탐지 구조화 모듈(Object Detection Structured ODSSBlock) 을 설계하였다.

이미지 분류를 위해 사용되는 Visual State Space Block(Liu et al. 2024)과 달리, 객체 탐지 과제는 일반적으로 더 높은 해상도와 픽셀 밀도를 가진 이미지를 다룬다. SSM은 본래 텍스트 시퀀스 모델링을 목적으로 설계되었기 때문에, 이미지가 지니는 채널 깊이(channel depth)를 충분히 활용하는 데에는 한계가 있다. 이러한 고해상도 이미지가 제공하는 풍부한 세부 정보와 다채널 정보를 효과적으로 활용하기 위해, 우리는 Residual Gated(RG) Block 아키텍처를 도입하였다.

이 구조에서는 Selective-Scan-2D(SS2D) 처리를 통해 출력을 정제하며, 고차원 점곱(high-dimensional dot product) 연산을 활용하여 채널 간 상관관계를 강화하고 보다 풍부한 특징 표현(feature representation)을 추출한다. MS COCO(Lin et al. 2015) 데이터셋에 대해 광범위한 실험을 수행한 결과, Mamba YOLO는 MS COCO 기반 일반 객체 탐지 과제에서 매우 경쟁력 있는 성능을 보임을 확인하였다. 본 논문의 주요 기여는 다음과 같이 요약할 수 있다.

• 본 논문에서 제안하는 SSM 기반 Mamba YOLO는 선형 메모리 복잡도를 갖는 단순하고 효율적인 구조를 가지며, 대규모 데이터셋에 대한 사전 학습(pre-training)을 필요로 하지 않는다. 이를 통해 객체 탐지 분야에서 YOLO의 새로운 베이스라인을 제시한다.
• SSM의 국소(local) 모델링 한계를 보완하기 위해 ODSSBlock을 제안한다. MLP 계층의 설계를 재고함으로써, 게이티드 집계(gated aggregation) 개념과 효과적인 합성곱, 잔차 연결(residual connectivity)을 결합한 RG Block을 도입하였으며, 이를 통해 국소 의존성을 효과적으로 포착하고 모델의 강건성을 향상시킨다.
• 서로 다른 크기와 스케일의 과제 배포를 지원하기 위해 Mamba YOLO (Tiny / Base / Large) 라는 다양한 스케일의 모델 세트를 설계하였다. 그림 1에 제시된 MS COCO 실험 결과에서 확인할 수 있듯이, Mamba YOLO는 기존의 최첨단(State-of-the-Art) 방법들과 비교하여 유의미한 성능 향상을 달성하였다.

관련 연구(Related Work)

실시간 객체 탐지기(Real-Time Object Detectors)

YOLO의 초기 성능 향상은 주로 백본(backbone)의 개선과 밀접하게 연관되어 있었으며, 그 결과 DarkNet의 광범위한 사용으로 이어졌다. YOLOv7(Wang, Bochkovskiy, and Liao 2023)은 기존 구조를 훼손하지 않으면서 모델의 표현력을 강화하기 위해 E-ELAN 구조를 제안하였다. YOLOv8(Jocher, Chaurasia, and Qiu 2023)은 이전 세대 YOLO들의 특징을 결합하고, 보다 풍부한 그래디언트 흐름을 제공하는 CSPDarknet53 기반의 2-Stage FPN(C2f) 구조를 채택하였다. 이 구조는 경량성을 유지하면서도 정확도를 고려하여 다양한 시나리오에 유연하게 적용될 수 있다.

최근에는 Gold YOLO(Wang et al. 2024)가 Gather-and-Distribute(GD) 라는 새로운 메커니즘을 도입하였다. 이는 self-attention 연산을 통해 구현되며, 기존의 Feature Pyramid Network(FPN)(Lin et al. 2017)와 Rep-PAN(Li et al. 2022)이 갖는 정보 융합 문제를 해결하는 것을 목표로 한다. 이러한 설계를 통해 Gold YOLO는 최첨단(State-of-the-Art, SOTA) 성능을 달성하는 데 성공하였다.

엔드투엔드 객체 탐지기(End-to-End Object Detectors)

DETR(Carion et al. 2020)는 Transformer를 객체 탐지에 최초로 도입한 모델로, 앵커(anchor) 생성이나 비최대 억제(Non-Maximum Suppression, NMS)와 같은 전통적인 수작업 기반 구성 요소를 우회하고, 객체 탐지를 하나의 단순한 집합 예측(ensemble prediction) 문제로 다루는 Transformer 인코더–디코더 아키텍처를 제안하였다.

Deformable DETR(Zhu et al. 2020)는 기준 위치(reference location) 주변에서 희소한 키포인트 집합을 샘플링하는 Deformable Attention이라는 Transformer Attention 변형을 도입함으로써, 고해상도 특징 맵을 처리하는 데 있어 DETR의 한계를 해결하고자 하였다.

DINO(Zhang et al. 2022)는 하이브리드 쿼리 선택 전략과 Deformable Attention을 통합하고, 학습 과정에서 노이즈를 주입(injected noise)하며 쿼리 최적화를 통해 성능을 향상시키는 학습 방식을 제시하였다.

RT-DETR(Zhao et al. 2023)는 효율적인 다중 스케일 특징 처리를 위해, 스케일 내부 상호작용(intra-scale interactions)과 스케일 간 융합(cross-scale fusion)을 분리(decouple)하는 하이브리드 인코더를 제안하였다.

그러나 DETR 계열의 우수한 성능은 대규모 데이터셋에 대한 사전 학습(pre-training)에 크게 의존하며, 학습 수렴의 어려움, 높은 계산 비용, 그리고 소형 객체(small-object) 탐지에서의 한계라는 문제를 여전히 안고 있다. 이러한 이유로, 정확도와 속도를 동시에 요구하는 소형 모델링 도메인에서는 현재까지도 YOLO 계열이 최첨단(State-of-the-Art, SOTA) 성능을 유지하고 있다.

비전 상태 공간 모델(Vision State Space Models)

상태 공간 모델(State Space Model, SSM)에 대한 기존 연구(Gu, Goel, and Ré 2022; Gu et al. 2021; Smith, Warrington, and Linderman 2023)를 바탕으로, Mamba(Gu and Dao 2023)는 입력 크기에 대해 선형 복잡도(linear complexity)를 보이며, 긴 시퀀스 모델링에서 Transformer가 가지는 계산 효율성 문제를 해결하였다.

일반화된 비전 백본(generalized visual backbone) 분야에서 Vision Mamba(Zhu et al. 2024)는 선택적 SSM(selective SSM)을 기반으로 한 순수 비전 백본 모델을 제안하여, Mamba를 비전 분야에 최초로 도입하였다. VMamba(Liu et al. 2024)는 Cross-Scan 모듈을 도입하여 2차원 이미지에 대한 선택적 스캐닝(Selective Scanning)을 가능하게 함으로써 시각적 처리 성능을 강화하였으며, 이미지 분류 과제에서 우수한 성능을 입증하였다.

LocalMamba(Huang et al. 2024)는 시공간(visuospatial) 모델을 위한 윈도우 스캐닝(window scanning) 전략에 초점을 맞추어, 국소적 의존성(local dependency)을 효과적으로 포착할 수 있도록 시각 정보를 최적화하였다. 또한 서로 다른 계층(layer)에 대해 최적의 선택을 탐색하기 위한 동적 스캐닝(dynamic scanning) 방법을 도입하였다.

VMamba가 비전 과제에서 달성한 뛰어난 성과에 영감을 받아, 본 논문에서는 Mamba YOLO를 최초로 제시한다. 이는 기존의 SSM 기반 비전 백본과 달리, ImageNet(Deng et al. 2009)이나 Object365(Shao et al. 2019)와 같은 대규모 데이터셋에 대한 사전 학습(pre-training)을 요구하지 않는 새로운 SSM 기반 모델이다. 본 모델은 전역 수용 영역(global receptive field)을 고려함과 동시에, 객체 탐지 과제에서의 잠재력을 입증하는 것을 목표로 한다.

방법(Method)

기초 이론(Preliminaries)

식 (1)에서 A ∈ ℝ^{N×N} 는 시간에 따라 은닉 상태가 어떻게 변화하는지를 제어하는 상태 전이 행렬(state transition matrix)을 의미하며, B ∈ ℝ^{N×1} 은 은닉 상태에 대한 입력 공간의 가중치 행렬을 나타낸다. 또한 C ∈ ℝ^{N×1} 은 은닉 중간 상태를 출력으로 사상하는 관측 행렬(observation matrix)이다.

Mamba는 고정된 이산화(discretization) 규칙을 사용하여 연속 시스템을 이산 시간 시퀀스 데이터에 적용한다. 구체적으로, 연속 파라미터 A와 B를 각각 이산 형태의 Ā 와 B̄ 로 변환함으로써, 해당 시스템을 딥러닝 아키텍처에 보다 효과적으로 통합한다. 이 과정에서 널리 사용되는 이산화 기법 중 하나가 Zero-Order Hold(ZOH) 이다. 이산화된 형태는 다음과 같이 정의된다.

Ā = exp(Δ · A)  (3)
B̄ = (Δ · A)^{-1} · (exp(Δ · A) − I) · Δ · B  (4)

식 (4)에서 Δ 는 모델의 시간 해상도를 조절하는 시간 스케일 파라미터를 의미하며, Δ · A 와 Δ · B 는 주어진 시간 구간에서 연속 파라미터에 대응하는 이산 시간 형태를 나타낸다. 여기서 I 는 단위 행렬(identity matrix)이다.

이러한 변환 이후, 모델은 선형 재귀 형태(linear recursive form)를 통해 계산되며, 이는 다음과 같이 정의된다.

h′(t) = Ā · h_{t−1} + B̄ · x_t  (5)
y_t = C · h_t  (6)

전체 시퀀스 변환은 합성곱(convolution) 형태로도 표현할 수 있으며, 이는 다음과 같이 정의된다.

K̄ = (C · B̄, C · A B̄, …, C · Ā^{L−1} · B̄)  (7)
y = x ∗ K̄  (8)

여기서 K̄ ∈ ℝ^L 는 구조화된 합성곱 커널(structured convolutional kernel)을 의미하며, L 은 입력 시퀀스의 길이를 나타낸다.

본 논문에서 제시하는 설계에서는 병렬 학습(parallel training)을 위해 합성곱 형태를 사용하고, 효율적인 자기회귀 추론(autoregressive inference)을 위해 선형 재귀 표현을 활용한다.

전체 아키텍처(Overall Architecture)

Mamba YOLO의 아키텍처 개요는 그림 2에 제시되어 있다. 본 객체 탐지 모델은 ODMamba 백본(backbone) 과 넥(neck) 부분으로 구성된다. ODMamba는 Simple Stem과 Downsample Block으로 이루어져 있다. 넥(neck) 부분에서는 PAFPN(Jocher, Chaurasia, and Qiu 2023)의 설계를 따르되, 보다 풍부한 그래디언트 정보 흐름을 포착하기 위해 C2f 대신 ODSSBlock 모듈을 사용한다.

백본에서는 먼저 Stem 모듈을 통해 다운샘플링이 수행되며, 그 결과 해상도가 H/4, W/4인 2차원 특징 맵(feature map)이 생성된다. 이후 모든 모델은 ODSSBlock과 VisionClue Merge 모듈을 순차적으로 거치며 추가적인 다운샘플링을 수행한다. 넥 부분에서는 PAFPN 구조를 채택하고, C2f를 ODSSBlock으로 대체하였으며, 이때 Conv는 오직 다운샘플링 역할만을 담당한다.

Simple Stem

현대적인 ViT들은 일반적으로 이미지를 겹치지 않는 패치(non-overlapping patch)로 분할하는 방식을 초기 모듈로 사용한다. 이러한 분할 과정은 커널 크기 4, 스트라이드 4의 합성곱 연산을 통해 구현된다. 그러나 EfficientFormerV2(Li et al. 2023)와 같은 최근 연구에 따르면, 이러한 접근 방식은 ViT의 최적화 능력을 제한하여 전체 성능에 부정적인 영향을 미칠 수 있음이 보고되었다.

성능과 효율성 간의 균형을 맞추기 위해, 본 논문에서는 보다 간소화된 Stem 레이어를 제안한다. 기존의 겹치지 않는 패치 분할 방식 대신, 스트라이드 2와 커널 크기 3을 갖는 두 개의 합성곱 연산을 사용하여 입력을 처리한다.

Vision Clue Merge

CNN과 ViT 구조에서는 일반적으로 다운샘플링을 위해 합성곱 연산을 사용한다. 그러나 우리는 이러한 방식이 서로 다른 정보 흐름 단계에서 SS2D(Selective-Scan-2D) (Liu et al. 2024)의 선택적 연산을 방해한다는 점을 발견하였다. 이를 해결하기 위해 VMamba는 2차원 특징 맵을 분할하고, 1×1 합성곱을 사용하여 차원을 축소한다. 우리의 실험 결과에 따르면, SSM을 위해 더 많은 시각적 단서(visual clues)를 보존하는 것이 모델 학습에 유리하다.

기존의 차원을 절반으로 줄이는 방식과 달리, 본 논문에서는 다음과 같은 방식으로 해당 과정을 단순화하였다.

1. 정규화(norm) 제거
2. 특징 맵의 차원 분할
3. 초과된 특징 맵을 채널 차원에 추가

4×압축된 포인트와이즈(pointwise) 합성곱을 사용한 다운샘플링 스트라이드 2를 갖는 3×3 합성곱을 사용하는 기존 방식과 달리, 본 방법은 이전 계층에서 SS2D에 의해 선택된 특징 맵을 그대로 보존한다.

그림 3: ODSSBlock 아키텍처의 구조도.

표 1: MS COCO val 데이터셋에서 Mamba YOLO와 다른 객체 탐지기들의 성능 비교. 공정한 비교를 위해, 모든 모델은 공식 사전 학습(pre-trained) 가중치를 사용하였으며, NVIDIA RTX 4090 GPU에서 반정밀도 부동소수점(FP16) 형식으로 지연 시간(latency)을 측정하였다. 이때 TensorRT 버전은 8.4.3, cuDNN 버전은 8.2.0을 사용하였다.

기호 ‘†’는 학습 완료 이후 추가적인 자기 증류(self-distillation)가 수행되었음을 의미하며, ‘*’는 ImageNet 또는 이와 유사한 대규모 객체 탐지 데이터셋을 이용한 지도 학습 기반 사전 학습이 사용되었음을 나타낸다. 제안하는 Mamba YOLO 모델에 해당하는 결과는 회색으로 강조 표시하였다. 최고 성능과 두 번째로 우수한 성능은 각각 굵은 글씨와 밑줄로 표시하였다.

ODSSBlock

SS2D

Scan Expansion, S6 Block, Scan Merge는 SS2D 알고리즘을 구성하는 세 가지 핵심 단계이며, 전체적인 처리 흐름은 그림 3에 제시되어 있다. Scan Expansion 연산은 입력 이미지를 일련의 하위 이미지(sub-image) 시퀀스로 확장하는 과정으로, 각 하위 이미지는 특정한 방향(direction)을 나타낸다. 대각선 관점에서 살펴보면, Scan Expansion 연산은 서로 대칭적인 네 가지 방향, 즉 위에서 아래(top-down), 아래에서 위(bottom-up), 왼쪽에서 오른쪽(left-to-right), 그리고 오른쪽에서 왼쪽(right-to-left) 방향을 따라 수행된다.

이와 같은 구성은 입력 이미지의 모든 영역을 포괄적으로 커버할 뿐만 아니라, 체계적인 방향 변환을 통해 후속 특징 추출 단계에 풍부한 다차원 정보 기반을 제공함으로써, 이미지 특징을 다차원적으로 포착하는 효율성과 포괄성을 동시에 향상시킨다.

SS2D의 Scan Merge 연산은 이렇게 얻어진 시퀀스들을 입력으로 받아 S6 Block(Gu and Dao 2023)에 전달한 뒤, 서로 다른 방향에서 생성된 시퀀스들을 병합하여 전역 특징(global features)으로 통합한다.

RG Block

기존의 MLP는 여전히 가장 널리 사용되는 구조이며, VMamba 아키텍처에서의 MLP 또한 Transformer 설계를 따르며 입력 시퀀스에 비선형 변환을 적용하여 모델의 표현력을 향상시킨다. 최근 연구에 따르면 Gated MLP(Dauphin et al. 2017; Rajagopal and Nirmala 2021)는 자연어 처리 분야에서 우수한 성능을 보였으며, 본 논문에서는 이러한 게이팅(gating) 메커니즘이 비전 분야에서도 동일한 잠재력을 지닌다고 판단하였다.

만약 gelu말고 silu나 relu쪽으로 간다면 얼마나 영향이갈까?

2️⃣ RG Block에서 activation의 역할이 중요해지는 이유

RG Block은 일반 MLP가 아님.

핵심 구조를 다시 보면:

R_fusion = R_global ⊙ Y(R_local)

즉,

• activation 출력이
• 곱셈 게이트(gating) 로 바로 사용됨

? 이 말은:

activation의 출력 분포(shape) 가
곧 정보 통과량(control signal) 이 된다는 뜻 —

3️⃣ GELU vs SiLU vs ReLU를 기능적으로 비교하면

? (1) GELU

특징:

• 부드러운 비선형
• 음수 영역에서도 완전 차단이 아님
• 출력 분포가 연속적

RG Block 관점에서:

• 게이트가 연속적으로 열리고 닫힘
• global ⊙ local 곱셈이 안정적
• SSM에서 누적되는 state가 폭주하지 않음

➡️ 가장 안전한 선택

? (2) SiLU (Swish)

정의:

SiLU(x) = x · sigmoid(x)

특징:

• GELU와 매우 유사한 곡선
• 음수도 일부 통과
• gradient 흐름도 부드러움

실제로:

• 많은 ViT / CNN hybrid에서
  • GELU ↔ SiLU 거의 interchangeable

RG Block에서의 영향:

• 게이팅의 연속성 유지
• 곱셈 구조와 충돌 없음

? 실험적으로는

• mAP 기준 0.1~0.3%p 수준 차이
• latency 차이는 거의 없음

➡️ 현실적인 대체재

? (3) ReLU — 문제의 핵심

ReLU:

ReLU(x) = max(0, x)

RG Block에서 치명적인 이유 ?

❌ (a) 게이팅이 이산적이 됨

• 음수 → 0 (완전 차단)
• 양수 → 선형 통과

➡️ 곱셈 게이트가

• hard gate 처럼 동작
• fine-grained control 불가

❌ (b) local feature 소실

• Y(R_local)이 0이면
• global 정보도 함께 사라짐

➡️ RG Block의 설계 의도 붕괴

❌ (c) SSM 누적 특성과 충돌

• ReLU는 분포를 한쪽으로 치우치게 함
• SS2D의 state update가 불안정

? 실제로 기대되는 현상:

• small object AP ↓
• AP75 ↓

• 학습 초반 loss oscillation ↑

4️⃣ 왜 논문들이 거의 항상 GELU를 쓰는가

이건 “유행” 문제가 아니라 구조 문제야.

• SSM / Transformer / gated MLP
• 공통점: multiplicative interaction

이 구조에서는:

• ReLU ❌
• GELU / SiLU ⭕

• 심지어 ELU, Mish도 종종 사용됨

5️⃣ 실전 조언 (네 상황 기준)

네가 이미 말한 조건을 기준으로 하면:

? 만약 바꾼다면

• GELU → SiLU ✅
  • TRT 영향 없음
  • 학습 안정성 거의 동일
• GELU → ReLU ❌
  • 성능 손실 큼
  • RG Block 의미 퇴색

? ablation 관점에서

논문에서 만약 reviewer가:

“GELU 아니어도 되냐?”

라고 물으면:

• SiLU 실험 하나 넣는 건 합리적

• ReLU는 굳이 안 해도 됨 (이론적으로 불리)

? 최종 한 줄 정리

RG Block처럼 곱셈 게이팅이 있는 구조에서는
GELU ↔ SiLU는 거의 동등하지만,
ReLU는 구조적으로 맞지 않아 성능 저하가 크다. —

실험(Experiments)

본 절에서는 객체 탐지 과제를 대상으로 Mamba YOLO에 대한 포괄적인 실험을 수행한다. 제안한 Mamba YOLO의 우수성을 검증하기 위해 MS COCO 데이터셋을 사용하여 최신(State-of-the-Art) 방법들과의 성능 비교를 진행하였다. 모든 모델은 NVIDIA H800 GPU 8대 환경에서 학습되었다.

그림 4: GPU 메모리 효율성과 mAP 관점에서의 DINO-R50과 Mamba YOLO-L 비교. 입력 이미지 해상도가 증가함에 따라, DINO는 높은 mAP를 유지하기 위해 더 높은 해상도를 요구하며, GPU 메모리 사용량과 FLOPs 모두에서 이차적(quadratic) 증가 추세를 보인다. 반면, Mamba YOLO는 GPU 메모리 요구량이 선형적으로 증가하는 특성을 유지하면서, 640×640의 비교적 작은 해상도에서도 더 적은 FLOPs와 더 빠른 추론 속도로 최고 성능을 달성한다.

그림 5: COCO 데이터셋에서 각 객체 탐지기의 추론 결과 비교. 보다 명확한 시각화를 위해 세부 객체 영역을 확대하여 제시하였다.

최신 기법(State-of-the-Arts)과의 비교

표 1은 MS COCO val 데이터셋에서의 실험 결과를 제시하며, 제안한 방법이 FLOPs, 파라미터 수, 정확도, 그리고 측정된 GPU 지연 시간(latency) 측면에서 전반적으로 가장 우수한 트레이드오프를 달성했음을 보여준다. 구체적으로, PPYOLOE-S(Long et al. 2020) 및 YOLO-MS-XS(Chen et al. 2023)와 같은 고성능 초경량 모델들과 비교했을 때, Mamba YOLO-T는 AP가 각각 1.1% / 1.5% 향상되었으며, GPU 추론 지연 시간은 0.9ms / 0.2ms 감소하였다. 유사한 정확도를 보이는 기준 모델 YOLOv8-S와 비교하면, Mamba YOLO-T는 파라미터 수를 48%, FLOPs를 53% 줄이면서 GPU 추론 지연 시간 또한 0.4ms 감소시켰다.

Mamba YOLO-B는 파라미터 수와 FLOPs가 유사한 Gold-YOLO-M과 비교하여 AP가 3.7% 더 높다. 또한 유사한 정확도를 보이는 PPYOLOE-M과 비교했을 때, 파라미터 수를 18%, FLOPs를 9% 줄이면서 GPU 추론 지연 시간을 1.8ms 감소시켰다. 대형 모델 구간에서도 Mamba YOLO-L은 모든 최신 객체 탐지기들과 비교하여 더 우수하거나 최소한 동등한 성능을 달성한다. 최고 성능을 보이는 Gold-YOLO-L(Wang et al. 2024)과 비교하면, Mamba YOLO-L은 AP를 0.3% 향상시키면서 파라미터 수를 0.9% 줄였다. 표에서 확인할 수 있듯이, 스크래치 학습(scratch training) 방식을 사용하는 Mamba YOLO-T는 다른 모든 학습 방식의 모델들보다 우수한 성능을 보인다.

더 나아가, 그림 4에서는 Mamba YOLO-L과 DINO-R50을 FPS와 GPU 메모리 사용량 측면에서 비교한다. 그 결과, 입력 해상도가 증가함에도 불구하고 Mamba YOLO-L은 선형적인 메모리 사용량 및 FLOPs 증가 특성을 유지하면서 더 높은 정확도와 빠른 속도를 달성함을 확인할 수 있다. 이러한 비교 결과는, 다양한 스케일의 Mamba YOLO 전반에 걸쳐 제안한 모델들이 기존 최신 기법들 대비 뚜렷한 이점을 지니고 있음을 보여준다.

Mamba YOLO에 대한 소거 실험(Ablation Study)

본 절에서는 ODSSBlock 내 각 모듈을 독립적으로 분석한다. 또한 Clue Merge를 사용하지 않는 경우에는 기존의 합성곱 기반 다운샘플링을 적용하여, Vision Clue Merge가 정확도에 미치는 영향을 평가한다. 소거 실험은 MS COCO 데이터셋에서 수행되었으며, 테스트 모델로는 Mamba YOLO-T를 사용하였다.

표 2의 실험 결과는 Clue Merge가 SSM을 위해 더 많은 시각적 단서(visual cues)를 보존함을 보여주며, 동시에 ODSSBlock 구조가 실제로 최적의 설계임을 뒷받침하는 근거를 제공한다.

그림 6: 소거 실험에서 탐색된 다양한 RG Block 통합 설계.

RG Block 구조에 대한 소거 실험(Ablation Study)

RG Block은 픽셀 단위(pixel-by-pixel)로 전역 의존성(global dependency)과 전역 특징(global feature)을 활용하여, 픽셀 간 국소 의존성(local dependency)을 효과적으로 포착하는 것을 목표로 한다. RG Block은 채널 차원을 모델링하기 위해 다중 분기(multi-branch) 구조를 사용하며, 이를 통해 시퀀스 모델링에서 SSM이 갖는 한계, 즉 수용 영역 부족(insufficient receptive field) 과 약한 이미지 위치 정보(image localization) 문제를 보완한다.

RG Block의 설계 세부 사항을 검증하기 위해, 본 연구에서는 다음과 같은 세 가지 변형 구조를 함께 고려하였다.

1. Convolutional MLP: 기존 MLP에 DW-Conv를 추가한 구조
2. Res-Convolutional MLP: 기존 MLP에 잔차 연결(residual concatenation) 형태로 DW-Conv를 추가한 구조
3. Gated MLP: 게이팅(gating) 메커니즘을 기반으로 설계된 MLP 변형

그림 6은 이러한 변형 구조들을 시각적으로 보여주며, 표 3은 MS COCO 데이터셋에서 Mamba YOLO-T를 테스트 모델로 사용하여, 기존 MLP, RG Block, 그리고 각 변형 구조들의 성능을 비교한 결과를 제시한다. 이를 통해 MLP 구조에 대한 본 분석의 타당성을 검증한다.

실험 결과, 단순히 합성곱을 도입하는 것만으로는 성능 향상이 효과적으로 이루어지지 않음을 확인하였다. 반면, 그림 6에 제시된 Gated MLP 변형에서는 출력이 두 개의 선형 투영(linear projection)의 원소별 곱(element-wise multiplication)으로 구성되며, 이 중 하나는 잔차 연결된 DWConv와 게이팅 활성화 함수를 포함한다. 이러한 설계는 계층적 구조 전반에 걸쳐 중요한 특징을 효과적으로 전달할 수 있는 능력을 모델에 부여하며, 결과적으로 정확도와 강건성을 유의미하게 향상시킨다.

이 실험은 복잡한 이미지 과제를 다룰 때 합성곱 도입에 따른 성능 향상이, 잔차 연결 맥락에서 적용된 게이티드 집계(gated aggregation) 메커니즘과 밀접하게 연관되어 있음을 보여준다.

Mamba YOLO 변형에서 값 설정 유형에 대한 소거 실험(Ablation Study)

본 절에서는 백본(backbone)에서 ODSSBlock 반복 횟수에 대한 네 가지 서로 다른 설정을 탐구한다.
설정 [9,3,3,3]은 추가적인 계산 오버헤드를 유발하지만, 이에 상응하는 정확도 향상은 나타나지 않는다.
반면 [3,9,3,3], [3,3,9,3], [3,3,3,9] 설정은 ODSSBlock의 과도한 중복으로 인해 사실상 중복(redundancy) 이 발생한다.

실험 결과, [3,6,6,3] 이 Mamba YOLO에서 보다 합리적인 설정임을 확인하였다.
Neck 부분에서는 ODSSBlock을 제거하면 모델을 더 경량화할 수 있지만, 이는 불가피하게 정확도 저하로 이어진다. 반대로 Neck에 ODSSBlock을 포함할 경우, 풍부한 그래디언트 흐름과 효과적인 특징 융합을 제공할 수 있다.

출력 Feature Map을 {P2,P3,P4,P5}로 설정하면 정확도가 크게 향상되지만, 그만큼 GFLOPs 또한 크게 증가한다. 최종적으로 Mamba YOLO는

• Blocks = [3,6,6,3]
• Feature Map = {P3,P4,P5}
• Neck 부분에 ODSSBlock 사용

이라는 구성을 채택하였다. 이 설정은 정확도와 복잡도 간의 균형을 가장 잘 달성하며, 인스턴스 분할(instance segmentation) 과제를 효율적으로 수행하는 데에도 적합하다. 실험 결과는 표 4에 제시되어 있다.

시각화(Visualization)

제안한 탐지 프레임워크의 장점을 추가로 검증하기 위해 MS COCO에서 무작위로 두 개의 샘플을 선택하였다. 그림 5는 Mamba YOLO와 주요 객체 탐지기들의 시각화 결과를 보여준다. 그 결과, Mamba YOLO는 다양한 어려운 조건에서도 정확한 탐지를 수행할 수 있으며, 복잡한 배경에서 높은 중첩(overlap) 과 심한 가림(occlusion) 이 존재하는 객체들을 탐지하는 데에서도 강력한 성능을 보임을 확인할 수 있다.

결론(Conclusion)

본 논문에서는 SSM을 기반으로 하고 YOLO를 확장한 객체 탐지기를 제안하였다. 제안한 모델은 대규모 데이터셋에 대한 사전 학습(pre-training)을 필요로 하지 않기 때문에 학습 과정이 매우 단순하다. 우리는 기존 MLP의 한계를 재분석하고, 계층적 구조 전반에 걸쳐 중요한 특징을 효과적으로 전달할 수 있도록 게이팅 메커니즘과 깊은 합성곱 기반 잔차 연결을 갖는 RG Block을 제안하였다. 본 연구의 목표는 YOLO의 새로운 베이스라인을 제시하고, Mamba YOLO가 매우 경쟁력 있는 성능을 지닌다는 점을 입증하는 것이다. 본 연구는 실시간 객체 탐지 과제에서 Mamba 아키텍처를 최초로 탐구한 사례이며, 관련 분야 연구자들에게 새로운 아이디어를 제공하길 기대한다.

감사의 글(Acknowledgement)

본 연구는 다음 연구비의 지원을 받아 수행되었다.
중국 국가자연과학재단(62376252); 저장성 자연과학재단 중점 프로젝트(LZ22F030003); 저장성 Leading Geese Plan(2024C02G1123882). —

Mamba YOLO 변형에서 값 설정 유형에 대한 소거 실험(Ablation Study)을 잘 이해 못하겠는데, ODSSBlock 반복 횟수가 정확히 말그대로 해당 P안에서 반복수인가?

결론부터 정확히 말하면

네, 맞다.
Blocks = [a, b, c, d] 는
백본(backbone) 각 stage(P-stage)에서 ODSSBlock이 반복되는 횟수를 의미한다.

하지만 ❗
“P2/P3/P4/P5와 1:1 대응”은 아니다
이게 헷갈리는 핵심 포인트야.

1️⃣ Blocks = [3, 6, 6, 3] 이 의미하는 것

Mamba YOLO backbone은 전형적인 YOLO 계열처럼 4-stage 구조야.

구조를 단순화하면:

Stem
 ↓
Stage 1  → ODSSBlock × a
 ↓
Stage 2  → ODSSBlock × b
 ↓
Stage 3  → ODSSBlock × c
 ↓
Stage 4  → ODSSBlock × d

그래서

Blocks = [a, b, c, d]

는:

• Stage별 ODSSBlock 반복 횟수
• 해상도는 stage가 내려갈수록 줄어듦

예:

[3, 6, 6, 3]

는

• Stage 1: ODSSBlock ×3
• Stage 2: ODSSBlock ×6
• Stage 3: ODSSBlock ×6
• Stage 4: ODSSBlock ×3

2️⃣ 그럼 이게 P3 / P4 / P5랑 뭐가 다른가?

중요한 구분이야 ?

? Backbone stage

• feature를 생성
• downsampling + representation learning
• 여기서 Blocks가 적용됨

? P3 / P4 / P5

• backbone에서 나온 feature를
• neck에서 재가공(FPN/PAFPN)
• detection head로 전달

즉:

❌ Blocks는 P-level 반복 수가 아님
✅ Blocks는 backbone stage 내부 깊이

3️⃣ 왜 [9,3,3,3] 같은 설정이 안 좋은가?

논문 설명을 해석하면:

[9,3,3,3]

• 초반 stage에만 너무 깊음
• 고해상도 feature에서 SSM 과다 사용
• 계산량 ↑
• global context는 아직 부족

➡️ 비효율

[3,9,3,3], [3,3,9,3], [3,3,3,9]

• 특정 stage만 과도하게 깊음
• ODSSBlock 중복 효과
• 표현력 증가 대비 정보 다양성 ↓

➡️ redundancy

[3,6,6,3]

• 중간 stage(P4/P5로 이어지는 영역)에
• 충분한 depth 확보
• global + local 균형

➡️ SSM에 가장 잘 맞는 분배

4️⃣ Neck에서 ODSSBlock 유무는 별개의 축

표를 보면:

[3,6,6,3] + w/o SSM Neck

이 있음.

이건:

• backbone 구조는 동일
• neck에서
  • ODSSBlock 사용 ❌
  • Conv only

결과:

• FLOPs ↓
• AP도 ↓

? SSM은 neck에서도 의미 있음이라는 걸 보여주는 ablation

5️⃣ Feature Map {P2, P3, P4, P5}는 또 다른 축

이건 완전히 다른 차원의 선택이야.

• P2까지 쓰면:
  • 작은 물체 ↑
  • FLOPs 폭증
• P3~P5:
  • YOLO의 전통적인 trade-off

그래서:

Blocks = [3,6,6,3]
Feature Map = {P3, P4, P5}
Neck SSM = ✓

이 최종 선택.

6️⃣ 한 장으로 정리하면 (개념도)

Input
 ↓
Stem
 ↓
Stage1 (ODSS ×3)   ← Blocks[0]
 ↓
Stage2 (ODSS ×6)   ← Blocks[1]
 ↓
Stage3 (ODSS ×6)   ← Blocks[2]
 ↓
Stage4 (ODSS ×3)   ← Blocks[3]
 ↓
{C3, C4, C5}
 ↓
Neck (PAFPN + ODSS)
 ↓
{P3, P4, P5}
 ↓
Head

? 핵심 요약

• ✅ Blocks = backbone stage별 ODSSBlock 반복 횟수
• ❌ P3/P4/P5에서 반복되는 게 아님
• [3,6,6,3]은
  • SSM 특성상 가장 균형 잡힌 깊이 배분
• 이 ablation은

  • “SSM은 어디에, 얼마나 써야 좋은가”를 보여주는 실험

종합 평점: 3 / 5

SSM(Mamba)을 실시간 객체 탐지에 본격적으로 적용한 의미 있는 첫 시도라는 점에서는 분명 가치가 있으나, 전반적으로는 아이디어 검증과 엔지니어링 정합성에 초점이 맞춰진 논문으로, 근본적인 구조적 돌파구까지 도달했다고 보기는 어렵습니다.

긍정적인 점 (플러스 요인)

• SSM을 YOLO 계열에 현실적으로 접목
  • Transformer의 quadratic complexity 문제를 피하면서도, 전역 문맥을 다루려는 방향성은 타당함
  • 특히 SS2D의 선형 메모리 증가 특성은 고해상도 입력에서 분명한 장점
• ODSSBlock + RG Block의 설계 논리는 일관됨
  • SSM의 약점(채널 활용, localization)을 RG Block으로 보완하려는 접근은 설득력 있음
  • 단순 MLP 대비 gated + depthwise conv가 효과적이라는 ablation도 납득 가능
• 사전학습 없이도 경쟁력 있는 성능
  • ImageNet/Object365 pre-training 없이 이 정도 AP를 달성한 점은 분명 강점
  • 특히 Tiny/Base 구간에서는 실용적인 메시지가 있음

아쉬운 점 (감점 요인)

• 구조적 새로움은 제한적
  • 핵심 구성 요소(SSM, gated MLP, residual, depthwise conv)는 모두 기존 아이디어의 조합
  • “Mamba를 YOLO에 잘 얹었다” 이상으로, 새로운 패러다임을 열었다고 보긴 어려움
• SSM이 ‘왜 detection에 본질적으로 좋은가’에 대한 근본적 설득은 부족
  • long-range dependency가 실제 detection에서 어떤 failure case를 얼마나 해결했는지에 대한 분석이 약함
  • qualitative 결과는 있으나, case-driven insight까지는 못 감
• 엔지니어링 튜닝 논문의 성격이 강함
  • Blocks 분배, Neck에서의 SSM 사용 여부, Feature Map 선택 등
  • 결과적으로 “잘 튜닝된 설정”은 얻었지만, 일반화 가능한 원칙으로 정리되지는 않음

종합적으로 보면

이 논문은

“SSM 기반 구조가 실시간 객체 탐지에서도 충분히 경쟁력이 있다”
는 것을 처음으로 깔끔하게 증명한 논문이지,
“객체 탐지의 구조를 다시 정의한 논문” 은 아닙니다.

그래서:

• 리뷰어 입장: Accept 가능
• 독자 입장: 아이디어 참고용으로는 좋음
• 후속 연구 관점: 여기서 진짜 중요한 건 ‘다음 단계’

한 줄 평가

흥미로운 방향성과 성실한 실험을 갖춘 첫 시도이지만,
결정적인 구조적 통찰까지는 아직 도달하지 못한 논문.

YOLO-Master: MOE-Accelerated with Specialized Transformers for Enhanced Real-time Detection

YOLO-Master: 특화된 트랜스포머를 활용한 MoE 가속 기반 고성능 실시간 객체 탐지

Xu Lin¹, Jinlong Peng¹¹, Zhenye Gan¹, Jiawen Zhu², Jun Liu¹
¹Tencent Youtu Lab  ²Singapore Management University
{gatilin, jeromepeng, wingzygan, juliusliu}@tencent.com
jwzhu.2022@phdcs.smu.edu.sg
공동 1저자(Equal contribution)

초록(Abstract)

기존의 실시간 객체 탐지(Real-Time Object Detection, RTOD) 방법들은 정확도와 속도 간의 유리한 절충을 위해 주로 YOLO 계열 아키텍처를 채택해왔다. 그러나 이러한 모델들은 모든 입력에 대해 동일한 처리를 적용하는 정적인 밀집 연산(static dense computation)에 의존하며, 이로 인해 표현 능력과 계산 자원이 비효율적으로 배분되는 문제가 있다. 즉, 단순한 장면에는 과도한 연산을 할당하는 반면, 복잡한 장면에는 충분한 연산을 제공하지 못한다. 이러한 불일치는 계산 중복을 초래할 뿐만 아니라 탐지 성능 저하로도 이어진다.

이러한 한계를 극복하기 위해, 우리는 RTOD를 위한 인스턴스 조건부 적응형 계산(instance-conditional adaptive computation)을 도입한 새로운 YOLO 계열 프레임워크 YOLO-Master를 제안한다. 이는 장면 복잡도에 따라 각 입력에 필요한 계산 자원을 동적으로 할당하는 효율적 희소 Mixture-of-Experts(Efficient Sparse Mixture-of-Experts, ES-MoE) 블록을 통해 구현된다.

YOLO-Master의 핵심에는 경량화된 동적 라우팅 네트워크(lightweight dynamic routing network)가 있으며, 이는 다양성 증진 목적 함수(diversity-enhancing objective)를 통해 학습 과정에서 각 전문가(expert)가 상호 보완적인 전문성을 갖도록 유도한다. 또한 이 라우팅 네트워크는 추론 단계에서 가장 관련성이 높은 전문가들만 선택적으로 활성화하도록 적응적으로 학습되며, 이를 통해 계산 오버헤드를 최소화하면서도 탐지 성능을 향상시킨다.

다섯 개의 대규모 벤치마크에 대한 포괄적인 실험을 통해 YOLO-Master의 우수성을 입증하였다. MS COCO 데이터셋에서 제안 모델은 1.62ms의 지연 시간(latency)으로 42.4% AP를 달성하였으며, 이는 YOLOv13-N 대비 mAP 기준 +0.8% 향상되고 추론 속도는 17.8% 더 빠른 결과이다. 특히 이러한 성능 향상은 객체가 밀집된 어려운 장면에서 더욱 두드러지며, 일반적인 입력에 대해서는 효율성을 유지하고 실시간 추론 속도 또한 안정적으로 보장한다.

코드: isLinXu/YOLO-Master

1. 서론(Introduction)

그림 1: MS COCO에서의 정확도–지연 시간(trade-off) 비교. YOLO-Master-N은 1.62ms의 지연 시간에서 42.4% AP를 달성하며, 파레토 프런티어 상에서 기존 기준 모델들을 능가한다.

실시간 객체 탐지(Real-time Object Detection)는 컴퓨터 비전 분야에서 핵심적인 과제로, 자율 주행, 영상 감시, 로봇 시스템 등 다양한 응용 분야에서 폭넓게 활용되고 있다 [31, 34, 28]. YOLO 계열은 단일 단계(one-stage) 탐지 프레임워크를 기반으로 탐지 정확도와 추론 속도 간의 효과적인 균형을 달성하며, 이 분야에서 지배적인 패러다임으로 자리 잡았다 [15, 16, 36, 18, 39].

최근 YOLO 계열 아키텍처의 발전은 주로 두 가지 방향에 집중되어 왔다. 첫째는 개선된 백본(backbone) 설계를 통해 특징 표현력을 향상시키는 것이며 [36], 둘째는 정교한 넥(neck) 아키텍처를 통해 다중 스케일 특징 융합(multi-scale feature fusion)을 최적화하는 것이다 [25]. 예를 들어, YOLOv5는 다중 스케일 특징 학습을 강화하기 위해 C2f 모듈을 도입하였고, YOLOv11은 전역 표현 능력을 향상시키기 위해 선택적 어텐션(selective attention) 메커니즘을 통합하였다.

그러나 이러한 개선에도 불구하고 근본적인 한계는 여전히 존재한다. 모든 기존 YOLO 아키텍처는 입력의 복잡도와 무관하게 동일한 네트워크 경로와 균일한 계산 자원을 적용하는 정적인 밀집 연산(static dense computation)에 기반하고 있다는 점이다. 이러한 ‘모든 경우에 동일하게 적용되는(one-size-fits-all)’ 패러다임은 심각한 비효율을 초래한다. 구체적으로, 객체가 드물고 크기가 큰 단순한 장면과, 작은 객체들이 밀집된 복잡한 장면이 동일한 계산 예산을 소모하게 되며, 그 결과 자원 낭비뿐만 아니라 특징 표현의 순도(feature purity) 저하로 이어진다 [27, 7].

더 나아가 YOLO 계열은 오랫동안 정확도와 속도 간의 균형을 맞추는 데 있어 근본적인 도전에 직면해 왔다. YOLOv1부터 최신 버전에 이르기까지, 각 세대는 아키텍처 혁신과 학습 전략을 통해 이 트레이드오프의 파레토 프런티어를 확장하려는 시도를 지속해왔다. 그러나 이러한 개선들은 본질적으로 정적이며 사전에 정의된 방식에 머물러 있다. 계산 예산과 네트워크 용량은 설계 단계에서 고정되어 있으며, 입력 특성에 따라 자원을 동적으로 할당할 수 있는 적응적 메커니즘이 결여되어 있다.

이러한 한계는 다양한 실제 환경을 다룰 때 특히 두드러진다. 예를 들어, 복잡한 도심 장면에 최적화된 탐지기는 단순한 고속도로 환경에서는 과도하게 파라미터화(over-parameterized)될 수 있으며, 반대로 효율성에 초점을 맞춘 모델은 난이도가 높은 장면을 처리하기에 충분한 표현 능력을 갖추지 못할 수 있다. 최근 대규모 언어 모델 연구에서는 서로 다른 입력이 모델 파라미터의 서로 다른 부분집합을 선택적으로 활성화하는 희소 활성화(sparse activation) 패턴이 효율성과 적응성을 동시에 크게 향상시킬 수 있음이 밝혀졌다 [35, 7]. 이러한 통찰은 실시간 객체 탐지 분야에서도 유사한 동적 계산 패러다임을 도입함으로써, 정확도–효율성 간의 지형 자체를 근본적으로 재구성할 수 있는지 탐구하도록 동기를 부여한다.

이러한 한계를 해결하기 위해, 우리는 YOLO 파이프라인에 Mixture of Experts(MoE) 프레임워크를 통합함으로써 실시간 객체 탐지에 조건부 계산(conditional computation)을 최초로 도입한 새로운 아키텍처 YOLO-Master를 제안한다. 본 접근법은 입력 내용에 따라 전문가 네트워크(expert network)의 부분집합을 동적으로 활성화함으로써, 모델 용량과 계산 비용 사이에 존재하던 기존의 정적인 트레이드오프를 근본적으로 타파한다.

MoE 기반 설계는 다음의 세 가지 핵심 메커니즘으로 구성된다.
(1) 동적 라우팅(dynamic routing): 학습 단계에서는 그래디언트 흐름을 보장하기 위해 soft Top-K 활성화를 사용하고, 추론 단계에서는 효율성을 위해 hard Top-K 희소화를 적용한다.
(2) 효율적인 전문가 그룹(Efficient expert groups): 서로 다른 수용 영역(receptive field)을 갖는 depthwise separable convolution(3×3, 5×5, 7×7 커널)을 활용하여 상이한 다중 스케일 패턴을 포착한다.
(3) 부하 균형(load balancing) 감독(supervision): 학습 중에는 전문가 사용을 균등하게 유지하면서, 배포(deployment) 단계에서는 실제적인 희소성(genuine sparsity)을 보장한다.

MS COCO 데이터셋에서의 평가 결과, YOLO-Master는 경쟁력 있는 추론 속도를 유지하면서도 YOLOv12 [36] 대비 1.8% mAP, YOLOv13 [18] 대비 0.8% mAP 향상을 달성하였다. 이는 적응적 용량 할당(adaptive capacity allocation)이 어려운 사례에 더 많은 자원을 배분하면서도 일반적인 입력에 대해서는 효율성을 유지함으로써, 실시간 객체 탐지를 위한 새로운 최신 성능(state-of-the-art)을 확립할 수 있음을 입증한다.

우리는 본 논문의 기여를 다음과 같이 요약한다.

• 실시간 객체 탐지를 위한 최초의 MoE 기반 조건부 계산 프레임워크를 제안하며, 입력 복잡도에 따라 모델 용량을 적응적으로 조절하는 동적 전문가 활성화를 통해 정적인 정확도–효율성 트레이드오프를 근본적으로 극복한다.
• 다중 스케일 전문가와 동적 라우팅 네트워크를 갖춘 Efficient Sparse MoE(ES-MoE) 블록을 설계하였다. 학습 시에는 그래디언트 전파를 위해 soft Top-K 전문가를, 추론 시에는 실제 희소성을 위해 hard Top-K 전문가를 사용함으로써 학습 안정성과 배포 효율성을 동시에 달성한다.
• 객체 탐지에 특화된 부하 균형 감독 메커니즘을 도입하여 전문가 붕괴(expert collapse)를 방지하면서도 균일한 활용을 유지하였으며, 이는 추론 희소성을 희생하지 않으면서 안정적인 MoE 학습을 가능하게 하는 핵심 요소임을 입증하였다.
• MS COCO, PASCAL VOC, VisDrone, KITTI, SKU-110K 등 다섯 개의 다양한 벤치마크에서 광범위한 실험을 수행하여 최신 성능을 달성하였다. 객체 밀도와 시각적 도메인이 서로 다른 환경 전반에서의 일관된 성능 향상은, 정적 아키텍처 대비 적응적 계산 방식의 높은 일반화 성능을 입증한다.

그림 2: YOLO-Master의 전체 프레임워크. 본 아키텍처는 특징 추출과 융합을 강화하기 위해 Backbone과 Neck에 ES-MoE 모듈을 통합한다. 입력 특징은 Softmax 게이팅을 갖는 동적 라우팅 네트워크를 통해 처리되며, 상위 K개의 전문가를 선택하여 가중 합산(weighted aggregation)을 수행한다. 또한 본 프레임워크는 P3, P4, P5 예측 계층 전반에 걸쳐 효율적인 다중 스케일 객체 탐지를 위해 표준(Standard), Soft Top-K(학습), Hard Top-K(추론) 라우팅 전략 간을 적응적으로 전환한다.

2. 관련 연구(Related Work)

2.1 실시간 객체 탐지기(Real-time Object Detectors)

YOLO 계열은 지속적인 아키텍처 개선을 거치며 실시간 객체 탐지를 위한 지배적인 패러다임으로 자리 잡아 왔다 [32, 30, 15, 17, 38, 16, 36, 18, 34]. 대표적인 개선 사례로는 다중 스케일 특징 피라미드(multi-scale feature pyramids) [30], 효율적인 레이어 집계(efficient layer aggregation) [15], NMS-free 학습 [38], 선택적 어텐션(selective attention) 메커니즘 [16], 그리고 적응적 시각 인지(adaptive visual perception) [18] 등이 있다. 이러한 방법들은 주로 백본(backbone) 아키텍처 최적화, 특징 융합(feature fusion) 전략, 그리고 학습 패러다임 개선에 초점을 맞추고 있다.

그러나 이들 방법은 모두 입력의 복잡도와 무관하게 동일한 네트워크 경로와 균일한 계산 자원을 사용하는 정적인 밀집 연산(static dense computation)에 의존한다. 이러한 근본적인 한계로 인해 입력 특성에 기반한 적응적 용량 할당(adaptive capacity allocation)이 불가능하다.

YOLO 계열을 넘어, RT-DETR [43]과 같은 다른 실시간 탐지기들도 유사하게 정적인 계산 패턴을 갖는 트랜스포머 기반 아키텍처를 채택하고 있다. 이들 방법은 아키텍처 혁신을 통해 경쟁력 있는 정확도–효율성 트레이드오프를 달성하지만, 동적 자원 할당을 위한 메커니즘은 갖추고 있지 않다. 이에 비해 YOLO-Master는 Mixture of Experts 프레임워크를 통한 조건부 계산을 도입함으로써 이러한 공백을 메우며, 기존 아키텍처에 내재된 정적인 트레이드오프를 근본적으로 타파하는 적응적 전문가 활성화를 가능하게 한다.

2.2 Mixture of Experts

Mixture of Experts(MoE)는 게이팅 네트워크(gating network)가 입력을 특화된 전문가 서브네트워크(expert sub-network)로 라우팅하는 조건부 계산(conditional computation)을 통해 모델 용량을 확장하기 위해 처음 제안되었다 [14]. 이러한 희소 활성화(sparse activation) 전략은 계산 비용을 관리 가능한 수준으로 유지하면서도 언어 모델을 수조(trillion) 개 파라미터 규모로 확장하는 데에서 괄목할 만한 성공을 거두었다 [19, 7]. 최근 연구들은 MoE를 컴퓨터 비전 분야로 확장하여, 주로 Vision Transformer 기반의 이미지 분류 과제 [33, 4, 29] 및 멀티태스크 학습 [2]에 적용해 왔다.

그러나 객체 탐지와 같은 밀집 예측(dense prediction) 과제에 MoE를 적용하는 연구는 아직 거의 탐구되지 않았다. 분류 문제에서 라우팅은 전역 이미지 표현(global image representation)을 대상으로 동작하는 반면, 객체 탐지는 객체 밀도와 스케일 분포가 서로 다른 다중 스케일 공간 특징(multi-scale spatial features)을 처리해야 한다는 점에서 본질적으로 더 복잡하다. 초기 시도로 ViT 기반 탐지기에 MoE를 통합한 연구들이 존재하지만 [40], 이들 방법은 실시간 환경에 적합하지 않을 정도로 상당한 계산 오버헤드를 수반하는 경우가 많다.

이에 비해 YOLO-Master는 경량 CNN 기반 실시간 탐지기에 특화된 최초의 MoE 프레임워크를 제안함으로써 이러한 공백을 해소한다. 우리는 특징 피라미드 계층(feature pyramid hierarchies) 상에서 동작하는 동적 라우팅 메커니즘을 설계하여, 공간적 특성에 따라 전문가를 적응적으로 활성화할 수 있도록 한다. 또한 학습과 추론을 분리한 라우팅 전략(그래디언트 흐름을 위한 soft Top-K 학습, 실제 희소성을 위한 hard Top-K 추론)은 최적화 안정성과 배포 효율성을 동시에 보장하여, 실시간 객체 탐지 환경에서도 조건부 계산을 실질적으로 활용할 수 있도록 한다.

2.3 적응적 특징 처리(Adaptive Feature Processing)

어텐션 메커니즘은 정보성이 높은 영역에 집중함으로써 특징을 동적으로 재조정하기 위해 객체 탐지 분야에서 널리 사용되어 왔다 [13, 12, 41, 42, 10]. 이러한 기법들은 효과적이지만, 채널 어텐션(SE [13]), 공간 어텐션(CBAM [42]), 그리고 트랜스포머 기반 자기 어텐션(self-attention) [37, 1] 모두 입력과 무관한 정적 아키텍처 상에서 동작하며, 모든 입력에 동일한 계산을 적용한다는 한계를 지닌다. 최근 제안된 효율적인 어텐션 변형들 [26, 3]은 계산 복잡도를 줄이기는 했지만, 여전히 모든 공간 위치를 균일한 용량으로 처리하는 근본적으로 밀집(dense)된 계산 구조를 유지하고 있다.

이에 비해 본 연구의 MoE 기반 접근법은 본질적으로 다른 방향을 취한다. 어텐션 점수를 통해 특징의 중요도를 가중하는 대신, 조건부 전문가 활성화(conditional expert activation)를 통해 계산 자체를 적응적으로 수행한다. 이러한 패러다임 전환은 입력에 의존적인 용량 할당(input-dependent capacity allocation)을 가능하게 하여, 단순한 영역은 더 적은 전문가만을 활성화하고 복잡한 영역은 더 큰 모델 용량에 접근하도록 한다. 그 결과, 어텐션 기반 방법에 내재된 정적인 계산 제약을 근본적으로 타파한다.

3. 방법론(Methodology)

3.1 YOLO-Master 개요(Overview of YOLO-Master)

본 연구에서는 실시간 객체 탐지(Real-Time Object Detection, RTOD)를 위한 새로운 YOLO 계열 프레임워크인 YOLO-Master를 제안한다. YOLO-Master는 최근의 YOLO 아키텍처(예: YOLOv12 [36])를 기반으로 하며, 희소하고 인스턴스 조건부 적응 계산을 가능하게 하는 Efficient Sparse Mixture-of-Experts(ES-MoE) 모듈을 도입한다. 그림 2(좌상단)에 나타낸 바와 같이, YOLO-Master는 Backbone, Neck, Detection Head로 구성된 표준 YOLO 설계를 따른다. ES-MoE 모듈은 Backbone과 Neck 양쪽에 삽입되는데, Backbone에서는 객체 스케일과 장면 복잡도의 변화에 따라 특징 추출을 동적으로 강화하고, Neck에서는 다중 스케일 적응적 융합과 정보 정제를 가능하게 한다.

ES-MoE 모듈의 정보 흐름은 그림 2(좌하단)에 도시되어 있다. 구체적으로 ES-MoE는 다음의 세 가지 핵심 구성 요소로 이루어진다.
(i) 인스턴스 의존적 라우팅 신호를 생성하는 동적 라우팅 네트워크(Dynamic Routing Network),
(ii) 가장 관련성이 높은 전문가를 선택하는 Softmax 게이팅 메커니즘(Softmax Gating Mechanism),
(iii) 활성화된 전문가들의 출력을 하나의 정제된 표현으로 결합하는 가중 집계(Weighted Aggregation) 유닛이다. 핵심이 되는 동적 라우팅 네트워크는 단계적(phased) 라우팅 전략을 사용하며, 학습 단계에서는 전문가 특화를 유도하기 위해 soft 라우팅을 적용하고, 추론 단계에서는 그림 2(우측)에 나타난 것처럼 가장 관련성이 높은 전문가만을 선택하는 hard Top-K 활성화를 사용한다. 다음에서는 각 구성 요소를 상세히 설명한다.

이러한 설계를 통해 입력 특징의 국소적 특성과 복잡도에 따라 계산 자원을 동적으로 할당할 수 있다.

ES-MoE의 핵심적인 혁신은 그림 2(우측 패널)에 제시된 단계적 라우팅 전략에 있다. 학습 단계에서는 Soft Top-K 라우팅 메커니즘을 사용하여 모든 전문가에 대해 부드럽고 미분 가능한 가중치를 할당함으로써 그래디언트의 연속성을 보장하는 동시에, 상위 전문가들을 강조한다. 반면 추론 단계에서는 K≪E 인 Hard Top-K 전략으로 전환하여 KKK개의 전문가만을 활성화함으로써, 실질적인 계산 희소성과 가속을 달성한다 [7]. 이 적응적 메커니즘은 기존의 밀집 모델에 내재된 계산 중복 문제를 효과적으로 해소하며, 서로 다른 배포 단계 전반에서 효율적인 전문가 선택을 가능하게 한다. 본 라우팅 전략의 상세한 설계와 분석은 3.4절에서 제시한다.

3.2 동적 라우팅 네트워크(Dynamic Routing Network)

전문가 네트워크는 입력 특징 X에 대해 서로 다른 비선형 변환을 수행하도록 설계된 E개의 독립적인 특징 변환 모듈 Expert_i로 구성된다. 본 설계의 핵심 목표는 높은 계산 효율성과 다양한 수용 영역(receptive field)을 동시에 달성하여, 입력에 따라 가장 적합한 특징 처리 경로를 모델이 적응적으로 선택할 수 있도록 하는 것이다.

3.3 게이팅 네트워크 설계(Gating Network Design)

게이팅 네트워크 G는 ES-MoE 모듈에서 핵심적인 역할을 수행하며, E개의 전문가를 활성화하기 위한 원시 로짓(raw logits)

을 생성한다. 본 네트워크의 설계는 라우팅 결정 과정 자체가 계산 병목이 되지 않도록 경량화 원칙을 엄격히 준수한다 [33].

정보 집계(Information aggregation).
먼저, 전역 정보 집계를 위해 라우팅 가중치는 국소적 특징이 아닌 전역 문맥 정보로부터 도출되어야 하며, 이를 통해 전체 입력 특징 맵

에 대해 일관된 가이드를 제공할 수 있다. 이를 위해 우리는 전역 평균 풀링(Global Average Pooling, GAP)을 사용하여 입력 특징 맵을 간결한 전역 디스크립터

로 압축한다 [13, 23].

3.4 단계적 라우팅 전략(Phased Routing Strategy)

라우팅 패러다임 설계는 ES-MoE 프레임워크의 근본적인 목표를 추구한다. 즉, 학습 단계에서는 모든 전문가가 충분히 학습되도록 보장하면서도, 추론 단계에서는 엄격한 희소 활성화를 강제하여 계산 가속을 달성하는 것이다. 이러한 이중 목표는 단계적 동적 라우팅 메커니즘을 통해 구현된다 [7, 45].

4. 실험(Experiment)

4.1 실험 설정(Experimental Setup)

데이터셋(Datasets).
본 연구에서는 서로 다른 특성을 지닌 다섯 개의 벤치마크에서 성능을 평가한다.
MS COCO 2017 [24] (학습 이미지 118k장, 80개 카테고리), PASCAL VOC 2007+2012 [6] (16.5k 이미지, 20개 카테고리), VisDrone-2019 [5] (6.5k 이미지, 10개 카테고리), KITTI [8] (7.5k 이미지, 3개 카테고리), SKU-110K [9] (8.2k 이미지, 1개 카테고리).

구현(Implementation).
MoE 모듈을 통합한 YOLOv12-Nano [36] (너비 스케일링 계수 0.5)를 기준선 모델로 사용한다. 모든 모델은 입력 해상도 640×640에서 600 에폭 동안 학습되며, 코사인 학습률 스케줄링을 적용한 SGD 옵티마이저를 사용한다. 전체 배치 크기는 256이다. 데이터 증강으로는 Mosaic(p=1.0), Copy-Paste(p=0.1), MixUp(Nano 변형에서는 비활성화)을 사용하며, 이 외에도 랜덤 어파인 변환(random affine), HSV 색상 지터링과 같은 표준 증강 기법을 적용한다. 모든 학습과 테스트는 4대의 고성능 연산 장비에서 수행된다.

평가 지표(Metrics).
모든 벤치마크에 대해 mAP50:95​와 mAP50​을 보고한다. 효율성 지표로는 활성화된 전문가 수가 K일 때의 파라미터 수(Params, M), 지연 시간(latency, ms), 그리고 FPS를 사용하며, 이는 YOLOv12 기준선과 동일한 표준 하드웨어 설정(FP16, 배치 크기=1)을 따르는 전용 추론 가속기에서 측정된다. 이를 통해 실시간 배포 가능성에 초점을 맞춘다.

4.2 주요 결과(Main Results)

표 1은 YOLO-Master-N이 실시간 추론 속도를 유지하면서도 다섯 개의 모든 벤치마크에서 최신(state-of-the-art) 성능을 달성함을 보여준다. YOLO-Master-N은 mAP 기준으로 YOLOv13-N 대비 COCO에서 +0.8%, VOC에서 +1.4%, VisDrone에서 +2.1%, KITTI에서 +1.5%, SKU-110K에서 +0.7%의 성능 향상을 기록하였다. 특히 VisDrone(+2.1%)와 KITTI(+1.5%)에서 가장 큰 성능 개선이 관찰되었으며, 이는 소형 객체 탐지와 정밀한 위치 추정에 대한 본 설계의 타당성을 입증한다.

정확도가 향상되었음에도 불구하고, YOLO-Master-N은 YOLOv13-N 대비 18% 더 빠르며, 가장 빠른 YOLOv11-N 대비로는 단 8%만 느린 수준으로, 효율성과 정확도 간의 최적의 균형을 보여준다. 이미지당 평균 147개의 객체가 존재하는 고밀도 환경인 SKU-110K 데이터셋에서 본 방법은 58.2% mAP를 달성하여, 혼잡한 장면에서도 효과적으로 동작함을 입증하였다.

이러한 결과들은 선택적 특징 처리를 수행하는 MoE 기반 아키텍처가 다양한 객체 탐지 시나리오 전반에서 더 높은 정확도와 실용적인 추론 속도를 동시에 달성할 수 있음을 검증한다.

4.3 소거 실험(Ablation Studies)

4.3.1 ES-MoE 모듈의 효과성(Effectiveness of ES-MoE Module)

표 5에서는 ES-MoE 모듈의 최적 배치 전략을 분석한다. Backbone에만 ES-MoE를 통합한 경우가 62.1% mAP와 2.66M 파라미터로 가장 우수한 성능을 보였으며, 이는 기준선(60.8%) 대비 +1.3% 향상이다. 이는 초기 단계의 특징 추출에서 전문가 특화가 매우 중요함을 검증한다. 즉, 백본의 ES-MoE는 스케일 적응적(scale-adaptive)이면서 의미적으로 다양한(semantic-diverse) 표현을 효과적으로 학습하여, 이후 탐지 성능에 긍정적인 영향을 준다.

반면 Neck에만 ES-MoE를 통합한 경우는 58.2% mAP로 성능이 저하되었다(-2.6%). 이는 백본으로부터 충분히 다양한 입력 특징을 제공받지 못한 상태에서는 라우팅 메커니즘이 효과적으로 전문가 특화를 학습할 수 없기 때문이다. 기본 백본은 비교적 균질한(homogeneous) 특징을 생성하므로, 넥에서 상호 보완적인 전문가 패턴을 발견하는 데 한계가 있다.

흥미롭게도 Backbone과 Neck 모두에 ES-MoE를 적용한 전체 통합(full integration)의 경우, 성능이 54.9% mAP로 크게 저하되었다(기준선 대비 -5.9%). 이는 연쇄적으로 배치된 라우팅 메커니즘 간의 그래디언트 간섭(gradient interference) 때문으로 해석된다. 즉, 백본과 넥의 ES-MoE 모듈이 역전파 과정에서 서로 충돌하는 라우팅 그래디언트를 생성하여 학습을 불안정하게 만들고, 결과적으로 전문가 특화를 방해한다.

이 결과는 중요한 설계 원칙을 시사한다. ES-MoE 모듈을 많이 넣는다고 해서 반드시 성능이 향상되는 것은 아니며, 부정적인 상호작용을 피하기 위해 신중한 배치가 필수적이다. 이러한 분석을 바탕으로, 본 연구에서는 정확도와 학습 안정성의 균형을 고려하여 Backbone 단독 ES-MoE 구성을 기본 설정으로 채택한다.

4.3.2 전문가 수(Number of Experts)

표 6은 전문가 수가 성능–효율성 트레이드오프에 미치는 영향을 분석한다. 전문가 4개 설정은 2.76M 파라미터로 62.3% mAP와 82.2% mAP50을 달성하며 최적의 균형을 보인다. 전문가를 2개만 사용할 경우 mAP가 -1.3% 감소(61.0%)하여, 서로 다른 스케일과 의미 범주에 걸친 다양한 객체 패턴을 모델링하기에 용량이 부족함을 시사한다. 반대로 8개 전문가로 확장하면 파라미터가 33% 증가(3.68M)함에도 성능 향상은 없고(62.0% mAP, -0.3%), 중복된 전문가로 인한 과도한 파라미터화로 수익 체감이 발생함을 보여준다. 이는 객체 탐지에서 다중 스케일 변화를 포착하는 데 적당한 수준의 전문가 다양성이면 충분함을 검증하며, 본 연구에서는 전문가 4개를 기본 설정으로 채택한다.

4.3.3 Top-K 선택 전략(Top-K Selection Strategy)

전문가 4개를 기준으로, 표 7에서는 Top-K 라우팅의 영향을 분석한다. Top-2 라우팅은 50% 희소도에서 61.8% mAP로 최적의 성능을 달성한다. Top-1 라우팅은 -0.5% mAP 하락(61.3%)을 보이며, 표현 용량이 부족함을 나타낸다. 3개 또는 4개 전문가 활성화는 각각 성능 개선이 없다. K=2에서의 최적점은 본 설계를 뒷받침한다. 즉, 두 개의 상호 보완적인 전문가가 충분한 특징 다양성을 제공하면서도 계산 효율을 유지한다. 이러한 결과는 비전 과제에서 K=2를 초과하면 수익 체감이 발생한다는 최근 MoE 연구 [7, 33]와도 일치한다.

그림 3: 다양한 설정에 대한 손실 소거 실험.
(a) DFL 손실 비교, (b) MoE 손실 비교, (c) 검증 mAP, (d) 전체 손실, (e) MoE 손실의 변화, (f) mAP 수렴.

그림 4: 네 가지 도전적인 시나리오에서의 정성적 비교. 모든 테스트 이미지는 MS COCO [24] 및 PASCAL VOC 2007+2012 [6] 테스트 세트에서 가져왔다.

4.3.4 손실 함수 구성(Loss Function Configuration)

표 8과 그림 3은 다섯 가지 손실 구성에 대한 분석 결과를 제시한다. 흥미롭게도 DFL 손실을 완전히 제거하고 MoE 손실만을 사용한 구성(MoE-only, 가중치=1.5)이 62.2% mAP로 가장 우수한 성능을 보였으며, 이는 기준선 대비 +0.3% 향상이다. 학습 동역학(그림 3)을 통해 그 원인을 설명할 수 있다. 구성 4(DFL + 강한 MoE, λ=1.5)는 심각한 진동 현상을 보이는 반면, 구성 5(MoE-only)는 매끄럽게 수렴한다.

우리는 이러한 현상이 DFL 손실과 MoE 손실 간의 그래디언트 충돌에서 비롯된다고 가설을 세운다. 구체적으로, DFL은 균일한 분포 기반의 정제를 강제하는 반면, MoE 손실은 인스턴스 적응형 전문가 특화를 유도한다. 두 손실이 모두 큰 가중치를 가질 경우, 그래디언트의 주도권을 놓고 경쟁하게 되어 학습 불안정성이 발생한다(구성 4: 61.4% mAP, 최저 성능). DFL을 제거하면 이러한 충돌이 해소되어, MoE 손실이 박스 회귀와 전문가 특화를 동시에 효과적으로 유도할 수 있다. 이는 Mixture-of-Experts 아키텍처에서 MoE 손실이 DFL의 역할을 실질적으로 대체(subsume)할 수 있음을 시사한다. 이에 따라 본 연구에서는 구성 5(MoE-only, λ=1.5)를 기본 설정으로 채택한다.

4.3.5 다운스트림 과제로의 일반화(Generalization to Downstream Tasks)

YOLO-Master의 범용성을 추가로 평가하기 위해, 소거 실험에서 도출한 최적 구성을 이미지 분류와 인스턴스 분할 과제로 확장하였다.

분류(Classification).
표 3에 나타난 바와 같이, YOLO-Master-cls-N은 ImageNet에서 76.6% Top-1 정확도를 달성하여 YOLOv11 대비 +6.6%, YOLOv12 대비 +4.9%의 큰 성능 향상을 보였다. 이는 본 백본이 강건한 특징 표현 능력을 갖추고 있음을 보여준다.

분할(Segmentation).
표 4에서 YOLO-Master-seg-N은 35.6% mAP_mask​를 기록하여 YOLOv12-seg-N 대비 +2.8% 향상되었으며, 이는 위치 추정과 마스크 예측 모두에서 동시적인 성능 개선을 달성했음을 의미한다.

탐지 요약(Detection Summary).
이러한 결과를 보완하듯, 탐지 변형(Table 2)은 49.1% mAP_box를 달성하여 소형(small-scale) 모델 기준으로 새로운 최신 성능(state-of-the-art)을 수립하였다. 과제 전반에 걸친 이러한 일관된 성능 향상은 YOLO-Master가 다양한 시각 인식 패러다임에서 성능을 효과적으로 끌어올릴 수 있는 강력하고 범용적인 아키텍처임을 입증한다.

4.4 정성적 분석(Qualitative Analysis)

그림 4는 네 가지 대표적인 도전적 시나리오에 대한 정성적 비교 결과를 제시한다. YOLO-Master-N은 모든 경우에서 기준선 방법들 대비 일관된 성능 향상을 보여준다.

소형 객체 탐지(Small Object Detection, 1행).
잔디 위에 작은 동물이 있는 야외 장면에서, 초기 버전(v10–v11)은 먼 거리의 객체를 탐지하지 못한다. YOLOv12-N은 낮은 신뢰도(0.47)로 탐지를 시작하고, YOLOv13-N은 이를 0.53까지 개선한다. 반면 YOLO-Master-N은 정확한 위치 추정과 함께 0.65–0.82의 높은 신뢰도로 객체를 탐지하여, 복잡한 배경에서 소형 객체에 대한 스케일 적응형 전문가 라우팅의 효과를 입증한다.

카테고리 판별(Category Disambiguation, 2행).
바위 근처에 새가 있는 해안 장면은 배경 위장(camouflage)이 심한 도전적 상황이다. YOLOv10-N부터 v12-N까지는 가려진 사람을 탐지하지 못하며, YOLOv13-N은 간신히 탐지에 성공한다. 이에 비해 YOLO-Master-N은 정확한 위치 추정(청록색 박스)과 함께 확실한 탐지를 수행하여, 전문가 특화가 복잡한 배경 속에서 가려진 객체를 더 잘 구분할 수 있음을 보여준다.

복잡한 장면(Complex Scene, 3행).
동물들이 겹쳐 있고 사람과의 상호작용이 포함된 양 털깎기 장면에서, YOLO-Master-N은 깨끗한 탐지 결과와 정확한 위치 추정을 달성한다(평균 신뢰도 0.85, v13의 0.77 대비). 이는 복잡한 장면을 효과적으로 처리할 수 있음을 입증한다.

고밀도 장면(Dense Scene, 4행).
병, 컵, 식기 등 많은 객체가 서로 겹쳐 있고 사람이 포함된 식사 장면에서는, 기존 버전들이 다수의 소형 객체를 놓친다. YOLO-Master-N은 0.87–0.97의 높은 신뢰도로 포괄적인 탐지를 수행하여, 밀집되고 혼잡한 환경에서의 우수한 처리 능력을 보여준다.

모든 시나리오 전반에서 YOLO-Master-N은 더 높은 평균 신뢰도와 더 완전한 탐지 커버리지를 달성하며, 다양한 실제 환경의 도전 과제에 대응하는 데 있어 ES-MoE의 적응적 전문가 특화가 효과적임을 입증한다.

5. 결론(Conclusion)

본 논문에서는 YOLO 아키텍처에 Efficient Sparse Mixture-of-Experts(ES-MoE)를 도입한 새로운 실시간 객체 탐지 프레임워크 YOLO-Master를 제안하였다. 제안한 접근법은 경량화된 동적 라우팅 네트워크를 통해 모델 용량과 계산 효율성 간의 근본적인 트레이드오프를 효과적으로 해결한다. 학습 단계에서는 그래디언트 흐름을 유지하기 위해 soft Top-K 라우팅을 사용하고, 추론 단계에서는 hard Top-K 라우팅으로 전환하여 실질적인 계산 희소성을 달성한다.

다섯 개의 대규모 벤치마크에 대한 포괄적인 실험을 통해, YOLO-Master가 뛰어난 효율성과 함께 최신(state-of-the-art) 성능을 달성함을 입증하였다. 이는 희소 MoE 아키텍처가 밀집 예측(dense prediction) 과제에도 성공적으로 적용될 수 있음을 보여주며, 동적 전문가 선택이 정확도와 효율성을 동시에 향상시킨다는 점을 실증한다. 향후 본 접근법은 객체 탐지를 넘어 다른 시각 인식 과제들로 확장될 수 있으며, 조건부 계산을 활용한 적응적 신경망 아키텍처를 통해 자원 제약 환경에서도 효율적인 실시간 비전 시스템을 구현하는 데 중요한 기반을 제공할 것이다.

[LW-DETR: A Transformer Replacement to YOLO for Real-Time Detection

In this paper, we present a light-weight detection transformer, LW-DETR, which outperforms YOLOs for real-time object detection. The architecture is a simple stack of a ViT encoder, a projector, and a shallow DETR decoder. Our approach leverages recent adv

arxiv.org](https://arxiv.org/abs/2406.03459)

LW-DETR: 실시간 객체 검출을 위한 YOLO 대체 Transformer

Qiang Chen
(동등 기여, † 교신저자)

Xiangbo Su, Xinyu Zhang, Jian Wang, Jiahui Chen, Yunpeng Shen,
Chuchu Han, Ziliang Chen, Weixiang Xu, Fanrong Li, Shan Zhang,
Kun Yao, Errui Ding, Gang Zhang, Jingdong Wang

초록 (Abstract)

본 논문에서는 실시간 객체 검출(real-time object detection)을 위해 YOLO 계열을 능가하는 경량 검출 트랜스포머 LW-DETR를 제안한다. 제안하는 아키텍처는 ViT 인코더(ViT encoder), 프로젝터(projector), 그리고 얕은(shallow) DETR 디코더로 구성된 단순한 스택 구조를 가진다.

본 접근법은 최근의 다양한 고급 기법들을 효과적으로 활용한다. 구체적으로는 개선된 손실 함수와 사전학습(pretraining)과 같은 학습 효율 향상 기법(training-effective techniques)을 적용하고, ViT 인코더의 연산 복잡도를 줄이기 위해 윈도우 기반(window) 어텐션과 글로벌 어텐션을 교차(interleaved)로 사용하는 구조를 도입한다.

또한 ViT 인코더에서 다중 수준(multi-level)의 feature map을 집계하고, 인코더 내부의 중간(feature maps at intermediate layers) 및 최종 feature map을 함께 결합함으로써 보다 풍부한 표현력을 갖는 feature map을 형성한다. 더 나아가, window-major 방식의 feature map 구성을 제안하여 interleaved attention 연산의 효율을 향상시킨다.

실험 결과, 제안한 방법은 COCO 및 기타 벤치마크 데이터셋에서 YOLO 및 그 변형 모델을 포함한 기존 실시간 객체 검출기들을 전반적으로 능가하는 성능을 보임을 확인하였다. 코드와 사전 학습된 모델은 다음 링크에서 공개되어 있다.
https://github.com/Atten4Vis/LW-DETR

[GitHub - Atten4Vis/LW-DETR: This repository is an official implementation of the paper “LW-DETR: A Transformer Replacement to YO

This repository is an official implementation of the paper “LW-DETR: A Transformer Replacement to YOLO for Real-Time Detection”. - Atten4Vis/LW-DETR

github.com](https://github.com/Atten4Vis/LW-DETR)

키워드 (Keywords)

객체 검출(Object Detection), 실시간 검출(Real-Time Detection), 트랜스포머(Transformer)

그림 1 설명 (Figure 1)

제안하는 방법은 기존의 최신 실시간 객체 검출기(SoTA)를 능가하는 성능을 보인다. x축은 추론 시간(inference time)을, y축은 COCO val2017 기준 mAP 점수를 나타낸다. 모든 모델은 Objects365 데이터셋으로 사전학습(pretraining)된 상태에서 학습되었다. YOLO, RTMDet 등의 기존 모델에 대해서는 NMS 후처리 시간이 포함되어 있으며, 이는 공식 구현 설정을 기반으로 COCO val2017에서 측정되었다. 또한, 잘 튜닝된 NMS 후처리 설정을 적용한 경우는 “*”로 표시하였다.

2. 관련 연구 (Related Work)

실시간 객체 검출 (Real-time object detection)

실시간 객체 검출은 다양한 실제 응용 분야에서 폭넓게 활용되고 있다 [31, 18, 25, 30, 49].
YOLO-NAS [1], YOLOv8 [29], RTMDet [46]와 같은 최신(state-of-the-art) 실시간 객체 검출기들은 초기 YOLO [50]에 비해 크게 발전하였으며, 그 배경에는 검출 프레임워크의 개선 [56, 20], 아키텍처 설계 [2, 33, 32, 65, 16, 59], 데이터 증강 기법 [69, 2, 20], 학습 기법 [20, 29, 1], 그리고 손실 함수 설계 [38, 68, 73] 등이 있다.

이러한 기존 실시간 검출기들은 대부분 합성곱(convolution) 기반 구조에 의존한다. 반면, 본 논문에서는 아직 충분히 탐구되지 않은 트랜스포머 기반(transformer-based) 실시간 객체 검출 해법을 연구 대상으로 삼는다.

객체 검출을 위한 ViT (ViT for object detection)

Vision Transformer(ViT) [17, 66]는 이미지 분류 분야에서 뛰어난 성능을 보였다. ViT를 객체 검출에 적용할 경우, 메모리 사용량과 연산 비용을 줄이기 위해 일반적으로 윈도우 어텐션(window attention) [17, 43]이나 계층적(hierarchical) 아키텍처 [62, 43, 70, 21]가 활용된다.

UViT [8]는 점진적 윈도우 어텐션(progressive window attention)을 사용하며, ViTDet [36]는 사전 학습된 plain ViT에 interleaved window 및 global attention [37]을 적용한다. 본 연구의 접근법은 ViTDet을 따라 interleaved window 및 global attention을 사용하되, 추가적으로 window-major 순서의 feature map 구성 방식을 도입하여 메모리 재배치(permutation)에 따른 비용을 줄인다.

DETR 및 그 변형들 (DETR and its variants)

Detection Transformer(DETR)는 anchor 생성 [51]이나 비최대 억제(non-maximum suppression, NMS) [24]와 같은 다수의 수작업(hand-crafted) 구성 요소를 제거한 end-to-end 객체 검출 방법이다. 이후 DETR을 개선하기 위한 다양한 후속 연구들이 제안되었으며, 여기에는 아키텍처 설계 [74, 47, 19, 67], object query 설계 [63, 41, 11], 학습 기법 [35, 67, 6, 27, 48, 7, 75], 그리고 손실 함수 개선 [42, 3] 등이 포함된다.

또한 연산 복잡도를 줄이기 위해 아키텍처 설계 [40, 34], 연산 최적화 [74], 가지치기(pruning) [53, 72], 지식 증류(distillation) [5, 9, 5, 64] 등 다양한 시도가 이루어졌다. 본 논문의 관심사는 이러한 기존 방법들이 충분히 탐구하지 않은 영역, 즉 실시간 객체 검출을 위한 단순한(simple) DETR 기반 베이스라인을 구축하는 데 있다.

동시 연구 (Concurrent work)

본 연구와 거의 동시에, RT-DETR [45] 역시 DETR 프레임워크를 실시간 객체 검출에 적용하였으며, 특히 CNN 백본을 인코더로 사용하는 구조에 초점을 맞추었다. 다만, 상대적으로 대형 모델 위주의 연구가 이루어졌고, 초소형(tiny) 모델에 대한 연구는 부족한 편이다. 이에 비해, 본 논문의 LW-DETR는 plain ViT 백본과 DETR 프레임워크가 실시간 객체 검출에 적용 가능한지를 탐구한다는 점에서 차별성을 가진다.

그림 2 설명 (Figure 2)

다중 수준 feature map 집계와 interleaved window 및 global attention을 사용하는 트랜스포머 인코더의 예시를 보여준다. 설명의 명확성을 위해 FFN과 LayerNorm 계층은 그림에서 생략되었다.

3. LW-DETR

3.1 아키텍처 (Architecture)

LW-DETR는 ViT 인코더(ViT encoder), 프로젝터(projector), 그리고 DETR 디코더(DETR decoder)로 구성된다.

인코더 (Encoder)

본 연구에서는 객체 검출용 인코더로 ViT를 채택한다. 일반적인 plain ViT [17]는 패치화(patchification) 계층과 다수의 트랜스포머 인코더 계층으로 구성된다. 초기 ViT의 트랜스포머 인코더 계층은 모든 토큰에 대해 글로벌 자기어텐션(global self-attention)과 FFN 계층을 포함한다. 그러나 글로벌 자기어텐션은 토큰(패치) 수에 대해 이차(quadratic) 시간 복잡도를 가지므로 계산 비용이 매우 크다.

이를 완화하기 위해, 우리는 일부 트랜스포머 인코더 계층에서 윈도우 자기어텐션(window self-attention)을 적용하여 계산 복잡도를 줄인다(자세한 내용은 3.4절 참조). 또한 인코더 내부의 중간 계층(feature maps at intermediate layers)과 최종 계층의 feature map, 그리고 다중 수준(multi-level) feature map을 집계(aggregation)하여, 보다 강력한 인코딩 feature map을 형성한다. 이러한 인코더 구조의 예시는 그림 2에 제시되어 있다.

디코더 (Decoder)

디코더는 여러 개의 트랜스포머 디코더 계층으로 구성된 스택 구조이다. 각 계층은 자기어텐션(self-attention), 교차어텐션(cross-attention), 그리고 FFN으로 이루어진다. 계산 효율성을 위해 deformable cross-attention [74]을 채택한다.

기존 DETR 및 그 변형 모델들은 일반적으로 6개의 디코더 계층을 사용한다. 반면, 본 구현에서는 3개의 트랜스포머 디코더 계층만을 사용한다. 이를 통해 디코더 추론 시간을 1.4 ms에서 0.7 ms로 감소시킬 수 있었으며, 이는 tiny 버전 기준으로 나머지 구성 요소가 차지하는 1.3 ms의 시간 비용과 비교했을 때 매우 유의미한 절감이다.

객체 쿼리(object query)는 혼합 쿼리 선택 방식(mixed-query selection scheme) [67]을 사용하여 콘텐츠 쿼리(content query)와 공간 쿼리(spatial query)의 합으로 구성한다. 콘텐츠 쿼리는 DETR과 유사하게 학습 가능한 임베딩이다. 공간 쿼리는 2단계(two-stage) 방식에 기반하여 생성되며, 구체적으로는 Projector의 마지막 계층에서 상위 K개의 feature를 선택한 뒤 bounding box를 예측하고, 해당 박스를 임베딩으로 변환하여 공간 쿼리로 사용한다.

프로젝터 (Projector)

프로젝터는 인코더와 디코더를 연결하는 역할을 한다. 인코더에서 집계된(encoded) feature map을 입력으로 받아 디코더에 전달한다. 본 논문에서는 YOLOv8 [29]에 구현된 C2f 블록(cross-stage partial DenseNet [26, 60]의 확장 형태)을 프로젝터로 사용한다.

LW-DETR의 large 및 xlarge 버전에서는, 프로젝터가 두 개의 스케일 (1/8, 1/32) feature map을 출력하도록 수정하고, 이에 맞추어 멀티스케일 디코더(multi-scale decoder) [74]를 사용한다. 이때 프로젝터는 두 개의 병렬(parallel) C2f 블록으로 구성된다. 하나는 deconvolution을 통해 업샘플링된 1/8 feature map을 처리하고, 다른 하나는 stride convolution을 통해 다운샘플링된 1/32 feature map을 처리한다. 단일 스케일 프로젝터와 멀티스케일 프로젝터의 전체 파이프라인은 그림 3에 제시되어 있다.

목적 함수 (Objective function)

분류 손실로는 IoU-aware classification loss, 즉 IA-BCE loss [3]를 사용한다.

그림 3 설명 (Figure 3)

(a) tiny, small, medium 모델을 위한 단일 스케일 프로젝터,
(b) large, xlarge 모델을 위한 멀티스케일 프로젝터 구조를 보여준다.

3.2 구체화 (Instantiation)

우리는 tiny, small, medium, large, xlarge의 다섯 가지 실시간 검출기 인스턴스를 구성한다. 각 설정의 세부 사항은 표 1에 정리되어 있다.

tiny 검출기는 6개의 계층으로 이루어진 트랜스포머 인코더를 사용한다. 각 계층은 다중 헤드 자기어텐션(multi-head self-attention) 모듈과 FFN(feed-forward network)으로 구성된다. 각 이미지 패치는 192차원의 표현 벡터로 선형 매핑된다. 프로젝터는 256 채널의 단일 스케일 feature map을 출력하며, 디코더에는 100개의 객체 쿼리(object queries)가 사용된다.

small 검출기는 10개의 인코더 계층과 300개의 객체 쿼리를 사용한다. 입력 패치 표현 차원과 프로젝터 출력 차원은 tiny와 동일하게 각각 192, 256이다. medium 검출기는 small과 유사하지만, 입력 패치 표현 차원이 384로 증가하며 이에 따라 인코더의 차원도 384로 설정된다.

large 검출기는 10계층 인코더를 사용하고, 두 개의 스케일 feature map을 활용한다(3.1절의 Projector 참조). 입력 패치 표현 차원과 프로젝터 출력 차원은 각각 384, 384이다. xlarge 검출기는 large와 유사하되, 입력 패치 표현 차원이 768이라는 점이 다르다.

3.3 효과적인 학습 (Effective Training)

추가적인 감독 신호 (More supervision)

DETR 학습을 가속화하기 위해 더 많은 감독 신호(supervision)를 도입하는 다양한 기법들이 제안되어 왔다 [6, 27, 75]. 본 연구에서는 추론 과정(inference)을 변경하지 않으면서도 구현이 간단한 Group DETR [6]를 채택한다. [6]을 따라, 학습 시에는 가중치를 공유하는 13개의 병렬 디코더를 사용한다. 각 디코더에 대해, 프로젝터의 출력 feature로부터 각 그룹에 대응하는 객체 쿼리(object query)를 생성한다. 추론 단계에서는 [6]과 동일하게 기본(primary) 디코더 하나만을 사용한다.

Objects365 사전학습 (Pretraining on Objects365)

사전학습 과정은 두 단계로 구성된다.
첫 번째 단계에서는, 사전학습된 모델을 기반으로 MIM(Masked Image Modeling) 기법인 CAEv2 [71]를 사용하여 Objects365 데이터셋에서 ViT를 사전학습한다. 이 과정만으로도 COCO 기준 0.7 mAP의 성능 향상을 얻을 수 있다.

두 번째 단계에서는 [67, 7]을 따라, Objects365 데이터셋에서 감독 학습(supervised learning) 방식으로 인코더를 재학습하고, 동시에 프로젝터와 디코더를 학습한다.

3.4 효율적인 추론 (Efficient Inference)

우리는 간단한 수정 [37, 36]을 통해 interleaved window attention과 global attention을 적용한다. 즉, 일부 글로벌 자기어텐션(global self-attention) 계층을 윈도우 자기어텐션(window self-attention) 계층으로 대체한다. 예를 들어, 6 계층으로 구성된 ViT의 경우, 첫 번째, 세 번째, 다섯 번째 계층을 윈도우 어텐션으로 구현한다. 윈도우 어텐션은 feature map을 겹치지 않는(non-overlapping) 윈도우로 분할한 뒤, 각 윈도우 내부에서만 자기어텐션을 수행하는 방식이다.

우리는 interleaved attention을 효율적으로 수행하기 위해 window-major feature map 구성 방식을 채택한다. 이 방식은 feature map을 윈도우 단위로 정렬한다. 기존 ViTDet 구현 [36]에서는 feature map을 행 우선(row-major) 방식으로 정렬하는데, 이 경우 윈도우 어텐션을 적용하기 위해서는 row-major에서 window-major로 변환하는 비용이 큰 permutation 연산이 필요하다. 반면, 본 구현에서는 이러한 연산을 제거함으로써 모델의 지연 시간(latency)을 줄인다.

표 2. 효과적인 학습 및 효율적인 추론 기법의 영향

글로벌 어텐션만을 사용하는 초기 검출기부터 최종 LW-DETR-small 모델까지, 단계별로 적용한 기법들의 영향을 실험적으로 분석하였다. ‘†’는 ViTDet 구현을 사용했음을 의미한다. 마지막 행을 제외한 모든 결과는 45K iteration(12epoch에 해당)에서 측정되었으며, 마지막 행은 180K iteration으로 학습한 최종 모델의 결과이다.

1️⃣ 먼저 핵심 요약부터

이 문단의 요지는 딱 하나입니다.

“윈도우 어텐션과 글로벌 어텐션을 섞어 쓸 때,
feature map을 처음부터 ‘윈도우 기준(window-major)’으로 저장하면
비싼 메모리 재배열(permutation)을 안 해도 된다.”

성능(mAP) 얘기가 아니라, 순수하게 latency 줄이는 엔지니어링 트릭입니다.

2️⃣ 기본 전제: feature map은 결국 ‘1차원 배열’로 저장된다

우리가 흔히 말하는 4×4 feature map은 논리적 구조이고,
GPU 메모리 안에서는 결국 이렇게 쭉 늘어진 1차원 배열입니다.

4×4 feature map (논리적 모습)

f11 f12 f13 f14
f21 f22 f23 f24
f31 f32 f33 f34
f41 f42 f43 f44

3️⃣ Row-major (행 우선) 정렬이란?

? 우리가 보통 쓰는 방식 (PyTorch 기본)

[f11, f12, f13, f14,
 f21, f22, f23, f24,
 f31, f32, f33, f34,
 f41, f42, f43, f44]

이게 row-major입니다.

• 한 행(row)을 끝까지 읽고
• 다음 행으로 내려감

✅ 장점

• 글로벌 어텐션에 바로 사용 가능
  (어차피 모든 토큰을 한 번에 보니까)

❌ 문제

• 윈도우 어텐션에는 부적합

4️⃣ 윈도우 어텐션은 “2×2 블록 단위”로 묶어야 한다

윈도우 크기가 2×2라면, 우리가 원하는 토큰 묶음은 이거죠:

윈도우 1: f11 f12
         f21 f22

윈도우 2: f13 f14
         f23 f24

윈도우 3: f31 f32
         f41 f42

윈도우 4: f33 f34
         f43 f44

즉, 윈도우 하나가 연속된 메모리에 있어야 attention 계산이 빠릅니다.

5️⃣ 그래서 나온 개념: window-major 정렬

window-major에서는 처음부터 이렇게 저장합니다

[f11, f12, f21, f22,   ← window 1
 f13, f14, f23, f24,   ← window 2
 f31, f32, f41, f42,   ← window 3
 f33, f34, f43, f44]   ← window 4

이게 논문에서 말하는 식 (4) 입니다.

6️⃣ 이게 왜 중요한가? (? 핵심)

ViTDet (기존 방식)

• feature map은 row-major
• 윈도우 어텐션 쓸 때마다:
  • row-major → window-major
  • permutation (메모리 재배열) 발생
• 이게 생각보다 매우 비쌈
  • FLOPs에 잘 안 잡힘
  • latency에 직격타

LW-DETR (이 논문)

• 처음부터 window-major로 저장
• 그러면:
  • ? 윈도우 어텐션: 바로 사용
  • ? 글로벌 어텐션: 그냥 전체를 한 번에 보면 됨
• ❗ 중간 permutation 연산이 아예 없음

→ 그래서 latency가 확 줄어듦
(표 2에서 3.9ms → 2.9ms) —

7️⃣ “그럼 글로벌 어텐션은 문제 없나?”

여기서 중요한 직관 하나:

글로벌 어텐션은
**“모든 토큰을 다 보겠다”**는 거지
**“토큰 순서가 꼭 row-major여야 한다”**는 게 아님

즉,

• window-major든
• row-major든

전체 토큰 집합만 유지되면 결과는 동일합니다.

8️⃣ 한 줄로 다시 정리하면

• row-major → 인간 친화적, 윈도우 어텐션엔 불리
• window-major → GPU/윈도우 어텐션 친화적
• LW-DETR은
  • attention 구조는 ViTDet과 유사

  • 하지만 메모리 레이아웃을 바꿔서 실제 속도를 줄임

9️⃣ 왜 이게 “논문 포인트”가 되나?

이건 새로운 모델 구조가 아니라,

• ❌ “Transformer를 가볍게 만들었다”
• ❌ “Attention을 새로 설계했다”

가 아니라,

✅ “같은 연산을 더 싸게 돌리는 방법”

그래서 이 논문 전체 톤이

• 이론적 새로움 ❌
• 실시간 엔지니어링 최적화 ✅

인 이유이기도 합니다.

3.5 실증적 분석 (Empirical Study)

본 절에서는 효과적인 학습 기법(effective training)과 효율적인 추론 기법(efficient inference)이 DETR 성능을 어떻게 개선하는지를 실험적으로 분석한다. 예제로는 small 검출기를 사용한다. 본 분석은 다음과 같은 초기 검출기(initial detector)를 기준으로 수행된다. 해당 초기 모델에서는 인코더의 모든 계층이 글로벌 어텐션으로 구성되어 있으며, 인코더의 마지막 계층의 feature map만을 출력으로 사용한다. 실험 결과는 표 2에 제시되어 있다.

지연 시간(latency) 개선

ViTDet에서 채택한 interleaved window 및 global attention은, 연산 비용이 큰 글로벌 어텐션을 상대적으로 저렴한 윈도우 어텐션으로 대체함으로써 연산량을 23.0 GFlops에서 16.6 GFlops로 감소시킨다. 이는 글로벌 어텐션을 윈도우 어텐션으로 대체하는 전략의 이점을 입증한다.

그러나 실제 지연 시간(latency)은 감소하지 않았으며, 오히려 0.2 ms 증가하였다. 이는 row-major feature map 구성 방식에서 윈도우 어텐션을 수행하기 위해 추가적인 비용이 큰 permutation 연산이 필요하기 때문이다. 반면, window-major feature map 구성 방식을 적용하면 이러한 부작용이 완화되며, 지연 시간이 3.7 ms에서 2.9 ms로 감소하여 총 0.8 ms의 큰 개선 효과를 얻을 수 있다.

성능(mAP) 개선

다중 수준 feature 집계(multi-level feature aggregation)는 0.7 mAP의 성능 향상을 가져온다. 또한 IoU-aware 분류 손실과 추가적인 supervision을 적용함으로써 mAP는 각각 34.7 → 35.4, 34.7 → 38.4로 향상된다.

박스 회귀 대상에 대한 bounding box 재파라미터화(reparameterization) 40는 소폭의 성능 개선을 제공한다. 가장 큰 성능 향상은 Objects365 데이터셋을 이용한 사전학습에서 나타나며, 총 8.7 mAP의 개선을 달성한다. 이는 트랜스포머가 대규모 데이터로부터 실질적인 이점을 얻을 수 있음을 시사한다. 더 긴 학습 스케줄을 적용하면 추가적인 성능 향상이 가능하며, 이를 통해 최종 LW-DETR-small 모델이 완성된다.

4. 실험 (Experiments)

4.1 설정 (Settings)

데이터셋 (Datasets)

사전학습(pretraining)에 사용한 데이터셋은 Objects365 [54]이다. [67, 7]을 따라, 탐지 사전학습을 위해 train 세트의 이미지와 validate 세트 중 처음 5k 이미지를 제외한 나머지 이미지를 결합하여 사용한다. 평가는 표준 COCO2017 [39] 데이터 분할 정책을 따르며, COCO val2017에서 수행한다.

데이터 증강 (Data augmentations)

DETR 및 그 변형들에서 사용된 데이터 증강 기법을 채택한다 [4, 74]. 학습 시에는 실시간 객체 검출 알고리즘들 [1, 29, 46]을 따라 이미지를 무작위로 정사각형 크기로 리사이즈한다. 성능 평가 및 추론 시간 측정 시에는 동일한 실시간 검출 알고리즘들 [1, 29, 46]에서 사용하는 평가 방식에 따라 이미지를 640 × 640 크기로 리사이즈한다. 또한 이미지 크기가 윈도우 크기로 나누어 떨어지도록 하기 위해 10 × 10의 윈도우 크기를 사용한다.

구현 세부 사항 (Implementation details)

Objects365 [54]에서 30 epoch 동안 검출 모델을 사전학습한 뒤, COCO [39]에서 총 180K iteration 동안 파인튜닝한다. 학습 안정화를 위해 EMA(exponential moving average) 기법 [55]을 적용하며, decay 값은 0.9997 이다. 옵티마이저로는 AdamW [44]를 사용한다.

사전학습 단계에서는 프로젝터와 DETR 디코더의 초기 학습률을 4 × e⁻⁴, ViT 백본의 초기 학습률을 6 × e⁻⁴ 로 설정하고, 배치 크기는 128 로 설정한다. 파인튜닝 단계에서는 프로젝터와 DETR 디코더의 초기 학습률을 1 × e⁻⁴, ViT 백본의 초기 학습률을 1.5 × e⁻⁴ 로 설정한다. 배치 크기는 tiny, small, medium 모델에서 32, large 및 xlarge 모델에서는 16 으로 설정한다.

총 180K training iteration은 tiny, small, medium 모델의 경우 50 epoch, large 및 xlarge 모델의 경우 25 epoch 에 해당한다. weight decay, ViT 인코더에서의 layer-wise decay, 그리고 파인튜닝 과정에서의 component-wise decay [7]와 같은 추가적인 세부 사항은 보충 자료(Supplementary Material)에 제시되어 있다.

추론 시간 측정 (Inference latency measurement)

추론 지연 시간(latency)은 COCO val2017에서 batch size 1, fp16 precision, T4 GPU 환경에서 end-to-end 방식으로 측정한다. 실험 환경은 TensorRT-8.6.1, CUDA-11.6, CuDNN-8.7.0으로 구성된다. 효율적인 NMS 구현을 위해 TensorRT의 efficientNMSPlugin을 사용한다. 모든 실시간 검출기의 성능과 end-to-end latency는 공식 구현(official implementation)을 사용하여 측정한다.

표 3. 최신 실시간 객체 검출기와의 비교

RTMDet [46], YOLOv8 [29], YOLO-NAS [1]를 포함한 최신 실시간 객체 검출기들과의 비교 결과를 제시한다. 전체 지연 시간(total latency)은 COCO val2017에서 end-to-end 방식으로 측정되며, 모델 추론 시간과 비-DETR 계열 모델에 필요한 후처리 단계인 NMS 시간을 모두 포함한다. NMS에 대해서는 두 가지 설정을 사용해 전체 지연 시간을 측정한다: 공식 구현 설정과 튜닝된 score threshold 설정.

LW-DETR은 NMS가 필요 없기 때문에, 전체 지연 시간은 모델 추론 시간과 동일하다. 표에서 ‘pretraining’은 Objects365로 사전학습한 결과임을 의미한다.

4.2 결과 (Results)

표 3에는 다섯 가지 LW-DETR 모델의 성능 결과를 제시한다. LW-DETR-tiny는 T4 GPU 기준으로 500 FPS에서 42.6 mAP를 달성한다. LW-DETR-small과 LW-DETR-medium은 각각 340 FPS 이상에서 48.0 mAP, 178 FPS 이상에서 52.5 mAP를 기록한다. large와 xlarge 모델은 각각 113 FPS에서 56.1 mAP, 52 FPS에서 58.3 mAP를 달성한다.

최신 실시간 객체 검출기와의 비교

표 3에서는 YOLO-NAS [1], YOLOv8 [29], RTMDet [46]를 포함한 대표적인 최신 실시간 객체 검출기들과 LW-DETR 모델을 비교한다. 사전학습(pretraining) 유무와 관계없이, LW-DETR은 기존의 최신 실시간 검출기들을 일관되게 능가함을 확인할 수 있다. 특히 tiny부터 xlarge까지 모든 스케일에서, 지연 시간(latency)과 검출 성능(mAP) 측면 모두에서 YOLOv8과 RTMDet 대비 명확한 우위를 보인다.

신경망 아키텍처 탐색(NAS)을 통해 설계된 기존 최고 수준의 방법 중 하나인 YOLO-NAS와 비교하면, LW-DETR은 small과 medium 스케일에서 각각 0.4 mAP, 0.9 mAP 더 높은 성능을 보이며, 속도 또한 각각 1.6배, 약 1.4배(∼1.4×) 빠르다. 모델 크기가 커질수록 이러한 개선 효과는 더욱 두드러지며, large 스케일에서는 동일한 속도 조건에서 3.8 mAP의 성능 향상을 달성한다.

또한 NMS 과정에서 분류 점수 임계값(score threshold)을 정교하게 튜닝하여 다른 방법들의 성능을 추가로 개선하고, 그 결과를 표의 오른쪽 두 열에 보고한다. 이 경우 성능은 크게 향상되지만, 여전히 LW-DETR에는 미치지 못한다. 저자들은 NAS, 데이터 증강, 의사 라벨(pseudo-labeled) 데이터, 지식 증류(knowledge distillation) 등 기존 실시간 검출기들이 활용한 다양한 기법들 [46, 29, 1]을 LW-DETR에도 적용할 경우, 추가적인 성능 향상이 가능할 것으로 기대한다.

동시 연구(concurrent works)와의 비교

실시간 객체 검출 분야의 동시 연구인 YOLO-MS [12], Gold-YOLO [58], RT-DETR [45], YOLOv10 [57]과 LW-DETR을 비교한다. YOLO-MS는 다중 스케일 feature 표현을 강화하여 성능을 개선하며, Gold-YOLO는 다중 스케일 feature 융합을 강화하고 MAE 방식의 사전학습 [22]을 적용하여 YOLO의 성능을 향상시킨다. YOLOv10은 효율성과 정확도를 목표로 한 여러 모듈을 설계하였다. RT-DETR [45]는 LW-DETR과 밀접하게 연관된 방법으로, 동일하게 DETR 프레임워크를 기반으로 하지만, 백본, 프로젝터, 디코더, 학습 방식에서 본 논문과 여러 차이를 가진다.

비교 결과는 표 4와 그림 4에 제시되어 있다. LW-DETR은 검출 성능과 지연 시간 사이에서 일관되게 더 나은 균형을 달성한다. YOLO-MS와 Gold-YOLO는 모든 모델 스케일에서 LW-DETR 대비 명확히 열세를 보인다. LW-DETR-large는 RT-DETR-R50 대비 0.8 mAP 더 높은 성능을 보이면서도 더 빠른 속도(8.8 ms vs. 9.9 ms)를 달성한다. 다른 스케일에서도 LW-DETR은 RT-DETR보다 전반적으로 더 우수한 결과를 보인다. 최신 방법인 YOLOv10-X [57]와 비교해도, LW-DETR-large는 더 높은 성능(56.1 mAP vs. 54.4 mAP)과 더 낮은 지연 시간(8.8 ms vs. 10.70 ms)을 동시에 달성한다.

표 4. 동시 연구들과의 비교 (COCO 기준)

YOLO-MS [12], Gold-YOLO [58], YOLOv10 [57], RT-DETR [45]와의 비교 결과를 제시한다. YOLO-MS와 Gold-YOLO에 대해서는 NMS에 대해 공식 구현 설정과 튜닝된 score threshold 설정의 두 가지 경우로 전체 지연 시간을 측정하였다. YOLOv10의 결과는 공식 논문 [57]의 수치를 보고한다. RT-DETR은 DETR 기반 방법으로 NMS가 필요 없으므로, 전체 지연 시간은 모델 지연 시간과 동일하다. RT-DETR의 경우, 논문 [45]에 보고된 추론 시간과 본 실험 환경에서 측정된 시간 중 더 빠른 값을 사용하였다. 전반적으로 LW-DETR이 가장 우수한 결과를 보인다. ‘pretraining’은 Objects365로 사전학습한 결과임을 의미한다.

그림 4 설명 (Figure 4)

본 접근법은 동시 연구 방법들을 능가하는 성능을 보인다. x축은 추론 시간(ms), y축은 COCO val2017 기준 mAP를 나타낸다. LW-DETR, RT-DETR [45], YOLO-MS [12], Gold-YOLO [58]는 Objects365 사전학습을 적용하였으며, YOLOv10 [57]은 사전학습을 사용하지 않았다. YOLO-MS와 Gold-YOLO에 대해서는 NMS 후처리 시간이 포함되어 있으며, 이는 공식 구현 설정과 잘 튜닝된 NMS 설정(“*”로 표시)을 기준으로 COCO val2017에서 측정되었다.

4.3 논의 (Discussions)

NMS 후처리 (NMS post-processing)

DETR 방식은 NMS(non-maximum suppression) 후처리가 필요 없는 end-to-end 알고리즘이다. 반면, YOLO-NAS [1], YOLOv8 [29], RTMDet [46]와 같은 기존 실시간 객체 검출기들은 NMS 후처리 [24]가 필요하다. 이 NMS 과정은 추가적인 시간을 소요한다. 본 논문에서는 실제 응용 환경에서 고려되는 end-to-end 추론 비용을 측정하기 위해, 이러한 추가 시간을 모두 포함하였다. 공식 구현에서 사용되는 NMS 설정을 적용한 결과는 그림 1과 표 3에 제시되어 있다.

우리는 NMS를 사용하는 방법들에 대해, NMS 후처리 단계에서의 분류 점수 임계값(classification score threshold)을 조정함으로써 추가적인 개선을 시도하였다. YOLO-NAS, YOLOv8, RTMDet에서 기본적으로 사용되는 점수 임계값 0.001 은 높은 mAP를 제공하지만, 매우 많은 수의 박스를 생성하여 지연 시간이 크게 증가하는 문제를 야기한다. 특히 모델이 작은 경우, end-to-end 지연 시간은 NMS 지연 시간에 의해 지배되는 현상이 나타난다.

이에 점수 임계값을 조정하여 mAP와 지연 시간 간의 균형을 맞추었다. 그 결과, mAP는 약 −0.1 mAP에서 −0.5 mAP 정도로 소폭 감소하는 반면, 실행 시간은 크게 감소하였다. 구체적으로, RTMDet와 YOLOv8에서는 4∼5 ms, YOLO-NAS에서는 1∼2 ms 수준의 지연 시간 감소가 관찰되었다. 이는 점수 임계값 조정으로 인해 NMS 단계에 입력되는 예측 박스의 수가 감소했기 때문이다. 서로 다른 점수 임계값에 따른 상세한 결과와 COCO val2017 전반에 걸친 잔여 박스 수 분포는 보충 자료(Supplementary Material)에 제시되어 있다.

그림 1은 잘 튜닝된 NMS 절차를 적용한 다른 방법들과의 비교 결과를 보여준다. NMS를 사용하는 방법들의 성능은 개선되었지만, 제안하는 방법은 여전히 다른 방법들을 능가한다. 두 번째로 우수한 방법인 YOLO-NAS는 신경망 아키텍처 탐색(NAS)을 기반으로 한 알고리즘으로, 제안한 베이스라인과 매우 근접한 성능을 보인다. 저자들은 YOLO-NAS에서 사용된 것과 같은 복잡한 네트워크 아키텍처 탐색 기법이 DETR 접근법에도 잠재적으로 이점을 제공할 수 있으며, 이를 통해 추가적인 성능 향상이 가능할 것으로 기대한다.

표 5. LW-DETR에서의 사전학습(pretraining) 효과

Objects365에서의 사전학습은 LW-DETR의 성능을 크게 향상시킨다. 이러한 관찰 결과는 대규모 모델을 사용하는 기존 방법들 [67, 7, 75]에서 보고된 결과와도 일관된다.

표 6. 비 end-to-end 검출기에서 사전학습과 학습 epoch 수의 영향

사전학습 유무와 학습 epoch 수 증가에 따른 비 end-to-end 검출기들의 성능 변화를 비교한다.

사전학습 (Pretraining)

우리는 사전학습의 효과를 실증적으로 분석하였다. 표 5에 제시된 결과에 따르면, 사전학습은 제안한 방법의 성능을 크게 향상시키며, 평균적으로 5.5 mAP의 개선을 가져온다. tiny 모델은 6.1 mAP, xlarge 모델은 5.3 mAP의 성능 향상을 보인다. 이는 대규모 데이터셋에서의 사전학습이 DETR 기반 모델에 매우 유익함을 시사한다.

또한 본 논문에서 사용한 학습 절차가 합성곱 인코더를 사용하는 DETR 접근법에도 적용 가능함을 보인다. 이를 위해 트랜스포머 인코더를 ResNet-18과 ResNet-50으로 대체하였다. 표 5에서 확인할 수 있듯이, 이러한 LW-DETR 변형들은 지연 시간과 mAP 측면에서 트랜스포머 인코더를 사용하는 LW-DETR과 유사한 성능을 보이며, 사전학습 역시 트랜스포머 기반 LW-DETR과 유사하거나 다소 낮은 수준의 이점을 제공한다.

한편, 비 end-to-end 검출기에서의 사전학습 효과도 함께 분석하였다. 표 3, 표 4, 표 6의 결과에 따르면, Objects365에서의 사전학습은 비 end-to-end 검출기 [46, 29, 12, 58]에서는 제한적인 성능 향상만을 제공하는 것으로 보인다. 이는 사전학습이 DETR 기반 검출기에서 큰 성능 향상을 가져오는 현상과는 대조적이다. 비 end-to-end 검출기들은 YOLOv8의 경우 300 epoch, 심지어 500 epoch까지 학습하므로, 이러한 제한적인 성능 향상이 학습 epoch 수와 관련이 있는지를 추가로 살펴보았다.

이에 사전학습 가중치로부터 얻는 성능 향상을 학습 epoch 수와 함께 비교하였다. 표 6에서 볼 수 있듯이, 학습 epoch이 증가할수록 사전학습으로 인한 성능 향상은 점차 감소하며, 이는 앞선 가설을 부분적으로 뒷받침한다. 다만 이러한 분석은 아직 초기적인 단계(preliminary step)에 해당하며, 사전학습 효과의 차이가 발생하는 근본적인 원인을 규명하기 위해서는 추가적인 연구가 필요하다고 판단한다.

4.4 추가 데이터셋에 대한 실험 (Experiments on more datasets)

LW-DETR의 일반화 성능(generalizability)을 추가적인 객체 검출 데이터셋에서 평가한다. 우리는 두 가지 평가 방식을 고려한다. 하나는 도메인 간 평가(cross-domain evaluation)이고, 다른 하나는 다중 도메인 파인튜닝(multi-domain finetuning)이다.

도메인 간 평가에서는 COCO에서 학습된 실시간 검출기를 Unidentified Video Objects (UVO) [61] 데이터셋에서 직접 평가한다. 다중 도메인 파인튜닝의 경우, 사전학습된 실시간 검출기를 Roboflow 100 (RF100) [13] 다중 도메인 검출 데이터셋에서 파인튜닝한다. 모든 모델에 대해 각 데이터셋별로 학습률과 같은 하이퍼파라미터에 대해 거친 탐색(coarse search)을 수행하였다. 보다 자세한 설정은 보충 자료(Supplementary Material)를 참고한다.

표 7. UVO에서의 도메인 간 평가 (Cross-domain evaluation)

UVO는 클래스 비의존(class-agnostic) 데이터셋이므로, 클래스 비의존 방식으로 성능을 평가한다. LW-DETR은 다른 검출기들보다 더 높은 AP와 AR을 달성한다.

표 8. RF100에서의 다중 도메인 파인튜닝 (Multi-domain finetuning)

YOLOv5, YOLOv7, RTMDet, YOLOv8, YOLO-NAS를 포함한 기존 실시간 검출기들과 LW-DETR을 RF100의 모든 데이터 도메인에서 비교한다. 회색으로 표시된 항목은 RF100 논문 [13]에서 보고된 결과이다. 데이터 도메인은 항공(aerial), 비디오게임(videogames), 현미경(microscopic), 수중(underwater), 문서(documents), 전자기(electromagnetic), 실세계(real world)로 구성된다. 평가 지표로는 AP50을 사용한다. ‘–’는 YOLO-NAS [1]에서 세부 결과를 보고하지 않았음을 의미한다.

도메인 간 평가 (Cross-domain evaluation)

모델의 일반화 성능을 평가하는 한 가지 방법은, 서로 다른 도메인의 데이터셋에서 직접 성능을 측정하는 것이다. 우리는 클래스 비의존 객체 검출 벤치마크인 UVO [61]를 사용한다. UVO에서는 전체 객체 인스턴스의 57% 가 COCO의 80 개 클래스 중 어느 것에도 속하지 않는다. UVO는 YouTube 영상 기반 데이터셋으로, egocentric 시점이나 강한 모션 블러를 포함하는 등 COCO와는 시각적 특성이 크게 다르다. COCO에서 학습된 모델들(표 3 참조)을 UVO validation split에서 평가하였다.

표 7의 결과에서 볼 수 있듯이, LW-DETR은 경쟁하는 최신 실시간 검출기들보다 우수한 성능을 보인다. 구체적으로, LW-DETR-small은 RTMDet-s, YOLOv8-s, YOLO-NAS-s 중 최고 성능 대비 1.3 mAP, 4.1 AR 더 높은 결과를 달성한다. 또한 recall 측면에서도 소형, 중형, 대형 객체 전반에 걸쳐 더 많은 객체를 검출하는 향상된 능력을 보인다. 이러한 결과는 LW-DETR의 우수성이 COCO에 특화된 튜닝 때문이 아니라, 보다 일반화 가능한 표현을 학습했기 때문임을 시사한다.

다중 도메인 파인튜닝 (Multi-domain finetuning)

또 다른 방법은 서로 다른 도메인의 소규모 데이터셋에서 사전학습된 검출기를 파인튜닝하는 것이다. RF100은 100개의 소규모 데이터셋, 7개의 이미지 도메인, 224k장의 이미지, 829개의 클래스 레이블로 구성되어 있다. 이는 실제 환경 데이터에 대한 모델의 일반화 성능을 평가하는 데 유용하다. 우리는 RF100의 각 소규모 데이터셋에서 실시간 검출기들을 파인튜닝하였다.

표 8의 결과에서, LW-DETR-small은 다양한 도메인 전반에 걸쳐 기존 최신 실시간 검출기들보다 우수한 성능을 보인다. 특히 문서(documents)와 전자기(electromagnetic) 도메인에서는 YOLOv5, YOLOv7, RTMDet, YOLOv8 중 최고 성능 대비 각각 5.7 AP, 5.6 AP 더 높은 성능을 달성한다. LW-DETR-medium은 전체적으로 추가적인 성능 향상을 제공한다. 이러한 결과는 LW-DETR의 범용성과 유연성을 강조하며, 다양한 폐쇄 도메인(closed-domain) 작업에서 강력한 베이스라인으로 자리매김할 수 있음을 보여준다.

5. 한계 및 향후 연구 (Limitation and Future Works)

현재로서는 LW-DETR의 효과를 실시간 객체 검출(real-time detection)에 대해서만 입증하였다. 이는 첫 번째 단계에 해당한다. 오픈 월드 객체 검출(open-world detection)로의 확장이나, 다중 인원 포즈 추정(multi-person pose estimation), 다중 시점 3D 객체 검출(multi-view 3D object detection)과 같은 보다 다양한 비전 과제에 LW-DETR을 적용하는 것은 추가적인 연구가 필요하다. 이러한 방향들은 향후 연구 과제로 남긴다.

6. 결론 (Conclusion)

본 논문은 검출 트랜스포머(detection transformer)가 기존의 실시간 객체 검출기들과 비교하여 경쟁력 있는 성능은 물론, 경우에 따라서는 더 우수한 성능을 달성할 수 있음을 보여준다. 제안한 방법은 구조적으로 단순하면서도 효율적이다. 이러한 성과는 다중 수준 feature 집계와 함께, 학습 효율을 높이는 기법(training-effective techniques)과 추론 효율을 개선하는 기법(inference-efficient techniques)에서 비롯된다. 본 연구에서 얻은 경험이, 향후 트랜스포머 기반 실시간 비전 모델을 설계하는 데 유용한 통찰을 제공할 수 있기를 기대한다.

보충 자료 (Supplementary Material)

A. 실험 세부 사항 (Experimental Details)

본 절에서는 Objects365 [54]에서의 사전학습(pretraining), COCO [39]에서의 파인튜닝(finetuning), Roboflow 100 (RF100) [13]에서의 파인튜닝에 사용된 하이퍼파라미터 설정, 합성곱 인코더(convolutional encoder)의 아키텍처, 그리고 박스 회귀(box regression) 모델링 방식에 대한 세부 내용을 다룬다. 표에서는 표현의 간결함을 위해 LW-DETR의 tiny / small / medium / large / xlarge 버전을 각각 T / S / M / L / X로 표기한다.

A.1 실험 설정 (Experimental settings)

사전학습 설정 (Pretraining settings)

기본적인 사전학습 설정은 표 9에 제시되어 있다. 학습률 감소 스케줄(learning rate drop schedule)은 사용하지 않으며, 초기 학습률을 전체 학습 과정 동안 그대로 유지한다. ViT 인코더에서 윈도우 어텐션(window attention)을 적용할 때에는, 구현의 단순화를 위해 이미지 해상도와 무관하게 윈도우 개수를 16으로 고정한다. 또한 기존 MIM(Masked Image Modeling) 방법들 [22, 10, 71]을 따라 계층별 학습률 감소(layer-wise learning rate decay) [14] 기법을 사용한다.

COCO 실험 설정 (COCO experimental settings)

대부분의 설정은 사전학습 단계에서 사용한 설정을 따른다. 변경된 설정 사항은 표 10에 정리되어 있다. COCO에서 LW-DETR을 파인튜닝할 때에는 컴포넌트별 학습률 감소(component-wise learning rate decay) [7]를 사용하며, 이를 통해 ViT 인코더, 프로젝터(Projector), DETR 디코더에 서로 다른 학습률 스케일을 적용한다.

예를 들어, 컴포넌트별 학습률 감소 값이 0.7인 경우, 학습률 스케일은 다음과 같이 설정된다.

Roboflow 100 실험 설정 (Roboflow 100 experimental settings)

Roboflow 100 (RF100) [13]은 100개의 소규모 데이터셋으로 구성되어 있다. 우리는 Objects365 [54]에서 사전학습된 모델을 기반으로, 이 데이터셋들에서 LW-DETR을 파인튜닝한다. 학습 이미지 수가 충분하지 않기 때문에, 배치 크기를 16으로 설정하고, [13]을 따라 모든 소규모 데이터셋에서 100 epoch 동안 파인튜닝하여 충분한 학습 반복 횟수를 확보한다.

학습률, 인코더 계층별 학습률 감소, 그리고 컴포넌트별 학습률 감소(표 11 참조)는 ‘microscopic’ 도메인에서 거친 탐색(coarse search)을 통해 튜닝한 뒤, 해당 하이퍼파라미터를 다른 데이터셋에도 동일하게 적용한다. 그 외의 하이퍼파라미터는 COCO 파인튜닝 실험과 동일하게 유지한다. 또한 공정한 비교를 위해, RTMDet [46]와 YOLOv8 [29]에 대해서도 동일한 절차를 적용한다.

A.2 합성곱 인코더 설정 (Settings for convolutional encoders)

본 연구에서는 LW-DETR에 합성곱 인코더(convolutional encoder)로 ResNet-18과 ResNet-50도 함께 탐구한다. 인코더의 가중치는 RT-DETR 저장소에서 제공하는 ImageNet [15] 사전학습 가중치를 사용한다.
(참고: https://github.com/lyuwenyu/RT-DETR/issues/42#issue-1860463373)

기존처럼 [1/8, 1/16, 1/32] 스케일의 다중 수준 feature map을 직접 출력하는 대신, 1/16 스케일의 단일 feature map만 출력하도록 간단한 수정을 가한다. 구체적으로,

• 1/32 스케일의 feature map은 업샘플링하여 1/16으로 변환하고,
• 1/8 스케일의 feature map은 다운샘플링하여 1/16으로 변환한 뒤,
• 모든 feature map을 연결(concatenate)한다.

이후, 최종적으로 결합된 feature map의 채널 차원이 지나치게 커지는 것을 방지하기 위해, 추가적인 합성곱 계층을 삽입하여 feature 차원을 줄인다.

A.3 박스 회귀 타깃 재파라미터화 (Box regression target reparameterization)

박스 회귀 타깃 재파라미터화는 입력 proposal을 예측된 박스로 변환하는 박스 변환(box transformation) 파라미터를 예측하는 기법으로, 2단계 및 1단계 검출기에서 널리 사용되어 왔다 [51, 38, 2, 28]. 본 연구에서는 Plain DETR [40]을 따라, 이 기법을 LW-DETR에 적용한다.

표 12. 비 end-to-end 검출기에서의 score threshold 튜닝

비 end-to-end 검출기에서 score threshold가 NMS 수행 시간과 검출 성능에 어떤 영향을 미치는지를 보여준다. YOLO-NAS, YOLOv8, RTMDet, YOLO-MS, Gold-YOLO에 대해, 서로 다른 세 가지 score threshold 설정에서의 검출 성능(mAP)과 전체 지연 시간(total latency)을 제시한다.
첫 번째 score threshold는 각 모델의 공식 구현에서 사용하는 기본값이다. 표에서 굵게 표시된 score threshold는 mAP와 NMS 지연 시간 간의 균형이 가장 좋은 설정을 의미한다.

B. NMS에 대한 분석 (Analysis on NMS)

Score threshold 튜닝

비 end-to-end 검출기에서 score threshold는 NMS 단계로 전달되는 예측 박스의 개수를 결정하며, 이는 NMS 지연 시간에 큰 영향을 미친다. 표 12는 YOLO-NAS, YOLOv8, RTMDet, YOLO-MS, Gold-YOLO를 대상으로 이러한 영향을 실증적으로 보여준다.

score threshold를 크게 설정하면 NMS의 연산 부담을 크게 줄일 수 있지만, 그 대가로 검출 성능은 저하된다. 본 연구에서는 비 end-to-end 검출기들에 대해 score threshold를 정교하게 튜닝함으로써, 검출 성능과 전체 지연 시간 간의 균형을 달성한다. 그 결과, 검출 성능은 소폭 감소하는 대신, NMS로 인한 오버헤드는 0.1∼0.5 ms 수준까지 크게 감소한다.

NMS를 위한 박스 개수 분포 (Distribution of the number of boxes for NMS)

지연 시간은 COCO val2017의 5000장 이미지 평균을 기준으로 측정된다. 그림 5는 YOLO-NAS에서 서로 다른 score threshold 설정 하에서, NMS 이후 남는 박스 개수의 분포를 COCO val2017 전체에 대해 보여준다.

기본 score threshold 설정에서는 남는 박스의 개수가 매우 많아, NMS로 인한 큰 연산 오버헤드가 발생한다. 반면, score threshold를 조정하면 NMS 단계에 남는 박스 수가 효과적으로 감소하며, 그 결과 비 end-to-end 검출기의 전체 지연 시간이 최적화된다.

그림 5 설명 (Figure 5)

NMS에 입력되는 박스 개수의 분포를 시각화한 결과이다.
x축은 NMS에 전달되는 박스 개수, y축은 해당 구간에 속하는 COCO val2017 이미지 수를 의미한다.
(a)는 기본 score threshold 설정,
(b)는 검출 성능과 지연 시간의 균형을 맞춘 score threshold 설정,
(c)는 더 높은 score threshold를 적용한 경우를 나타낸다.