Traveling Waves Integrate Spatial Information Through Time
https://arxiv.org/abs/2502.06034?utm_source=pytorchkr&ref=pytorchkr
Traveling Waves Integrate Spatial Information Through Time
초록
뇌에서는 신경 활동의 진행파(traveling wave)가 널리 관찰되지만, 그 정확한 계산적 기능은 아직 명확히 밝혀지지 않았다. 한 가지 유력한 가설은 이러한 진행파가 신경 집단 간의 공간 정보를 전달하고 통합하는 데 기여한다는 것이다. 그러나 이러한 통합 처리에 진행파가 어떻게 활용될 수 있는지를 탐구한 계산 모델은 드물다. 우리는 “드럼의 모양을 들을 수 있는가?”라는 유명한 문제에서 영감을 받아—파동 역학의 정상모드(normal modes)가 기하 정보를 어떻게 인코딩하는지를 조명하는 문제—유사한 원리가 인공 신경망에서 활용될 수 있는지를 조사한다.
구체적으로, 우리는 시각 자극에 반응하여 은닉 상태에서 진행파를 생성하도록 학습하는 합성곱 순환 신경망(convolutional recurrent neural networks)을 제안하며, 이를 통해 공간 통합(spatial integration)을 가능하게 한다. 이후 이러한 파형(wave-like)의 활성화 시퀀스를 시각 표현(visual representations) 그 자체로 간주함으로써, 전역적 공간 맥락이 필요한 작업에서 지역 피드포워드 네트워크(local feed-forward networks)를 능가하는 강력한 표현 공간을 얻게 된다. 특히, 진행파는 지역 연결 뉴런(locally connected neurons)의 수용장을 효과적으로 확장시켜, 장거리 인코딩 및 정보 전달을 지원하는 것으로 나타났다.
우리는 이 메커니즘을 갖춘 모델이 전역 통합(global integration)이 요구되는 시각 의미 분할(semantic segmentation) 작업을 성공적으로 해결하며, 지역 피드포워드 모델보다 뛰어난 성능을 보이고, 더 적은 파라미터로 비지역적(non-local) U-Net 모델과 견줄 만한 성능을 달성함을 보여준다. 이는 인공 신경망에서 진행파 기반의 통신 및 시각 표현을 향한 첫걸음으로, 우리의 연구는 파동 역학(wave dynamics)이 효율성과 학습 안정성 측면에서 이점을 제공할 뿐 아니라, 생물학적 신경 활동 기록과 인공 모델을 연결하는 새로운 틀을 제시할 수 있음을 시사한다.
키워드: 진행파(Traveling Waves); 진동(Oscillation); 정보 통합(Information Integration)
서론
신경 활동의 진행파(traveling wave) 전파는 가장 초기의 신경 기록(Adrian & Matthews, 1934; Goldman 외, 1949; Lilly, 1949; Mickle & Ades, 1953)에서도 대뇌 표면에서 측정된 바 있다. 이러한 파동은 피질 영역을 국지적(local)으로 또는 전역적(globally)으로 다양한 속도로 이동하는 것으로 측정되었다(Reimer 외, 2010; Muller 외, 2016; Zhang 외, 2018). 자극에 의해 유발된 진행파는 시각 피질에서 직접 측정되었으며(Cowey, 1964), 이후 침습 전극(Ebersole & Kaplan, 1981)부터 전압 민감 염색(vsd) 영상(Muller 외, 2014), 그리고 깨어 있는 영장류의 행동 실험(Davis 외, 2020)까지 점점 더 정교한 방법론으로 연구되었다.
이러한 관찰 결과를 바탕으로, 이 동역학(dynamics)의 기능적 역할을 설명하기 위한 다양한 이론들이 제안되어 왔다. 예를 들어, 진행파는 예측 부호화(predictive coding)(Alamia & VanRullen, 2019), 대칭성 표현(symmetry representation)(Keller 외, 2024), 장기 기억의 고착화(consolidation)(Muller 외, 2018), 운동 정보의 인코딩(Heitmann & Ermentrout, 2020)과 관련된 것으로 제안되어 왔다.
그림 1 설명
시각 자극은 뉴런 격자(lattice)의 초기 조건을 설정하고, 각 뉴런의 국지적 수용장(local receptive field) 및 순환 연결(recurrent connectivity)에 기반한 반응 특성을 정의한다. 이 초기 조건은 순환 파동 동역학(recurrent wave dynamics)에 따라 시간이 지남에 따라 진화하며, 각 뉴런에서 생성된 시계열(timeseries)은 시각 자극에 대한 전역적으로 통합된 표현(global integrated representation)이 된다.
본 연구와 가장 관련 깊은 가설 중 하나는, 진행파가 장거리 정보 통합 및 전달을 위한 메커니즘 역할을 한다는 것이다. 특히, 이러한 메커니즘은 시각 피질 내에서 중요한 역할을 수행하는 것으로 여겨진다(Sato 외, 2012). 예를 들어, Kitano 외(1994)는 시각 자극이 고전적인 망막 위치 수용장(retinotopic receptive field) 바깥에 있을 때도 1차 시각 피질의 뉴런에서 국소장 전위(LFP) 반응이 유도될 수 있으며, 반응 지연(latency)은 거리와 비례한다는 점을 보여주었다. 이는 장거리 거리 지연 통합(long-range distance-delayed integration)을 시사한다. 이러한 발견은 이후 Bringuier 외(1999)의 세포내 막전위 기록을 통해 강화되었으며, 이들은 확장된 수용장을 “시각 유도 시냅스 통합 필드(visually evoked synaptic integration field)”라 명명하였다.
그러나 정보 통합과 전달이라는 가설적 역할은 시각 자극을 넘어서 확장된다. 예를 들어, Rubino 외(2007)는 운동 준비 중인 원숭이의 운동 피질에서 베타 주파수 진동(beta-frequency oscillations)이 공간적으로 전파되며, 이러한 파동이 시각 목표물의 정보를 직접 인코딩한다고 보고했다. 또한 Besserve 외(2015)는 방향 특이적인 인과 정보 전달 지표를 통해 감마 주파수 대역의 진행파가 서로 다른 피질 영역 간의 정보 전달과 상관되어 있음을 보여주었으며, Bhattacharya 외(2022)는 작업 기억 과제 중 정보 검색과 처리 과정에서 진행파의 방향이 바뀐다는 사실을 밝혀냈다.
하지만 이러한 유망한 관찰 결과에도 불구하고, 진행파 동역학을 보이는 과제 학습 가능(task-trainable)한 인공 신경망 모델이 부족하기 때문에, 이를 계산적으로 탐구하는 일은 여전히 도전적이다. 현대 인공 신경망에서는 입력(예: 이미지)의 공간적인 거리 또는 시퀀스의 ‘토큰’ 간 정보를 통합하거나 전달하기 위해 매우 깊은 합성곱 신경망(He 외, 2015), 병목/풀링 계층(Ronneberger 외, 2015), 또는 트랜스포머에서처럼 전체 연결 구조(all-to-all connectivity)(Vaswani 외, 2023)를 사용한다. 이러한 접근 방식은 각기 고유한 계산 복잡도와 표현력 한계를 가지므로, 신경계에서 분산된 정보를 통합하는 대안적 방법을 탐색하는 것은 큰 의미가 있다.
이 논문에서 우리는 파동 기반 모델의 계산적 잠재력을 탐색하고, 정보 전달에서의 파동 동역학의 인과적 역할을 이해하기 위한 첫걸음을 내딛는다. 이를 위해 우리는 “드럼의 모양을 들을 수 있는가?”라는 수학적 질문에서 영감을 받아, 이 문제의 핵심 기법인 파동 기반 동적 시스템(wave-based dynamical systems)의 정상해(stationary solutions)를 통해 전역 정보를 표현하는 방식이 시간에 따라 변화하는 순환 신경망 은닉 상태에서도 전역 정보를 추출하는 데 동일하게 적용될 수 있는지를 탐구한다.
논문의 첫 번째 부분에서는 이 문제와 관련된 형식적 이론을 검토하고, 이 아이디어를 계산 원리로 활용할 수 있는 학습 가능한 순환 신경망을 어떻게 구성할 수 있는지를 개괄한다. 단순 과제에서 우리는 이러한 간단한 모델이 실제로 이론적 예측과 일치하며(Figure 2), 주파수 공간에서 단순한 형태들을 구분(disentangle)하는 파동 동역학을 생성할 수 있음을 보여준다(Figures 3 & 4).
논문의 두 번째 부분에서는 이 직관을 바탕으로, 초기 인코더와 순환 연결이 모두 국지적 수용장 제약을 가진 합성곱 순환 신경망(conv-RNN)을 구축하고, 이를 보다 복잡한 전역 정보 처리 과제(의미 분할 등)에 적용해본다. 우리는 각 뉴런의 순환 활성화 시계열을 학습 중 주요 표현(primary representation)으로 사용하여(Figure 1 도식 참조), 이 모델이 지역적으로 제약된 다른 모델보다 우수한 성능을 내고, 일부 깊은 합성곱 모델(U-Net 등)과도 경쟁할 수 있으며, 학습이 더 안정적으로 수렴함을 보여준다. 결국 이는 진행파 기반 정보 통합이 기존 딥러닝 기반 공간 통합 기술에 대한 효율적이고 안정적인 대안이 될 수 있음을 시사한다.
동기: 드럼의 모양을 들을 수 있을까?
진행파(traveling wave)가 공간 상의 정보를 어떻게 통합할 수 있는지에 대한 직관을 얻기 위해, 우리는 Mark Kac(1966)이 제기한 유명한 수학적 질문 “드럼의 모양을 들을 수 있는가?”에서 영감을 얻는다. 간단히 말해, 이 질문은 이상화된 드럼 헤드(진동막)가 진동하는 고유 진동수들로부터 그 경계 조건(boundary condition)을 고유하게 식별할 수 있는지를 묻는다.
직관적으로 설명하자면, 드럼 헤드를 한 번 두드리면 초기 자극이 일시적인 진행파로 바깥쪽으로 퍼져나가며, 고정된 경계 조건에 도달하면 위상 이동과 함께 반사된다. 이 반사파는 경계에 대한 정보를 수집한 뒤 중심을 향해 돌아오게 된다. 이러한 파동들은 결국 모양의 모든 가장자리에서 반사된 파동들과 충돌하고, 다양한 파면(wavefront)이 중첩되어(superposition) 파형이 형성된다. 궁극적으로, 이는 경계 조건에 의해 제한된 이산적인 정상 모드(normal modes)의 중첩으로 표현되는 해(solution)로 수렴하게 된다.
높은 수준에서 볼 때, Kac의 질문은 공간적으로 국지적인 파동 방정식(wave equation)이 전역적인 조건(고정된 드럼 경계)에 의해 결정되는 정상 상태 해로 진화함으로써, 어떻게 전역 정보를 통합할 수 있는지를 보여주는 메커니즘 하나를 탐구한다. 물론 뇌줄기에서 발견되는 부울부엉이(owl)의 지연선(delay-line) 메커니즘(Jeffress, 1948; Carr & Konishi, 1988)이나, 파면 간섭(interfering wave fronts)과 같은 복잡한 메커니즘(Gong & Van Leeuwen, 2009; Izhikevich & Hoppensteadt, 2009) 등, 정보 전달 및 통합을 설명할 수 있는 다른 메커니즘들도 존재한다. 하지만 이 정상 상태 해 기반의 메커니즘은 계산 모델을 구축하기 위한 출발점으로서 강력하며 잘 이해된 접근이다.
형식적으로 이 문제에서의 “드럼”은 완전히 탄성적인 2차원 막(membrane)으로 간주되며, 공간과 시간에 따른 수직 변위(vertical displacement)는
u(x, y, t)
로 나타낸다. 이 드럼 헤드는 일정한 장력 하에 모양이 Ω인 경계(boundary)로 팽팽하게 고정되어 있으며, 그 동역학은 파동 속도 c가 일정한 2차원 파동 방정식(two-dimensional wave equation)을 만족한다.
원래 문제에서는, 드럼 헤드가 경계에서 변위가 0이 되도록 고정(clamped)되어 있으며, 이는 Dirichlet 경계 조건(Dirichlet boundary condition)으로 알려져 있다. 이러한 조건은 보통 다음과 같이 표현된다:
u |_∂Ω= 0.
우리는 정상 상태의 진동 해(steady-state oscillatory solutions)에 관심이 있으므로, 해는 반드시 특정 진동수 ω_k를 갖는 고유 진동 모드(normal mode)
ϕ_k(x, y)
의 형태를 가져야 한다고 볼 수 있다.
이를 식 (1)에 대입하면, 해는 다음 조건을 만족해야 함을 알 수 있다:
이 형태로 보면, λ_k는 표면 u에 작용하는 라플라시안(Laplacian) 연산자의 고유값(eigenvalue)임이 명확하다. 요약하자면, Kac(1966)이 제기한 질문은 다음과 같다: 주어진 경계 조건 위에서 라플라시안이 갖는 전체 고유값 집합 {λ₁, λ₂, …} (이를 고유스펙트럼, eigenspectrum이라 함)가 모든 2차원 경계(boundary)를 고유하게 식별하기에 충분한가?
이 질문이 처음 제기되었을 당시, 드럼 헤드의 면적은 그 고유스펙트럼으로부터 유일하게 추론할 수 있음이 알려져 있었다. 그러나 이후 고유스펙트럼이 동일하지만 서로 다른 모양을 가진 드럼 헤드들이 존재한다는 반례(counterexample)가 발견되기까지는 25년 이상이 걸렸다(Gordon 외, 1992). 이후 Zelditch(1999)의 연구에서는 고유하게 식별 가능한 형상의 클래스를 정밀하게 특성화할 수 있었다.
종합적으로 볼 때, 이러한 결과들은 스펙트럼 표현(spectral representation)에 담긴 고유한 기하학적 정보가 상당히 풍부하며, 일부 병적인(pathological) 예외를 제외하면 대부분의 형상은 ‘등스펙트럼(isospectral)’이 아니다, 즉 서로 다른 고유스펙트럼을 가진다는 점을 보여준다.
정사각형 드럼에 대한 해
변의 길이가 L인 정사각형 드럼의 경우, 위에서 설명한 경계값 문제(boundary value problem)는 잘 알려진 단순한 해를 갖는다(Bérard & Helffer, 2014).
구체적으로, 이 경우의 정상 모드(normal modes)와 해당하는 라플라시안 고유값(Laplacian eigenvalues)는 다음과 같다:
이러한 모드들이 정사각형 경계에서 정확히 0이 됨을 우리는 쉽게 확인할 수 있다.
예를 들어,
sin(n·π·x / L) = sin(0) = 0 일 때 x = 0,
sin(n·π·x / L) = sin(n·π) = 0 일 때 x = L이기 때문이다.
식 (3)에 따라, 파동 방정식에서의 진동수(oscillation frequencies)는 다음과 같다:
ω_m,n = c · λ_m,n = c · (π / L) · √(m² + n²)
따라서, 정사각형 드럼의 가장 낮은 공진 주파수(lowest resonant frequency)는 다음과 같다:
(진동수는) 초당 라디안 단위(radians per second)로 측정되며, 이는 드럼의 크기 L이 클수록 더 낮은 음정(더 작은 ω_1,1)을 낸다는 우리의 직관과 일치한다.
우리가 제안하는 핵심 아이디어—이러한 전역 정보 통합 메커니즘이 순환 신경망(recurrent neural network, RNN) 내에서 합리적으로 시뮬레이션될 수 있는지—를 검증하기 위해, 다음 단계에서는 파동 동역학(wave dynamics)을 모방하는 간단한 RNN 모델을 구현하고, 그 은닉 상태의 동역학으로부터 얻어진 푸리에 변환(Fourier transform)이 실제로 이러한 기본 진동수(fundamental frequencies*를 나타내는지를 측정한다.
순환 신경망에서의 모사 (Emulation in a Recurrent Neural Network)
위의 파동 방정식(식 1)을 RNN에서 시뮬레이션하기 위해, 우리는 파동 방정식이 시공간상에서 이산화(discretization)될 수 있으며, 이때 유도되는 일련의 방정식들이 RNN 구조와 매우 유사하다는 점에 주목한다.
이는 Keller 외(2024)가 1차 편향 파동 방정식(one-way wave equation)에 대해 사용한 접근 방식이며, Rusch & Mishra(2021)가 상호 연결된 진동 네트워크(coupled oscillations)에 대해 적용했던 방식과 유사하나, 여기서는 이를 표준적인 2차원 파동 방정식에 맞게 조정하였다.
구체적으로, 우리는 Verlet 적분(Verlet integration)을 사용하여 파동 방정식을 정확하게 수치적으로 적분하는 RNN 구조를 구성하며, 이에 따라 은닉 상태 ?와 연관된 속도 상태 ?(coupled velocity state)에 대해 다음과 같은 업데이트 식을 얻게 된다:
여기서
? ∈ ℝ_H×W 는 두 개의 공간 차원(H, W)을 가지는 은닉 상태로 정의되며,
⋆ 는 이 공간 차원에 대한 합성곱(convolution)을 의미한다.
또한 K_∇² 는 2차원에서 이산 라플라시안 연산자(discrete Laplacian operator)를 표현하는 5점 스텐실(five-point stencil)을 나타낸다:
RNN에 ‘드럼을 입력으로 제공’하는 가장 직관적인 방법은, 드럼을 이산화된 격자(discretized grid) 위에 존재하는 것으로 간주하고 (이미지처럼), 각 공간 위치 (x, y)를 해당하는 뉴런 h_x,y에 매핑하는 것이다.
그런 다음, 학습된 이상적 인코더를 모방하기 위해 정사각형의 경계 및 그 외부에 있는 뉴런들의 값을 0으로 고정(clamp)한다. 명시적으로는 다음과 같다:
h_x,y = 0 ∀ {x, y} ∈ ∂Ω.
이후 초기 조건(initial condition)을 설정할 수 있는데, 드럼 중앙의 은닉 상태 h_cₓ,cᵧ를 1로 설정하고, 그 외의 모든 위치는 0으로 설정한 뒤, 앞서 정의한 동역학을 시간에 따라 전개(unfold)하도록 하면 된다.
그림 2: Wave-RNN은 이론적인 주파수를 생성한다.
변의 길이 L이 다른 정사각형 드럼 헤드에 대해, 이론적으로 예측된 기본 주파수(Hz 단위, cycles/sec)와, 정사각형 입력을 기반으로 순환 동역학을 결정하는 파동 기반 RNN(wave-based RNN)에서 측정된 가장 낮은 피크 주파수를 비교한 결과를 나타낸다.
그림 2에서는 이 실험의 결과를 제시한다.
x축에는 정사각형의 변 길이 L을 13에서 21까지 변화시키며, 각 L에 대해 이론적인 기본 주파수(Hz)를 ω_1,1 = c·2 / (2·L)
로 계산한다. 그에 대응하는 가장 낮은 피크 주파수는, 은닉 상태 h_cₓ,cᵧ의 동역학을 40,000 타임스텝 동안 (Δt = 0.025) 시뮬레이션한 후 푸리에 변환(Fourier transform)을 통해 측정하며, 이 값을 y축에 나타낸다. 결과적으로, 파동 기반 RNN의 출력은 이론적 예측과 거의 완벽하게 일치하며, 작은 오차는 수치적 적분(numerical integration)의 한계에 기인한 것으로 보인다.
그림 3: 파동은 도형의 내부와 외부에서 다르게 전파되며, 전역적인 형태 정보를 내부로 통합한다.
다각형 이미지에서 변의 개수에 따라 픽셀을 분류하도록 학습된 국지 인코더(local encoder)와 순환 연결(recurrent connection)만을 사용하는 진동자 모델(oscillator model, NWM)의 은닉 상태 시퀀스를 보여준다. 모델은 도형의 내부와 외부에 서로 다른 고유 진동수(natural frequency)를 사용함으로써 부드러운 경계(soft boundary)를 형성하고, 이를 통해 파동 반사(reflection)를 유도하여, 도형의 형태에 따라 상이한 내부 동역학을 생성하는 법을 학습한 것을 볼 수 있다.
실험: 시맨틱 분할 (Semantic Segmentation)
이제 앞서 이론적 동기에서 얻은 직관을 바탕으로, 진행파(traveling wave)가 전역 정보 통합(global information integration)이 필요한 작업을 해결하기 위해 국지적으로 제약된 순환 신경망 구조에서 사용될 수 있는지를 실험적으로 살펴본다.
모든 실험에서의 과제는 시맨틱 분할(semantic segmentation)이며, 이는 원본 이미지의 각 픽셀을 배경(background) 또는 데이터셋 내 클래스 중 하나로 분류하는 작업이다. 모델은 픽셀 단위의 교차 엔트로피 손실(pixel-wise cross-entropy loss)을 최소화하도록 학습된다.
핵심적으로, 모든 국지적 제약(locally restricted) 모델은
- 3×3 커널을 사용하는 얕은(shallow) 합성곱 인코더,
- 합성곱 순환 연결(convolutional recurrent connections),
- 그리고 픽셀 단위 디코더(pixel-local decoders)를 사용한다.
이로써, 각 뉴런의 피드포워드 경로 내 수용장(spatial receptive field)은 단일 전파만으로는 클래스 레이블 판별에 필요한 특징의 전역 크기(inherent length scale)보다 훨씬 작게 제한된다.
즉, 모델이 과제를 성공적으로 수행한다면, 그것은 반드시 순환 연결을 통해 전역 정보를 통합한 결과임을 의미한다.
비교 기준으로는, 2층부터 32층까지 다양한 깊이의 CNN 모델을 사용하며, 이들은 이미지 상에서 국지(local)에서 전역(global)에 이르는 다양한 수용장을 갖는다.
또한, 마지막의 보다 복잡한 데이터셋들에 대해서는, 전역 정보 전달을 위해 깊이(depth)와 공간 병목(spatial bottleneck)을 동시에 사용하는 고급 U-Net 구조(Ronneberger 외, 2015)와도 비교를 수행한다.
전체 학습 세부사항은 보충 자료(supplementary material)를 참고하고,
논문 결과에 대한 전체 코드 및 영상 시각화는 아래에서 확인할 수 있다:
https://github.com/anonymous123-user/Traveling_Waves_Integrate
Comments