[논문리뷰] DCASE 2025 3rd

1. Introduction

SELD는 여러 사운드 이벤트 클래스의 시간적 활성 여부를 식별하고, 활성 상태일 때 그 공간적 궤적을 추정하는 결합 작업입니다. DCASE 2025의 과제는 일상적인 영상 콘텐츠에서 추출된 stereo 오디오를 처리하는 시스템입니다. 스테레오 신호는 청자가 음원의 위치를 추론하는 데 사용하는 공간 정보를 내재적으로 포함하고 있습니다. 스테레오 오디오를 생성할 수 있는 생성형 AI 기술의 확산으로 인해, 이러한 콘텐츠 분석은 지각적 정확성뿐만 아니라 미디어 요약, 공간 장면 이해, 멀티모달 콘텐츠 분석 같은 후속 인지 작업을 위해 점점 더 중요해집니다. 이전 챌린지에서는 FOA와 같은 4채널 입력을 사용했고, 스테레오 SELD는 상하 및 전후 방향에서의 각도 모호성으로 인해 DoA 추정은 방위각(좌우 방향)에 제한됩니다. 또한 거리 추정도 계속 중요한 요소로 강조되고, 제한된 공간 정보 환경에서 새로운 해결책을 요구합니다.

최근 몇 년간 ResNet-Conforme가 SELD 과제에서 지속적으로 높은 성능을 보여왔으며, DCASE 리더보드 상위를 차지해왔습니다. 이를 이어, 본 논문에서도 stereo SELD를 위해 유사한 백본을 채택했고, stereo 오디오의 채널 간 관계를 활용하기 위한 새로운 특징 조합을 도입했습니다.

본 연구의 핵심은 사전학습된 ONE-PEACE 임베딩으로 강화된 ResNet-Conformer 아키텍처입니다. 이 강력한 조합은 Mel-spectrogram, IPD, ILD, Phase Transform을 적용한 GCC-PHAT과 같은 풍부한 공간 및 스펙트럼 특징들을 처리합니다. DoA 추정, SED, SDE이라는 여러 SELD 작업에서 성능을 최적화하기 위해 모듈형 학습 전략을 사용합니다. 즉, DoA 추정과 SDE를 위한 별도의 모듈을 학습하고, 이들의 출력을 결합하여 예측합니다. ONE-PEACE 임베딩은 ResNet-Conformer 출력과 함께 통합되어 공동으로 처리되며, 다운스트림 작업 성능을 추가로 향상시킵니다.

* IPD : Interaural Phase Difference, 좌우 채널이 sin 및 cos으로 분해된 위상 차이(주파수 영역에서의 도착 시간 차이)

* ILD : Interaural Level Difference, 채널 간 에너지 비율의 로그, 좌우 소리 세기(볼륨) 차이

* GCC-PHAT : Generalized Cross-Correlation, 두 신호의 상관관계를 계산해 peak를 찾는 음원 위치 추정 방법

* donwstream : 최종적으로 하고 싶은 실제 작업, 최종 목표

---

2. Dataset

STARSS23 데이터셋에서 파생된 DCASE2025 Task 3 Stereo SELD Dataset을 사용합니다. 이 데이터셋은 실내 환경의 현실적인 오디오-비주얼 장면을 시뮬레이션한 5초 길이의 stereo 오디오 클립으로 구성되어 있습니다. 오디오는 mid-side 에뮬레이션을 통해 FOA에서 stereo로 변환되며, 사운드 이벤트 클래스, 방위각, 거리, on-screen 여부가 주석으로 포함됩니다. mid-side는 공간 오디오를 stereo 2채널로 바꾸는 방식으로, 좌우에 공통으로 들어있는 가운데 무지향 성분과 좌우를 구분해주는 차이 성분을 사용합니다. L = Mid + Side, R = Mid - Side로 계산하여 FOA 공간 정보로부터 stereo처럼 들리도록 에뮬레이션했습니다.

데이터셋은 30,000개의 train 클립(41.7시간)과 10,000개의 test 클립(13.9시간)으로 구성되며, 총 13개의 사운드 클래스와 중첩 이벤트, 실제 환경 변동성을 포함합니다. 모델의 강건성과 일반화 성능을 향상시키기 위해 공개된 DCASE 2024 시뮬레이션 데이터셋을 활용했습니다. 이 데이터셋은 TAU-SRIR 데이터베이스와 분리된 사운드 샘플을 사용하여 생성된 합성 녹음 데이터를 포함합니다. 이 데이터셋의 채널 수를 2채널로 줄여 DCASE 2025 Task 3 설정과 일관된 형식의 30,000개의 stereo 오디오 클립을 생성했습니다. 또한 학습 중 같은 소리가 다양한 위치에서 나는 것처럼 데이터를 만들기 위해 간단하면서도 효과적인 Audio Channel Swapping(ACS)를 사용해 증강했습니다.

* TAU-SRIR : TAU Spatial Room Impulse Response Database. 여러 실제 실내 공간에서 측정한 공간 임펄스 응답 모음으로, 깨끗한 소리에 방의 울림과 방향성을 입혀 현실적인 멀티채널 음향 데이터를 만드는 데 쓰는 시뮬레이션용 데이터베이스

 

https://zenodo.org/records/6408611

TAU Spatial Room Impulse Response Database (TAU-SRIR DB)

---

3. Architecture

특징 추출

본 논문에서는 물리 기반 공간 특징 추출과 ONE-PEACE 기반 Transformer 임베딩 두 접근을 사용합니다.

1 오디오 특징

각 stereo 입력에 대해 STFT를 수행하고, Hann 윈도우 길이 960 samples로 960 / 24000 = 40ms, hop size 480 samples로 480 / 24000 = 20ms을 사용합니다. 좌우 채널 STFT는 64 Mel filters를 통해 Mel 스케일로 변환됩니다. 그리고 ILD, IPD, GCC-PHAT 세 가지 방향 특징을 계산하여 시간 지연 정보를 추출합니다. 최종 특징 텐서는 Log-Mel, ILD(db), IPD (sin, cos), GCC를 결합하여 크기가 (6, 251, 64)으로 구성됩니다. 채널은 Log mel L, R, ILD, IPD sin, cos, GCC로 6개, 마지막 윈도우가 신호 끝을 넘어가지 않도록 120000 - 960을 빼준 후 480로 나누어 줍니다.

Raw audio
(시간: sec, 샘플: samples)
↓
STFT
(시간: frames, 주파수: Hz)
↓
Mel
(시간: frames, 주파수: Mel bins)
↓
Log mel(L, R), ILD, IPD(sin, cos), GCC
(각각 다른 단위)
↓
(6, 251, 64)

2 ONE-PEACE 특징

지역적인 스펙트럼 특징을 전역적인 의미 정보로 보완하기 위해 ONE-PEACE를 사용합니다. 이 모델은 텍스트, 이미지, 오디오 등 여러 종류의 데이터가 사전 학습된 대형 transformer 모델입니다. 문맥 임베딩을 추출하여 소리를 구분합니다. 원시 파형(raw waveform)은 100ms 단위의 세그먼트로 나뉘며, 각 구간마다 의미 정보를 추출합니다. 각 세그먼트를 ONE-PEACE에 넣으면 오디오를 Transformer가 이해할 수 있게 작은 단위로 토큰화, 토큰들끼리의 관계를 파악하기 위한 self-attention 인코딩, 그리고 벡터를 모델이 쓰기 좋은 차원로 바꾸는 feature projection이 진행됩니다. 추론 단계에서는 각 세그먼트가 개별적으로 ONE-PEACE 모델을 통과하여 1536 고정 길이의 벡터 임베딩을 얻습니다. 모든 세그먼트 단위 임베딩은 시간 축을 따라 쌓여 전체 오디오 파일에 대한 깊은 문맥 표현을 형성하며, 크기는 (1, 50, 1536)으로 (batch size, 세그먼트 수, 임베딩 차원)을 의미합니다. 이러한 임베딩은 장기 의존성과 이벤트 의미 정보를 포착하도록 설계되었으며, 지역 스펙트럼 특징과 전역 문맥을 결합하는 하이브리드 구조에서 SED나 SDE 같은 다운스트림 작업에 적합합니다.

* 하이브리드 구조 : 두 가지 다른 정보 종류를 같이 쓰는 구조

 

ReCoOP 프레임워크

현실적인 스테레오 녹음에서 공간 음향을 이해하기 위해, SED, 도착 방향 추정(DOA), 그리고 음원 거리 추정을 동시에 수행하도록 설계된 ResNet-Conformer-OnePeace(ReCoOP)를 제안합니다. 

ReCoOP은 입력 특징에서 공간적 및 시간적 패턴을 효과적으로 포착하는 공유된 ResNet-Conformer 백본을 기반으로 구축됩니다. 입력은 채널 간 레벨 차이, 위상 차이, 방향성 정보, 그리고 log-mel 스펙트로그램을 포함하는 6채널 시공간 표현으로 구성됩니다.

핵심적으로, ReCoOP은 입력 프레임으로부터 국소적인 특징을 추출하기 위해 최종 풀링 레이어를 제거한 ResNet-18 인코더를 사용합니다. Convolution 출력은 시간 축을 따라 flatten되고, Conformer가 원하는 형태로 바꾸기 위해 고정된 임베딩 차원으로 투영됩니다. 이후 8개의 Conformer 블록으로 구성된 스택이 이 시퀀스를 처리하여 장기적인 시간 의존성을 모델링하며, self-attention과 Convolution 연산을 결합함으로써 전역 문맥과 국소적 세부 정보를 동시에 유지합니다. 그 다음, 3개 작업별 출력 헤드에서 최종 예측을 생성합니다.

SED에서는 한 순간에 여러 소리가 동시에 날 수 있어 다중 라벨 sigmoid 활성화를 사용하며, 방위각 DOA에서는 방향 성분이 보통 -1~1 같은 범위 표현을 많이 쓰기 때문 tanh 활성화가 적용된 헤드가 사용되고, 클래스별 음원 거리 예측에서는 거리가 음수가 될 수 없으니 ReLU 활성화를 적용한 헤드가 사용됩니다. 모델의 의미 이해력을 향상시키기 위해, 이 프레임워크에 사전 학습된 ONE-PEACE 모델을 추가하여 이로부터 추출된 문맥 임베딩을 통합합니다. 원시 오디오 파형으로부터 추출된 이 임베딩들은 Conformer 출력과 시간적으로 정렬된 후 concatenation을 통해 융합됩니다. 그러면 차원이 갑자기 커져서 Conformer가 기대하는 크기로 다시 축소하기 위해 추가적인 투영과 두 개의 Conformer 블록으로 학습해 의미까지 포함한 표현을 이해합니다. 이와 같이 Mid fusion으로 ONE-PEACE 합친 아키텍처는 모델이 고수준의 오디오-비주얼 의미 정보를 활용할 수 있도록 해 복잡하거나 모호한 음향 장면에서의 위치 추정에 유용합니다.

ReCoOP에서의 결합 예측(joint prediction)은 두 가지 모델 변형의 앙상블을 통해 수행됩니다. SED 출력은 SED-SDE 모델과 SED-DOA-OnePeace 모델의 예측을 평균내어 계산되며, 이를 통해 공간적 탐지 능력과 의미 기반 탐지 능력의 균형을 맞춥니다. DOA 출력은 SED-DOA-OnePeace 모델에서 가져오며, 전역 문맥 정보를 활용할 수 있기 때문에 방향 정보를 더 잘 모델링할 수 있습니다. 거리 추정은 SED-SDE 모델에서만 수행되며, 이 모델은 해당 회귀 작업에 최적화되어 있습니다. 앙상블 구조를 통해 ReCoOP이 두 모델의 장점을 효과적으로 통합할 수 있고, SED-SDE 모델의 거리 추정 능력과 ONE-PEACE 문맥 임베딩의 이점을 활용한 SED-DOA-OnePeace 모델의 위치 추정 정확도를 결합합니다.

---

4. Results

ResNet-Conformer는 46.3%로 베이스라인 대비 25.42% 향상되었습니다. ONE-PEACE 임베딩을 추가한  ReCoOP는 48.2%로 약 2% 성능 향상을 달성했습니다. ACS가 항상 성능을 올려주는 증강은 아니고, 이 과제의 스테레오 SELD 특성과 오히려 충돌했을 가능성이 커 보입니다. 본 연구에서는 이미 스테레오 방향 단서를 아주 적극적으로 쓰고 있어서, 채널 교환이 도움이 되기보다 오히려 방향 단서의 일관성을 약화시켜 원래의 방향 구조를 흐렸을 수 있습니다. 스테레오 공간 특징이 SELD 성능 향상에 중요한 역할을 한다고 볼 수 있습니다. 향후 연구로 임베딩 융합 개선, 다른 데이터셋 평가, self-supervised 학습 적용을 진행할 예정입니다.

---

5. Conclusion

본 연구에서는 스테레오 오디오 기반 SELD를 위해 ResNet-Conformer 구조를 기반으로 한 ReCoOP 프레임워크를 제안했습니다. 제안한 모델은 log-mel, ILD, IPD, GCC와 같은 공간 특징을 입력으로 활용하고, ResNet을 통해 로컬 특징을 추출한 뒤 Conformer를 통해 시간적 의존성을 모델링합니다. 또한, 사전 학습된 ONE-PEACE 임베딩을 결합하여 의미 정보를 추가하고, 이를 Conformer 블록을 통해 재정제하는 하이브리드 구조를 구성했습니다. 최종적으로 SED, DOA, 거리 추정을 각각의 출력 헤드에서 수행하며, 두 모델의 앙상블을 통해 각 작업의 강점을 결합했습니다.

1위 논문과 비교할 때 본 연구는 ONE-PEACE 임베딩을 통해 의미적 문맥 정보를 보완하는 데 초점을 두었으나, 공간 정보 학습 자체는 상대적으로 단순한 구조에 의존하고 있으며, 임베딩 결합 역시 단순한 결합 기반으로 이루어져 정보 간 상호작용이 제한적입니다. 또한 1위 시스템은 거리 및 위치 추정을 위한 다양한 모델 구조(SDE, SCE)를 병렬적으로 활용하여 공간 추정 성능을 강화한 반면, 본 연구는 기능별 모델 분리가 상대적으로 제한적입니다. 이러한 차이로 인해, 본 연구는 의미적 정보 활용 측면에서는 강점을 가지지만, SELD의 핵심인 정밀한 공간 추정 능력에서는 1위 시스템 대비 상대적으로 성능이 낮게 나타난 것으로 해석됩니다.