[논문리뷰] DCASE 2025 1st

1. Introduction

DCASE 2025 Challenge의 Task 3에서 1위한 논문입니다. 스테레오 오디오가 포함된 일반 비디오 콘텐츠에서의 sound event localization and detection(SELD) 과제입니다. 음원의 도래 방향(DOA)과 거리 추정에 더해, 오디오-비주얼 SELD 과제는 음원이 화면 안에 존재하는지 여부도 예측해야 합니다. 오디오 전용 트랙에서는 스테레오 오디오로부터 추출한 2채널 log-Mel 스펙트로그램 특징을 모델 입력으로 사용하였습니다.

1차 Ambisonics(FOA)용으로 제안된 audio-visual pixel swapping(AVPS) 기법을, 좌우 채널 교환과 수평 방향 비디오 픽셀 전치를 결합하는 방식으로 스테레오 형식에 맞게 변형하여 적용하였고, 이를 통해 학습 데이터를 효과적으로 두 배로 늘렸습니다.

제안한 구조는 DOA, 거리, 음원 좌표 추정 작업을 위해 각각 특화된 세 개의 모델을 구현하였으며, 이후 joint prediction framework를 통해 이를 통합했습니다. 오디오-비주얼 트랙에서는 ImageNet으로 사전학습된 ResNet-50 모델을 시각 특징 추출에 사용했고, 교사-학생 학습 패러다임을 통한 cross-modal knowledge distillation으로 강화했습니다. 음원이 화면 내에 존재하는 지 on-screen 이벤트 탐지를 향상시키기 위해 새로운 2단계 시각 후처리 방법도 개발했습니다.

 

 

       ┌─ SED-DOA ─→ [확률, 방향]        ─┐
입력 ──→│─ SED-SDE ─→ [확률, 거리]         │──→ 융합 ──→ 최종 출력
       └─ SED-SCE ─→ [확률, 방향, 거리]   ─┘         (소리종류+방향+거리)

SED 확률: 세 모델 평균
방향:     DOA모델 + SCE모델 앙상블
거리:     SDE모델 + SCE모델 앙상블

위 그림처럼 서로 다른 출력 형식을 갖는 세 가지 모델을 사용하여 3D SELD를 처리합니다. 각 모델은 sound event localization and detection의 특정 측면을 다루도록 설계되었으며, 이에 맞춘 출력 형식과 손실 함수를 가집니다.

---

2. Track A

SELD는 다채널 오디오 입력으로부터 각 소리 범주의 시간적 활동 궤적을 자동으로 인식하고, 활성 음원의 공간적 위치를 추적하는 기계의 능력을 의미합니다. 소리 종류마다 언제 시작해서 언제 끝나는지를 시간에 따라 표현해, 소리의 존재 여부 + 위치가 변하는 연속적인 궤적을 예측합니다. 모델이 5초짜리 오디오 클립을 입력받으면, 출력은 250개 시간 프레임 × 소리 종류 수의 행렬이에요. 각 칸에는 "이 시점에 이 소리 활성 여부 + 위치"가 들어있어요.

본 논문에서는 SELD에 추가적으로 SDE을 포함하여, 소리 이벤트를 탐지하고, 도래 방향(DOA)을 추정하며, 거리까지 예측하는 3차원 SELD 프레임워크를 다룹니다. 모델의 일반화 성능을 높이기 위해, 다양한 학습 샘플을 생성하는 고급 오디오 데이터 증강 기법을 적용합니다. 제안 방법은 3D SELD에 최적화된 ResNet50-Conformer를 활용합니다. ResNet50이 적당히 성능을 보이면서 과적합을 피할 수 있습니다. 데이터가 충분하다면 101이나 152도 좋지만, SELD 데이터셋은 상대적으로 작아서 더 큰 모델이 오히려 나쁠 수 있습니다. Conformer를 사용해 장거리 의존성과 단거리 시주파수 패턴을 동시에 포착합니다. SELD에서는 전역 관계와 지역 패턴이 모두 중요해서 Transformer보다 더 적합합니다.

baseline인 SELDnet이나 기존 연구들은 SED과 DOA 추정을 위한 이중 분기 기반의 멀티태스크 학습을 사용하지만, 여기서는 이 프레임워크를 확장하여 거리 추정을 통합하는 아래 두 전략을 사용했습니다:

• 방향과 거리 회귀를 하나로 합친 통합형 DOA-SDE 분기 → DOA와 거리를 하나의 브랜치에서 같이 예측
• 독립적인 SDE 모델과 DOA 예측을 결합하는 SED-DOA + SED-SDE 모듈형 파이프라인 → DOA 예측 따로, 거리 예측 따로

각자 독립적으로 학습하고 앙상블했습니다. 또한 sound category, direction, distance를 보다 견고하게 예측하기 위해 모델 앙상블 기법을 사용하여 3D SELD 문제를 해결합니다.

 

* SELD : Sound event localization and detection

* SDE : source distance estimation

* SED : sound event detection

 

오디오 데이터 증강

https://zenodo.org/records/15559774

DCASE2025 Task3 Stereo SELD Dataset

DCASE2025 Task3 Stereo SELD Dataset은 총 41시간 42분 분량의 stereo 오디오 녹음으로 구성되며, 각 녹음은 5초 길이의 클립으로 분할되어 있습니다. 이 데이터셋은 train 16,214개와 test 13,786개로 나뉩니다. 딥러닝 관점으로 음성인식에서도 900시간 이상, 이미지분류에서도 1000만장 이상 쓰는데에 비해 데이터셋이 매우 작은편이에요. 한 클립에 수백 개의 라벨이 필요하기 때문에 비용과 시간이 많이 듭니다. 샘플 다양성을 높이고 모델 과적합을 방지하기 위해 데이터 증강이 필수입니다. 본 논문에서는 세 가지 증강 전략을 사용합니다:

1. stereo channel swap(SCS) 공간 증강 기법 사용 (5를 개선한 버전) : L/R 오디오 채널을 방위각(좌우, 수평방향으로만)에 대해 거울 대칭 데이터로 바꿈으로써 다양한 공간 배치를 모사하고, 결과적으로 DOA 표현 증가. 라벨도 자동으로 업데이트. 방향 데이터가 불균형할 때 균형 맞추기 가능
2. FSD50K 데이터셋의 단일 채널 사운드 샘플에 spatial room impulse response(SRIR)를 컨볼루션하여 합성 다채널 데이터 생성 : 시뮬레이션 라이브러리 SpatialScaper를 활용, 음향적으로 다양한 41.7시간(30,000 클립)의 샘플을 학습 데이터에 추가 -> 라벨 일관성을 유지하면서도 현실적인 음향 환경을 효과적으로 모사
3. Mixup 증강 적용 : 두 개의 샘플을 일정 λ 비율로 섞어 새로운 샘플을 생성하는 기법. 입력 특징과 대응하는 타깃을 선형 보간. 예를들어, mixup 없을 때는 x 소리 영역 | y 소리 영역으로 날카로운 경계이지만, mixup 있을 때는 x 소리 영역 ~ 혼합영역 ~ y 소리 영역으로 더 부드러운 결정 경계 만들고, 특히 라벨 데이터가 제한적일 때  과도하게 확신하지 않도록 하여 과적합을 줄임으로써 모델의 일반화 성능 향상

간단히 말하자면, SCS는 있는 데이터를 변형하는 것이고, SRIR는 없는 데이터를 새로 생성하는 것입니다. 최종적으로 41시간 원본 데이터를 약 130시간으로 3배 이상 증강했습니다.

Spatial Room Impulse Response란 ?

공간 안에서 소리가 어떻게 전달되는지를 나타내는 함수입니다. 특정 위치의 음원이 특정 위치의 마이크에 도달할 때, 공간 안에 벽, 거리, 방향 등의 영향을 모두 포함한 소리 전달 특성을 알 수 있어요. 예를 들어 방에서 박수를 치면 반사되어 울리는 소리가 들리는데, 반사음, 잔향, 흡음, 직접음 등 모든 음향 특성이 담겨 있는 것이 RIR입니다. 여기서 마이크가 여러개를 써서 소리의 방향 정보까지 포함되면 SRIR입니다. L채널과 R채널의 파형이 다르기 때문에 방향 정보가 인코딩되어 있어요. 그래서 이를 컨볼루션해서 합성 다채널 데이터를 만듭니다.

합성 다채널 데이터 생성 과정

1. 깨끗한 단채널 소리 준비 (FSD50K 데이터셋)
2. 공간 설정 결정 (이 환경에서 녹음한 것처럼)
3. 해당 공간 설정에 맞는 SRIR 선택/시뮬레이션
4. 컨볼루션 수행
5. 결과 : 2채널 stereo audio

깨끗한 소리와 방의 음향 특성을 가지고 그 방에서 녹음한 것처럼 들리는 소리를 합성할 수 있습니다. 여러 소리를 여러 위치에 배치해서 믹싱하면 복잡한 장면도 시뮬레이션할 수 있어요. 실제 현장에서 녹음하면 소리가 언제, 어디서 났는지 사람이 직접 라벨을 달아야 하기 때문에 비용이 많이 듭니다. 따라서 이 방법으로 시뮬레이션하면 라벨이 자동 생성되어 라벨 일관성을 유지할 수 있습니다.

위 방법을 쉽게 수행 할 수 있는 라이브러리가 SpatialScaper입니다. 실제 방에서 RIR을 직접 수집하지 않고, 방 크기와 벽 흡음률 같은 파라미터로 가상 방을 시뮬레이션하는 SELD 데이터 생성 및 증강 라이브러리입니다. 기존 SELD 데이터에 적용할 수 있는 데이터 증강 파이프라인도 포함 되어 있고, DCASE 2024 챌린지에서도 SpatialScaper를 기존 SELD 장면 생성기 대신 사용하도록 권장했어요. TAU-SRIR DB 지원과 함께 추가적인 실제 SRIR 및 합성 RIR도 지원하기 때문입니다. FSD50K와 FMA 데이터셋의 소리 파일을 공간화하는 스크립트를 제공해서 바로 사용할 수 있어요!

GitHub - marl/SpatialScaper · GitHub 

GitHub - marl/SpatialScaper

 

네트워크 학습

24 kHz로 샘플링된 stereo 오디오 데이터를 처리하여 3D SELD를 위한 시공간 특징을 추출합니다. 각 40 ms Hanning 윈도우에 대해 20 ms hop length를 사용한 1024 point STFT 적용하고, 2채널 오디오를 log Mel-spectrogram 특징으로 변환합니다. 쉽게 말해, 1초에 24,000개 샘플로, 한 번에 1024개 샘플을 묶어서 STFT를 진행합니다. 1024 / 24000 ≈ 42.7ms ≈ 40ms입니다. 윈도우 크기가 40ms hop length가 20ms이므로 50%가 겹치게 이동하면서 분석합니다. 즉, 5초 / 0.02초 = 250 프레임을 항상 같은 크기의 입력으로 사용합니다. 그럼 각 5초 마다 2 × 250 × 64 형태의 시간-주파수 표현이 생성됩니다.

Hanning 윈도우는 오디오를 잘랐을 때 양끝을 부드럽게 만드는 필터?입니다.

ResNet과 Conformer의 장점을 결합한 ResNet-Conformer를 백본으로 사용합니다. 

• SED-DOA 모델 : SED 분기는 sound event를 분류하고, DOA 분기는 방위각과 고도각을 예측
• SED- SCE 모델 : 위치 추정 능력을 3차원 공간으로 확장. SCE 분기는 음원의 절대 Cartesian 좌표를 예측하고, 라벨은 벡터 길이를 1로 만들어 방향 정보만 담고 거리 정보는 없도록 정규화된 DOA 벡터에 거리를 곱하여 방향과 거리가 모두 있도록 계산.  SCE 출력은  (x, y, z) 좌표로 연속적인 실수값이라 회귀 문제. 회귀 문제의 표준 손실함수인 MSE를 적용하여 공간 좌표 회귀를 정밀하게 수행

평균제곱오차 : (예측값 - 실제값)²의 평균

        -> 좌표 벡터의 방향은 DOA를, 벡터의 길이는 음원 거리를 나타냅니다. DOA와 거리 추정을 하나로 통합하여, 두 개의 출력 대신 하나의 출력 분기 내에서 방향과 거리를 동시에 알고 완전한 3D localization이 가능합니다.

• SED-SDE 모델 : SDE 분기는 거리 정보를 중요한 응용과 넓은 거리 값 범위를 다루기 위해 오차를 비율로 표현하는 MSPE를 손실 함수로 사용. 구조는 다른 모델들과 동일하게 유지되어, event detection 성능을 비교 가능

 

* 절대 좌표 : 방향뿐 아니라 실제 거리까지 포함한 완전한 위치 정보로, 정확한 3D 위치를 알 수 있다.

* Cartesian : 직교 좌표계

모델 앙상블

일반화 능력을 향상시키고 전체 성능을 끌어올리기 위해, 위 세 가지 특화 모델의 출력을 결합하는 모델 앙상블을 사용합니다. SED-DOA 모델은 단위 길이를 갖는 Cartesian 좌표 형태로 sound event 방향을 예측합니다. SED-SDE 모델은 음원 거리를 추정하며, 거리 정보를 포함하여 3D SELD를 해결합니다. SED-SCE 모델은 절대 Cartesian 좌표로 음원의 위치를 예측하여 완전한 3D localization을 가능하게 합니다.

더 견고한 SED 결과를 얻기 위해, 세 모델의 사후 확률을 융합합니다. 방향과 거리에 대한 최종 결과는 각각 해당 모델의 출력에서 가져옵니다. 여러 모델을 통합함으로써 일반화 성능과 3D SELD 성능이 향상되었습니다. 최종 예측은 SED-DOA, SED-SDE, SED-SCE 모델의 결합 결과입니다.

* 사후확률 = 우도 × 사전확률 / 증거. 모델이 sigmoid를 통과해 출력하는 확률값

---

3. Track B

비디오 데이터 증강

DCASE2025 Task3 Stereo SELD Dataset은 약 22.5시간의 오디오-비주얼 학습 데이터를 포함하지만 대부분의 음원이 화면 밖에 존재해서 모달 정렬이 어렵기 때문에 오디오-비주얼(AV) 3D SELD에 큰 도전 과제입니다. 비디오 데이터의 다양성을 향상시키기 위해, 오디오 데이터에서와 유사한 데이터 증강 기법을 적용했습니다. 오디오 전용 SELD에서 SCS는 좌우 오디오 채널을 교환하면서도 공간 단서를 보존하여 학습 데이터를 효과적으로 두 배 늘렸습니다. 오디오-비주얼 데이터셋에서는 거울에 비친 듯한 시점을 모사하기 위해 비디오 픽셀을 수평으로 뒤집고, 동시에 시각 모달과 오디오 모달 간의 공간적 대응을 유지하기 위해 좌우 오디오 채널을 교환합니다. 이렇게 약 45시간 분량의 증강된 오디오-비주얼 학습 데이터를 얻었습니다.

 

네트워크 학습

오디오-비주얼 Stereo SELD는 오디오 특징과 시각 특징을 모두 입력으로 받아요. 오디오 특징은 오디오 전용 SELD 시스템과 동일한 방식으로 추출됩니다. ResNet50 백본은 10 fps에서 프레임 단위 특징을 추출합니다. 마지막 convolutional layer에 global average pooling을 적용하여, 프레임마다 7×7 특징 맵을 얻습니다. 고정된 5초 입력 구간에 대해서는 50 × 7 × 7 특징으로 구성됩니다. Audio-guided video attention은 오디오-비주얼 이벤트 localization을 위해 처음 도입되었습니다. 오디오 특징으로 attention 가중치를 생성 해서 영상의 어느 부분에 집중할지 결정합니다. 소리와 관련된 영상 부분만 강조하는 이 연구에 영감을 받아, 본 논문에서는 MVANet를 사용합니다. 여러 네트워크 층에서 추출된 audio embedding은 MVANet에서 attention을 유도하여 sound event와 관련된 visual feature의 공간 정보를 집중적으로 보도록 합니다. 이는 오디오와 비디오 모달 간의 상보적 특성을 활용하는 방식입니다.

MVANet : multi-stage video attention network, 다중 단계 구조로 Audio-guided Video Attention가 여러 층에서 반복적으로 상호작용

제한된 오디오-비주얼 데이터와 화면 내(on-screen) 추정이라는 문제를 해결하기 위해 SED-SCE 모델을 두 아이디어로 확장합니다.

1. sound event와 visual scene 사이의 공간적 대응관계를 명시적으로 모델링하기 위해, 우리는 SED-SCE 구조에 ONS 분기를 추가하여 sound event가 화면 안에 존재하는지를 예측했습니다.

SED-SCE-ONS 모델

2. 데이터 부족 문제를 완화하기 위해 사용한 cross-modal teacher-student learning(TSL)는 증강을 포함하여 대규모 오디오 데이터로 학습된 teacher model의 지식을, 적은 오디오-비디오 데이터로 학습된 student audio-visual model로 전달합니다. TSL이 label을 주는 게 아니라 확률 분포, 중간 표현, 특징 등을 전달하고, 학생 모델이 이를 따라가는 방향으로 학습합니다. 교사 모델 구조는 ResNet-Conformer이고, 학생 모델 구조는 MVANet입니다.

TS-SED-SCE-ONS 모델

https://github.com/Hong-Hengyi/MVANet-SELD

GitHub - Hong-Hengyi/MVANet-SELD: For more detailed information, please refer to the paper titled "MVANet: Multi-Stage Video Att

 

모델 앙상블 및 후처리

두 종류의 오디오-비주얼 3D SELD 시스템과 오디오 전용 트랙에서 학습된 모델을 posterior probability fusion을 통해 결합하여 최종 시스템을 구성했습니다. 추가로 2단계 시각 후처리 전략을 언급합니다:

• keypoint detection 결과를 이용하여 sound source의 ONS와 DOA 예측을 정제하고, 이를 통해 더 정확한 DOA 및 ONS 결과를 생성합니다.
• Grounding DINO를 사용하여 비디오 프레임 내의 잠재적 음원을 탐지합니다. 서로 다른 sound source category에 대해 소리와 객체를 같이 명시해 구체적인 프롬프트를 설계하여, 각 범주에 대해 더 정확한 DOA와 ONS 결과를 얻습니다.

SELD는 오디오만으로는 한계가 있습니다. 그래서 visual grounding이 필수입니다.

* Grounding DINO :  텍스트로 객체를 찾는 AI, YOLO는 고정 클래스라면, 이는 SAM3같이 텍스트 입력으로 탐지

---

4. Result

본 논문에서는 증강 기법을 사용하여 학습 세트를 확장하였습니다. 성능은 Baseline과 비교했을때 확실히 우수한 성능입니다. 

* F20◦,1는 SELD용 F-score로, 예측한 방향이 정답 방향에서 20도 이내일 때 localization도 맞았다고 보는 기준. 값이 클수록 좋은 성능

* DOAE는 소리 방향 오차로, 정답 방향과 모델이 예측한 방향 사이의 각도 차이. 값이 작을수록 좋은 성능

* RDE는 Relative Distance Error, 거리 오차 계열 지표로 예측한 거리와 실제 거리 차이를 평가. 값이 작을수록 좋은 성능

* OSA는 On-Screen Accuracy, 값이 클수록 좋은 성능

Track B에서는 약 45시간의 오디오-비주얼 학습 데이터를 사용했고, 오디오 사전학습 파라미터로 초기화된 AV SELD 모델을 미세조정하는 데 초점을 맞추었습니다. 여기서는 모두 MVANet을 채택했고, “AV SED-SCE-ONS”는 단일 오디오-비주얼 모델을 의미하며, “AV TS-SED-SCE-ONS”는 TSL 프레임워크를 통해 학습된 개선된 오디오-비주얼 모델을 의미합니다. 이 두 모델은 모두 sound event의 클래스, 방위각, 거리, 그리고 해당 이벤트가 화면 내에 있는지 여부를 동시에 예측할 수 있습니다. “AV Model Ensemble”은 여러 AV SELD 시스템과 하나의 오디오 시스템을 앙상블한 것이며, 모달 간 상보적 장점을 활용합니다. “+PP”는 2단계 후처리 방법을 사용한 것입니다. 

결과적으로 baseline보다 유의미한 성능 향상을 보였습니다. AV TS-SED-SCE-ONS 모델은 TSL을 사용하지 않은 대응 모델보다 F-score와 DOAE 지표에서 더 우수하지만 개선 폭이 크진 않았습니다. 그만큼 AV 데이터 자체의 한계가 크다고 보입니다. RDE에서는 성능이 떨어졌는데, Teacher는 거리 정보를 모르고 student가 원래 가지고 있던 비디오 기반 거리 보정 능력이 약해졌다고 생각합니다. 앙상블 모델은 baseline 대비 F1-score가 23% 향상되어 오디오-비주얼 데이터 증강과 앙상블의 이점을 보여줍니다. 후처리(+PP)는 F1-score, DOAE, OSA를 추가로 향상시켰으며, 이는 후기 단계 시각 정제의 효과를 뒷받침합니다.

---

5. Conclusion

논문을 읽으며 ResNet50-Conformer보다 3D SELD에 더 좋은 모델은 없을까 의문이 들었습니다.

① EfficientNet + Conformer

ResNet 대신 EfficientNet을 백본으로:
- 같은 파라미터로 ResNet보다 높은 정확도
- 채널/해상도/깊이를 균형있게 스케일링

ResNet:
- 구조가 단순하고 직관적
- 중간 레이어 특징 뽑기 쉬움
- 수정/변형이 자유로움

EfficientNet:
- 복합적인 스케일링 구조
- 중간 레이어 건드리기 까다로움
- 멀티태스크 출력 브랜치 붙이기 복잡

② Audio Spectrogram Transformer (AST)

스펙트로그램을 패치로 나눠서
처음부터 끝까지 순수 Transformer로 처리

장점: CNN 없이도 강력한 오디오 특징 추출
단점: 데이터가 매우 많이 필요, 위치 정보(방향) 추출에 특화되지 않음

③ Mamba (State Space Model)

2023년 등장한 새로운 구조
- Transformer의 O(n²) 문제를 O(n)으로 해결
- 긴 시퀀스에서 Transformer보다 빠름
- 아직 SELD에 많이 적용 안 됨 → 연구 여지 있음

④ EINV2 / SELDNet 계열

SELD 전용으로 설계된 모델들:
- Activity-Coupled Cartesian DOA (ACCDOA)
- Multi-ACCDOA
→ 출력 포맷 자체를 SELD에 최적화
→ 백본보다 출력 표현 방식이 핵심