[논문리뷰] DCASE 2025 2nd

1. Introduction

다채널 오디오 입력이 주어졌을 때, 음향 이벤트 위치 추정 및 탐지(SELD)는 해당 이벤트가 감지될 경우 각 목표 음향 클래스에 대해 위치 추정 결과를 출력합니다. SELD는 기계 청각 인지에서 중요하며, 스마트홈이나 오디오-비주얼 장면 이해와 같은 응용에 지원합니다. 그리고 오디오-비주얼 SELD 데이터셋은 음원 분리 및 음성 인식 향상에 기여합니다. SELD 작업은 세 작업으로 나눌 수 있습니다:

• 음향 이벤트 탐지(Sound Event Detection, SED)
• 도착 방향(Direction of Arrival, DoA)
• 음원 거리 추정(Source Distance Estimation, SDE)

전통적인 접근 방법은 이러한 구성 요소들을 각각 별도로 해결해왔습니다. SED에는 시간에 따라 상태가 바뀌는 현상을 모델링하는 Hidden Markov Models(HMM)을 사용했습니다. 관측된 오디오에서 뽑은 MFCC 특징값으로 hidden state를 추정하고 시간 연속성을 고려해 소리가 언제 시작되고 끝났는지를 찾을 수 있습니다. 하지만 특징값 추출을 사람이 설계해야 하고 복잡한 패턴은 잘 잡지 못합니다. 그래서 요즘은 CNN, Transformer쪽으로 넘어갑니다.

DoA에는 대표적인 도착 방향 추정 알고리즘 MUSIC을 사용했습니다. 마이크가 여러개 있을 때, 마이크에 도착하는 시간/위상이 다릅니다. 이 미세한 차이를 이용해 소리가 어느 각도에서 왔는지 추정합니다. 이 음성 신호를 signal subspace, noise subspace로 나누어 어떤 방향 θ를 가정했을 때, 그 방향에서 온 신호가 만들어낼 steering vector를 계산합니다. 이 vector가 signal subspace와 잘 맞고, noise subspace와는 거의 직교하게 되면 실제 음원 방향과 일치합니다. 각도를 하나씩 대입해 보면서 피크가 가장 큰 방향을 찾는 방식이지만, 잡음이나 잔향에 취약하고 음원이 서로 상관되어 있으면 성능이 저하됩니다.

SDE에는 DRR같은 방법이 사용되었습니다. Direct-to-Reverberant Ratio로, 직접음 에너지와 잔향음 에너지의 비율입니다. 가까운 음원일수록 DRR이 크고, 멀수록 DRR이 작아지는 경향을 이용해 거리를 추정합니다. 하지만 환경 의존성이 크고 실제 환경에서는 직접음과 잔향음을 깔끔하게 분리하기 어렵습니다.

DCASE 2019부터 2024까지의 SELD 챌린지에서는 1차 Ambisonics(FOA) 및 마이크 배열 녹음을 포함한 4채널 오디오 데이터가 사용되었지만 2025는 스마트폰, CCTV 등 일반적인 오디오 및 미디어 환경에서의 SELD 작업을 위해 스테레오 오디오 데이터를 사용합니다. 스테레오 오디오는 Z가 없고 L, R 뿐이라 방향을 완전히 특정할 수 없습니다. 특히 위아래 및 앞뒤 방향에서의 각도 모호성으로 인해, 본 연구에서는 수평(좌우) 평면에서의 방위각만 사용해 DoA를 추정했습니다.

* Ambisonics : 3D 공간 음향 표현 방식, 공간 전체 방향으로 표현하는 방법

* FOA : Ambisonics 중 가장 기본 버전. W(전체 음압=소리 크기, 방향 없음), X, Y, Z 4 채널로 공간 표현

 

본 연구에서는 ResNet-Conformer를 모델로 사용합니다. 학습 데이터셋은 오디오 채널 스와핑(ACS)과 합성 데이터 생성 방법을 결합하여 3.7배 확장했습니다. 마지막으로, DCASE 2024 SOTA에서 제안된 모델 앙상블 전략을 적용하여 SED-DoA와 SED-SDE 모델을 분리했다가 최종 출력에서 두 모델 결과를 통합하여 task 간 간섭을 감소시키고 성능을 향상시켰습니다.

---

2. Related Work

이전에는 SELD 작업이 일반적으로 SED와 DoA만을 포함했습니다. [10]에서는 DoA 추정을 회귀가 아니라 다중 방향 분류 문제로 단순화하고 CNN을 사용하여 SED와 DoA를 해결했습니다. 그러나 CNN은 frame 단위로 처리해 시간적 특징을 모델링하는 능력이 부족합니다. 그래서 [11]에서는 CRNN을 사용하는 방법이 제안되었습니다. CRNN에서 시간 정보를 반영하고 SED와 DoA를 동시에 예측하며, 두 출력은 마지막 출력 계층을 제외하고 CNN 및 RNN 모듈을 backbone 하나로 공유합니다. 그러나 CRNN은 여전히 표현력이 부족하고, long-term dependency가 약해 복잡한 시간적 의존성을 포착하는 데 한계가 있습니다.

이후 RNN보다 안정적인 ResNet-GRU, multi scale feature로 표현력이 높지만 연산량이 많은 RD3Net, long-term dependency 잘 잡고 local + global 모두 학습하는 ResNet-Conformer, Channel + Spectral + Temporal attention SELD 특화된 복잡한 구조인 CST-Former, Transformer 기반 + self-supervised pretraining 구조로, 적은 데이터에서도 성능 좋지만 tuning이 어려운 SELD-SSAST와 같은 더 표현력이 뛰어난 구조가 도입되었습니다.

모델 성능을 향상시키 위해 모델 용량을 증가시키는 것 외에도, 출력 표현을 최적화하는 전략이 있습니다. SELD는 SED와 DoA 두 개의 출력을 포함하기 때문에, 학습할 때 이 두 loss는 cross entropy, MSE로 스케일이 달라서 균형을 맞추는 게 어렵습니다. 이를 해결하기 위해 ACCDOA는 SED와 DoA 출력을 통합하며, 여기서 SED 출력은 DoA 벡터의 크기로 표현됩니다. DoA를 각도로 표현하는 대신, 카르테시안 좌표 (x, y)로 표현합니다. 

0도   (정면):       x = cos(0°)   = 1.0,  y = sin(0°)   = 0.0  → (1.0,  0.0)
45도  (오른쪽앞):   x = cos(45°)  = 0.71, y = sin(45°)  = 0.71 → (0.71, 0.71)
90도  (오른쪽):     x = cos(90°)  = 0.0,  y = sin(90°)  = 1.0  → (0.0,  1.0)
180도 (뒤쪽):       x = cos(180°) = -1.0, y = sin(180°) = 0.0  → (-1.0, 0.0)
270도 (왼쪽):       x = cos(270°) = 0.0,  y = sin(270°) = -1.0 → (0.0, -1.0)

ACCDOA는 SED 신뢰도(확률값)를 DoA 벡터의 크기에 집어넣어서 SELD를 단일 작업 문제로 바꿉니다. loss를 따로 계산하고 균형 맞출 필요 없이, 벡터 하나의 loss만 계산하면 됩니다. 이벤트가 없을 경우 벡터가 0이고, DoA는 의미 없어서 자동으로 무시합니다. 이벤트가 있을 경우 방향까지 정확히 맞춰야 loss가 작아집니다.

클래스마다 벡터를 딱 하나만 출력한다면 다중 음원이 존재하는(polyphonic) 상황에서 같은 클래스의 겹치는 음향 이벤트가 인식되지 않습니다. 이를 해결하기 위해 벡터를 여러 트랙으로 늘려 트랙 수 만큼 같은 클래스의 동시 발생을 처리할 수 있는 Multi-ACCDOA를 사용합니다. 또한 트랙을 늘리는 대신, 이벤트 독립적인 네트워크 구조로 겹치는 소리를 분리해서 처리하는 ENV2도 있습니다. DCASE 2024부터 SELD에 SDE가 추가됨에 따라, 본 연구에서는 벡터를 (x, y, d)로 확장해서 거리까지 함께 인코딩하여 SED와 SDE를 통합하는 Multi-ACCDOA-SDE를 채택했습니다. 

* ACCDOA : activity-coupled cartesian direction of arrival

---

3. PROPOSED METHOD

오디오 데이터 증강

챌린지에서 제공된 데이터셋은 약 5초 길이의 30,000개의 오디오 클립으로 구성되어 있고, train 16,214개 test 13,786개로, 총 약 41시간의 오디오이며, STASS2023 데이터셋을 Stereo SELD Data Generator로 가공하여 생성되었습니다. 본 연구에서는 데이터 증강을 학습 데이터에만 적용하고 테스트 데이터는 적용하지 않았습니다.

먼저 STASS2023의 학습 데이터에 ACS 기법을 적용하여 2(앞뒤 반전) × 2(좌우 반전) × 2(회전) 조합으로 원래 크기의 8배로 확장했습니다. 그후 Stereo SELD Data Generator를 사용하여 56,214개의 학습 샘플을 생성해 원래의 학습 데이터셋을 대체했습니다. 데이터셋을 더욱 풍부하게 만들기 위해, FSD50k와 STASS2023에서 단일 음원 오디오 샘플을 추가하여 새로운 데이터셋을 구성했습니다. Spatial Scaper를 사용하여 우리는 각각 60초 길이의 2,400개의 오디오 클립을 합성했습니다. 이후, 이 오디오들을 Stereo SELD Data Generator를 사용해 5초 길이의 40,000개의 클립으로 분할했습니다.

STASS2023의 특성과 더 유사한 데이터를 생성하기 위해 Spatial Scaper로 데이터셋을 생성할 때 기본 초기화 파라미터를 사용하지 않고, 파라미터를 조정하여 STASS2023의 특성과 더 잘 일치하도록 했습니다. 데이터 분포를 고려할 때, 1분 구간 내에서 활성 이벤트 프레임의 총 개수가 STASS2023과 일치하도록 하는 것을 우선 순위로 두었습니다. 실제 소리가 나고 있는 프레임 수가 더 많으면 편향되어 이 패턴을 외울 수 있기 때문입니다. 또한, 생성된 데이터의 polyphony 분포가 STASS2023과 일치하도록 최대 polyphony 수준을 제어했습니다. polyphony가 모델 입장에서 난이도가 완전히 다르기 때문입니다. 최종 파라미터 설정은 STASS2023 비슷하게 아래와 같습니다:

• 하나의 사운드스케이프에서 평균 foreground 이벤트 수 = 25
• foreground 이벤트 수의 표준편차 = 3
• 동시에 겹칠 수 있는 최대 이벤트 수 = 4
• 하나의 이벤트 최대 길이 = 10초

최종 데이터셋은 총 11만개의 5초 오디오 클립으로, 96,214개는 train, 13,786개는 test로 사용됩니다.

* STASS : Spatialized Two-channel Audio SceneS, 스테레오 환경에서 공간 정보(위치)가 포함된 합성 오디오 장면 데이터셋

* polyphony : 동시에 겹쳐서 나는 소리의 수

 

특징들

이전 연구에서는 FOA 형식을 주로 입력 표현으로 사용했지만 2025 과제에서는 2채널 stereo 형식을 사용합니다. 24kHz로 샘플링된 두 개의 log-Mel spectrogram을 추출합니다. STFT로 짧은 구간씩 잘라 주파수를 분석하기 위해, 480 포인트(20 ms)의 Hann window와 240 포인트(10 ms)의 hop size를 사용하여 50%씩 겹치면서 이동하며, 그 결과 257차원의 복소 스펙트럼이 생성됩니다. 사람 귀에 맞게 변환한 log-Mel spectrogram과 방향을 담은 intensity vector는 모두 128차원의 실수 벡터로 계산됩니다.

모델의 강건성을 향상시키기 위해 앙상블 시스템 중 하나에 다채널 특징을 포함시켰고, 이를 위해 스테레오 기반 채널 W+Y와 W−Y를 구성했습니다. 먼저, 원래의 stereo 채널을 합하여 W = L + R (두 채널의 합 = 전방향 성분) Y = L - R (두 채널의 차 = 좌우 방향 성분)을 생성한 다음, W+Y(왼쪽 강조), W−Y(오른쪽 강조), W 신호를 사용하여 FOA와 유사한 채널 구조를 만들면 intensity vector 계산이 더 정확해져 DoA 추정 성능이 향상됩니다. 그리고 전방향 스펙트럼의 복소 켤레(complex conjugation)와 다른 방향 채널 스펙트럼을 곱한 뒤, 실수부(real part)를 취해서 intensity vector를 계산합니다. IV 계산은 FOA일 때 4채널이라 계산이 쉽고 채널 간 시간 차이 특성을 인코딩하는 데 매우 효과적이지만, stereo일 땐 2채널이라 계산이 바로 안되기 때문에 W+Y, W-Y 같이 채널 조합을 통해 부족했던 방향 정보를 인위적으로 강화합니다. 결론적으로 IV (방향 정보) + log-Mel (소리 종류 정보)을 모델 입력으로 사용합니다.

* intensity vector : 파동의 압력과 방향을 합쳐서 소리 에너지가 어느 방향으로 흐르고 있는지 흐름 방향을 나타내는 벡터

* iv = W채널*  × X채널 의 실수부 → 소리가 앞에서 오는지 뒤에서 오는지 알 수 있음

 

네트워크 구조

imput : batch size, ch, time, Freq

ResNet-Conformer 모델을 사용하고 입력은 (B, 2, 500, 128)의 형태입니다. 입력이 주어졌을 때, ResNet은 다채널에 걸친 시간-주파수 관계를 학습하며, 동시에 채널 간 차이도 포착합니다. ResNet의 출력은 pooling 연산으로 시간 축이 1/10로 압축되고 주파수도 압축되어 (B, 64, 50, 4)가 됩니다. 그후 채널과 주파수 정보가 합쳐져서 하나의 큰 특징 벡터 C'F'로 재구성되어 Conformer에 맞는 입력으로 변환하여 (B, T/10, C'*F')로 전달되고, Conformer는 시간적 의존성을 모델링하고 특징을 더욱 정제합니다. 시간별로 예측해야 하기 때문에 F''를 각 시간 프레임마다 하나의 벡터로 표현합니다. 마지막으로, fc layer는 공통 특징을 출력 공간으로 매핑한 후, Multi-ACCDOA와 Multi-SDE 두 개의 출력 분기로 나뉘어 각각 방향과 거리 정보를 예측합니다.

실험 결과, 단일 모델에서는 하나의 fully connected 모듈을 사용했을 때, 여러 개의 loss를 동시에 사용한다는 hybrid loss 하에서 이 설계가 두 개의 분리된 fc layer를 사용하는 것보다 더 우수한 성능을 보였습니다. 즉, 같은 모델 안에서 분리하면 성능이 좋지 않습니다. 그래서 아예 모델 자체를 분리하는 앙상블 모델에서는 [18]에서 제안된 전략으로 SED-DoA 모델과 SED-SDE 모델을 통합했습니다.

(b) : SED-DoA (c) : SED-SDE, N : class 수, a : 활성 여부 0/1, x,y : 방향, d : 거리

 

네트워크 학습

학습 최대 epoch 수는 100이고, batch size는 32입니다. Adam optimizer를 learning rate scheduler와 함께 사용합니다. 초기 learning rate는 Adam에서 적절한 0.0001로 설정하고, 10 epoch 동안 성능 향상이 없을 경우 learning rate는 절반으로 감소합니다. 원본 데이터셋에 다시 맞추기 위해서 파인튜닝할 때에는 learning rate를 0.00001로 더 작게 초기화합니다. 이미 한 번 학습된 모델을 원본 데이터에 맞게 조금만 고쳐서 미세 조정해야 하기 때문입니다.

 

---

4. Results

DCASE2025 Task 3 Stereo SELD 데이터셋을 사용하여 평가했습니다. 먼저 baseline 모델을 ResNet-Conformer로 교체했을 때, 원본 데이터셋 규모에서는 눈에 띄는 성능 향상을 보였습니다. 그러나 제한된 데이터 크기로 인해, ResNet-Conformer는 F20°에서 약 10% 정도만 향상되었습니다.

성능을 더욱 향상시키기 위해 증강으로 3.7배 확장한 데이터셋으로 ResNet-Conformer를 학습한 결과, baseline 대비 F20°에서 25% 향상되었습니다. 최종 결과를 더욱 향상시키기 위해, SED-DoA와 SED-SDE 모델을 앙상블했습니다.

SED-DoA와 SED-SDE 모델 각각의 개별 성능을 평가했습니다. 한 가지 태스크를 제외할 경우, 나머지 태스크의 성능이 크게 향상됨이 명확하게 나타났습니다. (1)는 SED-DoA와 SED-SDE 모델을 직접 결합한 것입니다. (2)는 이 모델들을 원본 데이터셋에서 추가로 파인튜닝한 후 결합한 것입니다. (3)은 5채널 특징을 사용하여 SED-DoA와 SED-SDE 모델을 학습한 것입니다.

---

5. Conclusion

본 연구에서 다룬 ResNet-Conformer 기반 SELD 모델은 단일 네트워크 내에서 다중 작업(SED, DoA, SDE)을 통합적으로 학습하는 구조를 통해 효율적인 특징 추출과 시간적 의존성 모델링을 수행합니다. 특히 Multi-ACCDOA와 Multi-SDE를 결합한 출력 구조를 통해 방향과 거리 정보를 동시에 예측하는 점에서 구조적 완성도를 갖습니다.

그러나 DCASE 2025 챌린지 1위 논문과 비교하면, 접근 방식에서 차이가 존재합니다. 1위 논문은 단일 모델의 구조 개선보다는 SED-DOA, SED-SDE, SED-SCE와 같이 역할이 분리된 여러 모델을 구성하고, 이를 앙상블하여 성능을 극대화하는 전략을 채택했습니다. 또한 다양한 데이터 증강 기법과 합성 데이터 생성, 그리고 오디오-비주얼 정보까지 활용함으로써 모델의 일반화 성능을 크게 향상시켰습니다.

결과적으로, 본 논문이 모델 구조 중심의 접근인 반면, 1위 논문은 데이터, 모델 분리, 앙상블을 결합한 시스템 수준의 최적화를 통해 더 높은 성능을 달성하였습니다. 이러한 차이는 SELD 문제에서 단일 모델 설계뿐 아니라 데이터 다양성과 다중 모델 결합 전략이 성능 향상에 핵심적인 요소임을 시사합니다.