SELD 썸네일형 리스트형 [논문리뷰] DCASE 2025 3rd 1. IntroductionSELD는 여러 사운드 이벤트 클래스의 시간적 활성 여부를 식별하고, 활성 상태일 때 그 공간적 궤적을 추정하는 결합 작업입니다. DCASE 2025의 과제는 일상적인 영상 콘텐츠에서 추출된 stereo 오디오를 처리하는 시스템입니다. 스테레오 신호는 청자가 음원의 위치를 추론하는 데 사용하는 공간 정보를 내재적으로 포함하고 있습니다. 스테레오 오디오를 생성할 수 있는 생성형 AI 기술의 확산으로 인해, 이러한 콘텐츠 분석은 지각적 정확성뿐만 아니라 미디어 요약, 공간 장면 이해, 멀티모달 콘텐츠 분석 같은 후속 인지 작업을 위해 점점 더 중요해집니다. 이전 챌린지에서는 FOA와 같은 4채널 입력을 사용했고, 스테레오 SELD는 상하 및 전후 방향에서의 각도 모호성으로 인해 D.. 더보기 [논문리뷰] DCASE 2025 2nd 1. Introduction다채널 오디오 입력이 주어졌을 때, 음향 이벤트 위치 추정 및 탐지(SELD)는 해당 이벤트가 감지될 경우 각 목표 음향 클래스에 대해 위치 추정 결과를 출력합니다. SELD는 기계 청각 인지에서 중요하며, 스마트홈이나 오디오-비주얼 장면 이해와 같은 응용에 지원합니다. 그리고 오디오-비주얼 SELD 데이터셋은 음원 분리 및 음성 인식 향상에 기여합니다. SELD 작업은 세 작업으로 나눌 수 있습니다:음향 이벤트 탐지(Sound Event Detection, SED)도착 방향(Direction of Arrival, DoA)음원 거리 추정(Source Distance Estimation, SDE)전통적인 접근 방법은 이러한 구성 요소들을 각각 별도로 해결해왔습니다. SED에는 시.. 더보기 [논문리뷰] DCASE 2025 1st 1. IntroductionDCASE 2025 Challenge의 Task 3에서 1위한 논문입니다. 스테레오 오디오가 포함된 일반 비디오 콘텐츠에서의 sound event localization and detection(SELD) 과제입니다. 음원의 도래 방향(DOA)과 거리 추정에 더해, 오디오-비주얼 SELD 과제는 음원이 화면 안에 존재하는지 여부도 예측해야 합니다. 오디오 전용 트랙에서는 스테레오 오디오로부터 추출한 2채널 log-Mel 스펙트로그램 특징을 모델 입력으로 사용하였습니다.1차 Ambisonics(FOA)용으로 제안된 audio-visual pixel swapping(AVPS) 기법을, 좌우 채널 교환과 수평 방향 비디오 픽셀 전치를 결합하는 방식으로 스테레오 형식에 맞게 변형하여 .. 더보기 이전 1 다음
