Dcase Task24 [Dcase Task2] A hybrid novelty score and its use in keystroke dynamics-based user authentication (2009) 리뷰 거리 기반 이상탐지 알고리즘인 KNN Detector에 대해 소개하겠습니다. KNN Detector는 벡터를 저장해 학습하는 KNN의 원리를 따라서 정상 데이터의 Emebdding Vector를 저장해서 이후 들어오는 Test 데이터들에 대해 Training Data와 거리가 멀다면 이상 거리가 멀지 않다면 정상으로 판단하는 알고리즘입니다. 이때 거리를 판단하는 종류에도 여러가지가 있는데 이를 살펴보겠습니다. 본격적으로 들어가기 전에 KNN에 대해 간략하게 훑고 가겠습니다. KNN(K-Nearest-Neighborhoods)KNN의 학습과정은 라벨링이 된 데이터들의 벡터를 저장하는 것입니다. 새로운 벡터를 classification할 때 새로운 데이터의 벡터 주변에 분포한 K개의 벡터 들 중 다수를 이.. 2024. 8. 26. [2024 Dcase Task2] BEATs: Audio Pre-Training with Acoustic Tokenizers (2022) Dcase Task2 우승팀의 Technical Report를 리뷰하면서 공부한 내용입니다. Abstract 저자는 Audio 모델이 Discrete-Label Prediction으로 사전 학습을 하게 될 시 High-Level Audio Semantic, Discar Redundant details 등의 이점을 얻을 수 있다고 합니다. (높은 수준의 문맥적 정보를 얻을 수 있고 오버피팅을 유발할 수 있는 불필요한 디테일을 제거할 수 있게 됩니다.) 사람이 처음 듣는 강아지 소리를 듣고도 강아지 인지 아닌지 구분할 수 있듯이 무언가를 분류하며 학습을 하게 된다는 것은 어떤 객체를 구성하는 일반적인 특징을 잡아낼 수 있음을 의미합니다. 하지만 기존(2022 년도)의 SOTA Audio SSL-Model들은.. 2024. 8. 16. [2024 Dcase Task 2 Technical Report Review] AITHU System for First-Shot Unsupervised Anomalous Sound Detection Review 지난학기에 참여한 대회 1등 팀의 Technical Report Review입니다. Dcase Task 2의 제목은 First-Shot Unsupervised Anomalous Sound Detection for Machine Condition Monitoring입니다. First-Shot에 초점을 두고 해석해 보자면 모델이 첫번 째 시도에서 기계 소리를 듣고 이상함을 감지할 수 있느냐를 묻는 것입니다. 학습 시 Normal Sound Data만을 학습한 후 Test에서 처음 Abnormal Sound를 받게 되었을 때 기계가 Abnormal한 상태인지 Normal한 상태인지 판단해 낼 수 있어야 함을 의미합니다. 학습 시 분포와 거리가 먼 새로운 분포를 탐지해 내는 Novelty Detection과 .. 2024. 8. 13. [소개]LORA: LOW-RANK ADAPTATION LORA는 PEFT(Parameter Efficietnt Finetunning)기법 중 하나입니다. PEFT(Prameter Efficient Finetunning)PEFT는 Large Model에 추가적인 Layer를 삽입하여Finetunnig 시 Large Model의 가중치는 얼리고 추가한 Layer의 가중치들만을 학습해서 학습의 연산량을 줄이는 방법입니다. Data의 수가 적을 파라미터가 많은 모델을 전체적으로 학습하게 되면 Overfitting이 일어날 수 있는데 이를 방지해 주는 역할도 하게 됩니다. LORA의 가정은 이렇습니다. “change in weights during model adaptation also has a low intrinsic rank”파인튜닝(adaptation)시에.. 2024. 7. 21. 이전 1 다음
