박경문 교수님 연구실 (Artificial General Intelligence Lab.)ECCV 2024 총 3편 게재 승인
Artificial General Intelligence Lab. (지도교수: 박경문)에서 컴퓨터 비전 분야의 Top-Tier 학술 대회인 European Conference on Computer Vision 2024 (ECCV 2024)에 구두 발표 세션 1편, 포스터 발표 세션 2편으로 총 3편의 논문이 게재 승인되었습니다. 이 중 구두 발표 (oral presentation) 세션의 경우, 경희대학교에서는 처음으로 컴퓨터 비전 분야의 Top-Tier 학술 대회 (CVPR, ECCV, ICCV)에 구두 발표로 승인되었으며, 게재 승인된 논문 중 약 2.3%를 추가로 선별하여 학회 현장에서 발표 기회가 주어집니다.
논문 제목: Towards Model-Agnostic Dataset Condensation by Heterogeneous Models
Dataset Condensation은 대량의 데이터셋에서 최대한 학습효과를 유지한 채로 소량의 샘플을 합성하는 기술이다. 기존의 많은 연구들은 매우 작은 크기의 모델에서 적용 및 실험되어왔다. Dataset Condensation은 distribution alignment와 training trajectory tracking의 방법으로 다양하게 연구되었지만, 방법론과 성능은 매우 작은 모델에서만 실험되어 실용적 크기의 모델에서 검증된 바가 없다. 본 논문에서는 실제로 이러한 이미지를 실제 practical-size의 모델에 적용하였을 때 실제로는 randomly selected images 보다 못한 성능을 보이는 것을 발견하였다. 이러한 문제를 over-condensation으로 정의하고 이를 해결하기 위해 이기종의 모델을 도입하여 이들 사이의 Mutual Distillation (MD)을 통해 긴장관계를 유지함으로써 일반적인 특징을 추출하고자 하였다. 이 과정에서 발생하는 dimension의 차이를 메우기 위해 Spatial-Semantic Decomposition (SSD)를, 그래디언트 차이 문제를 해결하기 위해 Gradient Balance Module (GBM)을 적용하였다. 그 결과 기존 방법들과는 달리 ViT-Base와 같은 practical-sized model에서도 학습 가능한 general한 feature가 추출되는 것을 실험적으로 검증하였다.
[논문 정보]
Towards Model-Agnostic Dataset Condensation by Heterogeneous Models
Jun-Yeong Moon, Jung Uk Kim, and Gyeong-Moon Park
European Conference on Computer Vision (ECCV), 2024, (Oral Presentation)
Abstract:
The advancement of deep learning has coincided with the proliferation of both models and available data. The surge in dataset sizes and the subsequent surge in computational requirements have led to the development of the Dataset Condensation (DC). While prior studies have delved into generating synthetic images through methods like distribution alignment and training trajectory tracking for more efficient model training, a significant challenge arises when employing these condensed images practically. Notably, these condensed images tend to be specific to particular models, constraining their versatility and practicality. In response to this limitation, we introduce a novel method, Heterogeneous Model Dataset Condensation (HMDC), designed to produce universally applicable condensed images through cross-model interactions. To address the issues of gradient magnitude difference and semantic distance in models when utilizing heterogeneous models, we propose the Gradient Balance Module (GBM) and Mutual Distillation (MD) with the Spatial-Semantic Decomposition method. By balancing the contribution of each model and maintaining their semantic meaning closely, our approach overcomes the limitations associated with model-specific condensed images and enhances the broader utility.
논문 제목: Online Continuous Generalized Category Discovery
"Online Continuous Generalized Category Discovery" 논문은 기존 Continual Generalized Category Discovery의 Offline 학습으로 인해 데이터의 생성과 소멸과 같은 실생활의 데이터의 연속성을 고려하지 못함을 한계로 지적하며, 데이터의 연속성을 고려하는 Online 학습 시나리오를 제안하며, 이를 위한 학습방식인 DEAN을 제시합니다. Category Discovery의 어려움, Pseudo-label을 통한 부정확한 학습, 그리고 연속 학습으로 인한 파괴적 망각현상을 해결하기 위해, Energy-guided Discovery, Variance-based Feature Augmentation, 그리고 Energy-based Contrastive Loss를 제안합니다. 이를 통해 제시된 OCGCD 시나리오에서 기존 CGCD 학습 방식들에 비해 낮은 Forgetting과 뛰어난 Category Grouping Performance를 달성하였습니다.
[논문 정보]
Online Continuous Generalized Category Discovery
Keon-Hee Park, Hakyung Lee, Kyungwoo Song, and Gyeong-Moon Park
European Conference on Computer Vision (ECCV), 2024
Abstract:
With the advancement of deep neural networks in computer vision, artificial intelligence (AI) is widely employed in real-world applications. However, AI still faces limitations in mimicking high-level human capabilities, such as novel category discovery, for practical use. While some methods utilizing offline continual learning have been proposed for novel category discovery, they neglect the continuity of data streams in real-world settings. In this work, we introduce Online Continuous Generalized Category Discovery (OCGCD), which considers the dynamic nature of data streams where data can be created and deleted in real time. Additionally, we propose a novel method, DEAN, Discovery via Energy guidance and feature AugmentatioN, which can discover novel categories in an online manner through energy-guided discovery and facilitate discriminative learning via energy-based contrastive loss. Furthermore, DEAN effectively pseudo-labels unlabeled data through variance-based feature augmentation. Experimental results demonstrate that our proposed DEAN achieves outstanding performance in proposed OCGCD scenario.
논문 제목: Versatile Incremental Learning: Towards Class and Domain-Agnostic Incremental Learning
"Versatile Incremental Learning: Towards Class and Domain-Agnostic Incremental Learning" 논문은 기존 연속 학습이 클래스만 증가하거나 (Class Incremental) 도메인만 증가하는 (Domain Incremental) 상황을 주로 다룬 다는 한계를 극복하기 위해, 이후 태스크에서 클래스 또는 도메인, 또는 두 가지가 한꺼번에 증가할지에 대한 사전 지식이 없는 Versatile Incremental Learning (VIL)을 제안합니다. 이와 함께 VIL에서 발생할 수 있는 문제를 해결할 수 있는 새로운 프레임워크 ICON을 제안합니다. VIL에서 모델이 연속적으로 변하는 입력 태스크 흐름에 대하여 지식을 효과적으로 축적하기 어렵다는 문제를 해결하기 위해 클러스터 기반 어댑터 변화 제어 방법을 제안합니다. 또한, 다른 도메인에 대해 학습할 시 분류기에서 발생하는 semantic drift를 해결하기 위해 출력 노드를 동적으로 늘릴 수 있는 증분 분류기를 제안합니다. 이를 통하여 본 논문에서는 VIL을 포함한 여러 연속 학습 시나리오에서 이전 지식을 유지하며 catastrophic forgetting 없이 새로운 지식을 효과적으로 학습할 수 있다는 것을 다양한 실험을 통해 보여주었습니다.
[논문 정보]
Versatile Incremental Learning: Towards Class and Domain-Agnostic Incremental Learning
Min-Yeong Park, Jae-Ho Lee, and Gyeong-Moon Park
European Conference on Computer Vision (ECCV), 2024
Abstract:
Incremental Learning (IL) aims to accumulate knowledge from sequential input tasks while overcoming catastrophic forgetting. Existing IL methods typically assume that an incoming task has only increments of classes or domains, referred to as Class IL (CIL) or Domain IL (DIL), respectively. In this work, we consider a more challenging and realistic but under-explored IL scenario, named Versatile Incremental Learning (VIL), in which a model has no prior of which of the classes or domains will increase in the next task. In the proposed VIL scenario, the model faces intra-class domain confusion and interdomain class confusion, which make the model fail to accumulate new knowledge without interference with learned knowledge. To address these issues, we propose a simple yet effective IL framework, named Incremental Classifier with Adaptation Shift cONtrol (ICON). Based on shifts of learnable modules, we design a novel regularization method called Cluster-based Adaptation Shift conTrol (CAST) to control the model to avoid confusion with the previously learned knowledge and thereby accumulate the new knowledge more effectively. Moreover, we introduce Incremental Classifier (IC) which expands its output nodes to address the overwriting issue from different domains corresponding to a single class while maintaining the previous knowledge. We conducted extensive experiments on three benchmarks, showcasing the effectiveness of our method across all the scenarios, particularly in cases where the next task can be randomly altered. Our implementation code is available at https://github.com/KHU-AGI/VIL.
2024.08.06