DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection (CVPR 2022) Abstract 일반적인(prevalent) multimodal 방법[PointPainting, PointAugmenting]들은 단순히 LiDAR point cloud에 카메라 특징을 추가하고 이를 기존 3D detection model에 직접 입력한다. 연구에 따르면 raw LiDAR point 대신 deep lidar feature를 camera feature와 fusion하면 성능이 향상될 수 있을 보였다. 하지만 이러한 feature들은 augmented 및 aggregated 되므로, 어떻게 두 modality간의 변형된 feature를 효과적..

forward = lambda x: self.forward(x)[0] if isinstance(m, (Segment, Pose)) else self.forward(x) 'lambda'는 python에서 익명 함수를 정의하는 키워드이다. 이 코드에서는 forward라는 이름의 lambda 함수를 정의하고 있다. 이 함수는 x라는 인자를 받아들인다. ex) (lambda x,y: x+y)(10,20) = 30 isinstance(m , (Segment, Pose)) - 'm'의 instance가 Segment혹은 Pose와 동일한가? True or False

Self-Supervised Generalisation with Meta Auxiliary Learning 중.. Learning with auxiliary tasks can improve the ability of a primary task to generalise. 보조 task와 함께 학습하는 것은 primary task의 일반화 능력을 향상시킬 수 있음. Intro Auxilairy learning is a method to improve the ability of a primary task to generalise to unseen data, by training on additional auxiliary tasks alongside this primary task. auxiliary learn..

CGAN을 공부해 보자. GAN $$_{\ G}^{min}\ _{\ D}^{max}\ V(D, G)\ =\ \mathbb{E}_{x\sim p_{data}(x)}[log D(x)]\ +\ \mathbb{E}_{z\sim p_{z}(z)}[log (1-D(G(z)))]$$ 지난번 공부했던 [GAN] Generative Adversarial Nets은 생성모델 G가 real data분포를 따라가며 판별모델 D를 속여서 그럴싸한 데이터를 생성해 내는 모델이었다. 이때 생성모델 G는 랜덤한 vector z를 입력으로 받아 무작위로 생성하므로 원하는 데이터를 뽑아낼 수 없었다. CGAN에서는 이 부분을 보완한다. CGAN $$_{\ G}^{min}\ _{\ D}^{max}\ V(D, G)\ =\ \mathbb{E..

생성 모델 중 하나인 GAN에 대해 알아보자. Two-Player Minimax Game 저자는 Generator를 Counterfeit $($위조지폐범$)$에, Discriminator를 Police $($경찰$)$에 비유한다. 위조지폐범이 위조지폐를 만들면 경찰은 그 지폐가 진짜인지 가짜인지 판별하게 된다. 처음에는 기술이 부족한 위조지폐범이 엉터리 지폐를 만들어 쉽게 가짜라는 것을 들킬 것이다. 하지만 도둑도 학습을 잘 하고 있다면 점차 진짜같은 돈을 만들어 경찰도 진짜 지폐인지 가짜 지폐인지 구분하기 힘든 수준까지 오게 될 것이다. 이처럼 Discriminator에게 real image를 보여주면서 진짜와 가짜를 판단할 수 있도록 학습시키고, Generator는 fake image를 real im..