논문/self-supervised2 Emerging Properties in Self-Supervised Vision Transformers_ICCV_2021 Abstract 이논문은 VIT에서 새로운 question이 있었다고합니다. 거기다가 더 나아가서 self-supervised를 VIT에 적용시키고싶었다고합니다. self-supervised VIT의 feature들은 이미지의 segmantic segmentation의 명확한 정보를 포함합니다. 그러나 VIT에서만큼 명백하게 특징들이 드러나지는 않습니다. 그리고 학습된 feature들에 대해 k-NN classifier로 성능을 측정해보았는데 imagenet 데이터에 대하여 top-1 acc가 78.3%에 도달하였다고 합니다. 그리고 이 저자는 momentum encoder와 multi-crop training과 Vit의 small patch들을 중요하게 생각했다고합니다. 그리고 간단한 self-surp.. 2023. 8. 11. Robust and Efficient Medical Imaging with Self-Supervision 논문정리 현재의 의료연구는 전문가적으로 도달했습니다. 그러나 이러한 연구는 차선이거나 정규분포에서 벗어난 부분을 억지로 가져왔다고 합니다. 그래서 데이터의 효율적인 일반화의 문제가 생긴다고합니다. 이것은 의료AI 개발에서 항상 어려움으로 대두되고있는 문제라고합니다. 대부분의 연구는 항상 데이터셋에 치중된 지표만 보여주는데 사실 현실에서는 그러기가 쉽지않습니다. 현실데이터셋을 test해보면 성능이 좋지않게 나오는데 이논문은 이 방법으로 11.5%까지 성능을 증가시켰다고합니다. 이논문 제목인 REMEDIS라는 방법을 새로 제안을한다고합니다. 논문은 ID(in-distribution)와 OOD(out-of-distribution)을 제안합니다. ID환경에서 AI모델의 평가 데이터는 훈련데이터와 비슷하다고 합니다. 반면.. 2023. 7. 26. 이전 1 다음
