[논문 리뷰] Attention Is All You Need 후우... 왔습니다. Transformer 이 친구 예전에 한번 봤는데 저한텐 굉장히 어려웠었어요. 그래서 관련 개념만 찍먹하고 넘어가려고 했는데 논문 리뷰 스터디에서 발표 주제를 정하는데 뭔가.. 기본이 중요하지.. 라는 객기를 부려서 이 논문을 선택하게 되었습니다. 워낙 유명한 논문이니만큼 조심해야겠죠...? ㅋㅋㅋㅋㅋ 한번 해볼게요! 읽고 난 후 확실히 어려운 논문이었습니다. 사실 강의 3개 + 지인에게 물어보기 등등 해도 아직 이해하지 못한 부분이 꽤 많네요... 신기술의 근간인만큼 굉장히 중요한 논문이라고 생각하며 이제 앞서 Transformer를 구현하신 분의 블로그를 따라 구현을 시작하려고 합니다. 화이팅...! Abstract 기존 모델은 순환형이나 합성곱 신경망을 기반으로 인코더와 디코더.. 2023. 7. 24. [논문 리뷰] The Power of Scale for Parameter-Efficient Prompt Tuning 본 논문은 세세하게 리뷰하는 것이 아닌 제가 생각했을 때 중요한 내용과 흥미롭다고 생각한 내용들만 모아서 리뷰하는 방식으로 진행해보도록 하겠습니다. 읽고 난 후 Abstract 를 읽으면서 궁금했던 점이 2가지였는데 하나는 뭐, 어떤 method를 사용하는가? 였고 다른 하나는 어떤 원리로 인해 soft prompt가 상대적으로 적은 parameters로 full fine tuning성능을 낼 수 있는 거지? 였습니다. 첫번째 궁금점 prompt에 embedding을 적용시키는 것으로 (이때 초기화하는 방법은 여러가지가 있습니다) 해소되었고 두번째는 prompt를 학습 가능하게 만들어서 prompt를 바꾼다. 이게 정말 신기했습니다. label에 맞춰서, loss를 최소화하기 위해 모델 내부의 param.. 2023. 7. 21. [논문 리뷰] End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection 음.. 본 논문을 리뷰한 글이 보이지 않네요... 왜일까요... 혹시 제가 처음...? 뭔가 살짝 쌔하긴한데... 한번 읽어보도록 하겠습니다! 본 논문에 들어가기 앞서 제목 먼저 분해해보겠습니다. 지난 논문 리뷰와 완전 흡사합니다. 실제 LiDAR를 사용하지 않고도 LiDAR와 유사한 depth information을 생성해서 3D 객체를 감지하는 방법에 대해서 이야기합니다. end-to-end : 입력에서 출력까지의 과정이 명확하게 구조화되어 있다는 것을 의미합니다. 이 모델은 복잡한 전처리 단계 없이 원시 입력 데이터(이 경우 이미지)를 받아들이고, 원하는 결과(이 경우 3D 객체 감지)를 직접 출력합니다 읽고 난 후 해당 논문은 3D depth map 과 3D object detection을 연결시.. 2023. 7. 19. [논문 리뷰] Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving (2019) "어떤 Input을 넣느냐에 따라 너의 뇌가 바뀐다" 읽고 난 후 먼저 정리를 해보자면 LiDAR은 비쌉니다. 그래서 맨 처음 Image를 기반으로 depth map을 예측해서 3D Object Detection을 하는 방법이 나왔지만 Convolution Network에서 2가지 문제점(1. 인근 pixel을 동일한 깊이로 인식한다 2. 멀리있는 객체를 가까운 객체로 인식한다)를 가지고 있어서 실제 LiDAR에 비해 정확도가 많이 떨어진다고 합니다. 그런데 논문에서는 정확도가 낮은 이유는 data의 quality가 아니라 data 의 representation의 문제라고 말합니다. 여기서 representation이 뭐냐면 data를 가지고 예측을 때릴 때 사용되는 기법이라고 생각하면 좋을 거 같습니다.. 2023. 7. 13. 이전 1 2 3 4 5 다음
