[논문 리뷰] Neural Machine Translation by Jointly Learning to Align and Translate 읽고 난 후 Transformer 논문이 발표되기 전 Attention 개념을 적용시켰다는 것이 놀라웠습니다. Abstraction 기존 NMT(Neural Machine Translation) 은 고정된 길이의 vector를 사용해서 병목현상이 발생 그래서 긴 문장에 대한 번역 성능이 좋지않다. 그래서 decoder에서 하나의 결과를 만들어 낼 때마다 입력문장을 순차적으로 탐색하고 가장 관련있는 영역을 적용해서 다시 target 문장을 만든다. 그래서 가변적인 context vector 생성이 가능해진다. - 이때 Attention에 대한 개념이 등장한듯 싶습니다. RNN Encoder-Decoder Encoder : 입력값 Xt 에 대해서 ht를 순,역방향으로 구하고 이걸 concate 시킵니다. 이.. 2023. 8. 29. [논문 리뷰] Sequence to Sequence Learning with Neural Networks 이제부터 리뷰는 간단하게 작성하려고 합니다 읽고 난 후 상대적으로 예전에 나왔고 Transformer 논문에 비해 쉬워서 빨리 읽을 수 있었습니다 이 논문에서 가장 인상 깊었던 건 입력 문장을 뒤집음으로써 성능을 향상시켰다는 것인데 사실 아직 왜 입력 문장을 뒤집는다고 성능이 향상되는지 정확하게 모르겠지만 이런 간단한 방법으로도 성능을 향상시킬 수 있다는 게 그저 놀라울 따름이었습니다. 이상으로 Seq2Seq 관련 논문 리뷰를 마치겠습니다 Abstract In this paper, we present a general end-to-end approach to sequence learning that makes minimal assumptions on the sequence structure. Our me.. 2023. 8. 15. [논문 리뷰] Efficient Stereo Depth Estimation for Pseudo-LiDAR: A Self-Supervised Approach Based on Multi-Input ResNet Encoder 읽고 난 후 너무 어렵습니다... 제목 그대로 3D object Detection이 아니라 Stereo Depth 추정을 중심으로 실험한 논문입니다. U-Net Architecture를 사용한 모델로 이전 여러 모델을 수정해서 제안된 모델로 실시간 operating performance가 가능하다고도 하네요. 기존에는 이미지 한 장을 넣어서 특징을 추출했다면 본 논문에서 제안한 모델은 이미지 한쌍을 요구합니다. 그래서 하나를 특징을 추출하는 주요 이미지로 삼고요. 이 두장의 이미지를 이용해서 depth 를 뽑아내고 뽑아낸 depth z를 가지고 point cloud를 그리는 방식인 듯 합니다. 이때 U-Net을 사용하구요. 더 자세한 부부은 제가 이해를 못해서 개괄적인 부분만 설명드렸습니다! Abstra.. 2023. 7. 29. [논문 구현] Attention Is All You Need 출처 : https://cpm0722.github.io/pytorch-implementation/transformer [NLP 논문 구현] pytorch로 구현하는 Transformer (Attention is All You Need) Paper Link cpm0722.github.io 저도 http://nlp.seas.harvard.edu/2018/04/03/attention.html 하버드 NLP를 보고 따라하고 싶었지만 그렇게하면 시간이 진짜 너무 오래 걸릴거 같아서 이미 고생해주신 cpm님을 따르기로 했습니다...ㅎ ps. 와 근데 진짜 양이 쉽지 않네요 ㅎㅎ... Transformer에서 input sentence는 전처리되서 tokenziation, word2idx, embedding을 거친 .. 2023. 7. 26. 이전 1 2 3 4 5 다음
