CS224N Dependency Parsing (win 2021) 오랜만에 글을 쓰네요.. 요즘 정신이 없어서 ㅎㅎ... 본 포스팅은 cs224n 스터디를 하면서 필자가 공부한 내용을 기록하는 데에 의의가 있습니다! 혹시 틀리거나 보충하고 싶으신 (궁금하거나!) 내용은 댓글로 넣어주시면 대댓하겠습니다! cs224n 4번째 강의는 Dependency Parsing이라는 주제를 다루며 각 문장의 문법적인 구성이나 구문을 분석하는 과정인 pasing을 다루고 있습니다. Pasing - 각 문장의 문법적인 구성 또는 구문을 분석하는 과정을 의미합니다. - 이를 통해 구문 분석 트리를 구성하는 과정도 포함되어 있습니다. Constituency Parsing - 문장 분석을 하는 방법 중 하나로 본 강의에서는 context-free grammars 와 같다고 합니다. (*CFGs.. 2023. 10. 6. [논문 리뷰] Neural Machine Translation by Jointly Learning to Align and Translate 읽고 난 후 Transformer 논문이 발표되기 전 Attention 개념을 적용시켰다는 것이 놀라웠습니다. Abstraction 기존 NMT(Neural Machine Translation) 은 고정된 길이의 vector를 사용해서 병목현상이 발생 그래서 긴 문장에 대한 번역 성능이 좋지않다. 그래서 decoder에서 하나의 결과를 만들어 낼 때마다 입력문장을 순차적으로 탐색하고 가장 관련있는 영역을 적용해서 다시 target 문장을 만든다. 그래서 가변적인 context vector 생성이 가능해진다. - 이때 Attention에 대한 개념이 등장한듯 싶습니다. RNN Encoder-Decoder Encoder : 입력값 Xt 에 대해서 ht를 순,역방향으로 구하고 이걸 concate 시킵니다. 이.. 2023. 8. 29. [논문 리뷰] Sequence to Sequence Learning with Neural Networks 이제부터 리뷰는 간단하게 작성하려고 합니다 읽고 난 후 상대적으로 예전에 나왔고 Transformer 논문에 비해 쉬워서 빨리 읽을 수 있었습니다 이 논문에서 가장 인상 깊었던 건 입력 문장을 뒤집음으로써 성능을 향상시켰다는 것인데 사실 아직 왜 입력 문장을 뒤집는다고 성능이 향상되는지 정확하게 모르겠지만 이런 간단한 방법으로도 성능을 향상시킬 수 있다는 게 그저 놀라울 따름이었습니다. 이상으로 Seq2Seq 관련 논문 리뷰를 마치겠습니다 Abstract In this paper, we present a general end-to-end approach to sequence learning that makes minimal assumptions on the sequence structure. Our me.. 2023. 8. 15. [논문 리뷰] Efficient Stereo Depth Estimation for Pseudo-LiDAR: A Self-Supervised Approach Based on Multi-Input ResNet Encoder 읽고 난 후 너무 어렵습니다... 제목 그대로 3D object Detection이 아니라 Stereo Depth 추정을 중심으로 실험한 논문입니다. U-Net Architecture를 사용한 모델로 이전 여러 모델을 수정해서 제안된 모델로 실시간 operating performance가 가능하다고도 하네요. 기존에는 이미지 한 장을 넣어서 특징을 추출했다면 본 논문에서 제안한 모델은 이미지 한쌍을 요구합니다. 그래서 하나를 특징을 추출하는 주요 이미지로 삼고요. 이 두장의 이미지를 이용해서 depth 를 뽑아내고 뽑아낸 depth z를 가지고 point cloud를 그리는 방식인 듯 합니다. 이때 U-Net을 사용하구요. 더 자세한 부부은 제가 이해를 못해서 개괄적인 부분만 설명드렸습니다! Abstra.. 2023. 7. 29. 이전 1 2 3 4 5 다음
