CS224N Dependency Parsing (win 2021) 오랜만에 글을 쓰네요.. 요즘 정신이 없어서 ㅎㅎ... 본 포스팅은 cs224n 스터디를 하면서 필자가 공부한 내용을 기록하는 데에 의의가 있습니다! 혹시 틀리거나 보충하고 싶으신 (궁금하거나!) 내용은 댓글로 넣어주시면 대댓하겠습니다! cs224n 4번째 강의는 Dependency Parsing이라는 주제를 다루며 각 문장의 문법적인 구성이나 구문을 분석하는 과정인 pasing을 다루고 있습니다. Pasing - 각 문장의 문법적인 구성 또는 구문을 분석하는 과정을 의미합니다. - 이를 통해 구문 분석 트리를 구성하는 과정도 포함되어 있습니다. Constituency Parsing - 문장 분석을 하는 방법 중 하나로 본 강의에서는 context-free grammars 와 같다고 합니다. (*CFGs.. 2023. 10. 6. [논문 리뷰] Neural Machine Translation by Jointly Learning to Align and Translate 읽고 난 후 Transformer 논문이 발표되기 전 Attention 개념을 적용시켰다는 것이 놀라웠습니다. Abstraction 기존 NMT(Neural Machine Translation) 은 고정된 길이의 vector를 사용해서 병목현상이 발생 그래서 긴 문장에 대한 번역 성능이 좋지않다. 그래서 decoder에서 하나의 결과를 만들어 낼 때마다 입력문장을 순차적으로 탐색하고 가장 관련있는 영역을 적용해서 다시 target 문장을 만든다. 그래서 가변적인 context vector 생성이 가능해진다. - 이때 Attention에 대한 개념이 등장한듯 싶습니다. RNN Encoder-Decoder Encoder : 입력값 Xt 에 대해서 ht를 순,역방향으로 구하고 이걸 concate 시킵니다. 이.. 2023. 8. 29. [구름톤 챌린지] 1주차 2일차 문제 "프로젝트 매니징" N개의 기능개발을 해야하고 i번째 기능을 개발할 때 필요한 시간은 ci라고 하네요 작업 시작 시간이 T시 M분이라면 모든 개발을 끝마친 시간을 구하는 문제입니다 입력값으로 총 4개의 값이 주어져요 기능의 개수인 N, 시간을 나타내는 T,M 마지막으로 N개와 같은 Ci 가 주어집니다. 예시로 3 10 10 50 22 23 이렇게 입력값이 주어져요 이 입력값의 출력값으로 11 45가 나와야 한다고 합니다. 제가 생각한 풀이는 다음과 같아요 먼저 Ci 의 값을 list로 받고 총합을 구해요 그리고 이 합을 60으로 시간과 분을 구해서 T와 M에 더해줘요 그리고 M이 60이 넘는다면 T에 그 값을 더해주고 M을 정리해줘요. 그리고 T는 0~23 까지의 숫자만 표시할 수 있으니 T % 24로 처리해주면 문제가 풀.. 2023. 8. 16. [논문 리뷰] Sequence to Sequence Learning with Neural Networks 이제부터 리뷰는 간단하게 작성하려고 합니다 읽고 난 후 상대적으로 예전에 나왔고 Transformer 논문에 비해 쉬워서 빨리 읽을 수 있었습니다 이 논문에서 가장 인상 깊었던 건 입력 문장을 뒤집음으로써 성능을 향상시켰다는 것인데 사실 아직 왜 입력 문장을 뒤집는다고 성능이 향상되는지 정확하게 모르겠지만 이런 간단한 방법으로도 성능을 향상시킬 수 있다는 게 그저 놀라울 따름이었습니다. 이상으로 Seq2Seq 관련 논문 리뷰를 마치겠습니다 Abstract In this paper, we present a general end-to-end approach to sequence learning that makes minimal assumptions on the sequence structure. Our me.. 2023. 8. 15. 이전 1 2 3 4 5 6 ··· 11 다음
