- [논문 리뷰] Let's Verify Step by Step 읽고 난후그렇다면 verify를 한 각 step에 대한 edit을 하면 성능향상이 되지 않을까? 들어가기 전Review를 통해 이해한 걸 바탕으로 먼저 이야기를 하면 수학 문제를 LLM이 풀 때 Reasoning Path를 생성하면서 최종 output을 생성함, 근데 이 Reasoning Path를 Solution이라고 하며 각 Solution에서 여러가지 Reasoning Path가 진행이 됨 여기서 각각의 Reasoning Path가 옳은지 PRM이라는 Classifier를 통해서 판단을 함.그렇다면 해당 논문에서 제안하는 건 어떤 Solution에 대한 개선보다는 더 좋은 Solution을 선택하는 Classifier를 제안하는 건가? 하는 생각이 들었음그래서 사실 아직 논문을 읽기 전에 던졌던 2..
- [논문 리뷰] PROMPTAGENT: STRATEGIC PLANNING WITH LARGELANGUAGE MODELS ENABLES EXPERT-LEVELPROMPT OPTIMIZATION paper lint : https://openreview.net/pdf?id=22pyNMuIoa 읽고 난 후Prompt Engineering을 Strategic Planning Promblem으로 생각해서 MCTS를 적용한다는 아이디어 자체가 인상 깊었음Appendix를 읽어야 할 것 같배경지식strategic planning : 조직이 전략이나 방향을 정의하고, 전략적 목표를 달성하기 위해 자원을 할당하는 결정을 내리는 프로세스Monte Carlo Tree Search(MCTS): Tree Search 방법들 중 하나이고 MDP를 해결하는 방법의 한 종류이다. 틱택토 게임을 예로 들면, 현재 상황에서 가능한 모든 경우의 수들을 tree 형태로 뻗어나가며 좋은 수인지 판단한 후 가장 좋은 수를 선택하..
- [논문 리뷰] Dense Passage Retrieval for Open-Domain Question Answering https://arxiv.org/pdf/2004.04906.pdf Dense Passage Retrieval for Open-Domain Question Answering 요약 : 기존의 Sparse 한 Vector에서 Retrieve를 하는 게 아닌 Dense Passage Retrieval을 통해 QA를 더 효율적으로 할 수 있게 한다. 내가 이해한 바로 Dense Passage는 Docs를 Passage로 쪼개고 이 passage를 batch 단위로 나눠서 (Q, p-정답, p-오답, 오답...) 으로 한 다음에 B(B-1) 만큼 학습 데이터를 확보하도록 함 ------- https://gbdai.tistory.com/72 본 연구에서 제안하는 dense passage retriever(DPR)는 ..
- [논문 리뷰] FINETUNED LANGUAGE MODELS ARE ZERO-SHOTLEARNERS (FLAN) https://arxiv.org/pdf/2109.01652.pdf Abstract 본 논문은 FLAN 이라는 모델을 소개합니다. 그리고 궁극적인 목표는 LM의 Zero-shot Learning 능력을 향상시키기 위한 simple method를 찾는 것이라고 이야기합니다. 그래서 그 방법으로 instruction-tuning을 보여주며 이 학습 방법이 zero-shot 에 대한 ability를 향상시킨다고 주장합니다. 그리고 Instruction tuned 된 모델을 FLAN 이라고 소개하죠. FLAN은 137B이며 60여개의 NLP 데이터셋들로 instruction-tuned 시켰다고 합니다. instruction-tuning 은 위와 같이 NLP Tasks를 언어 모델에 지시사항과 함께 넣어 주어 학습..
- [논문 리뷰] MULTITASK PROMPTED TRAINING ENABLESZERO-SHOT TASK GENERALIZATION (T0) https://arxiv.org/pdf/2110.08207.pdf Abstract 명시적 학습에 의해 zero shot 생성이 유도 될 수 있을까? 라는 질문에서 출발해서 다양한 Task를 다루는 멀티 task 혼합물을 encoder-decoder 모델에 fine-tune 시킴으로써 증명했다. Introduction 그 모델이 T0라는 모델이다. 모델의 구조는 추후 설명하겠지만 위와 같이 다양한 multi-task를 학습 시킴으로써 아래와 같이 학습할 때는 본적 없는 NLI에 대해 답을 할 수 있도록 하는 것이 목적이겠다. 참고로 모델이 pretrain 될 때 zero shot을 위한 정보들이 모델에 학습된다는 이야기도 하고 있다. 그게 암묵적인 가정이라고 하신다. Related Work *Multita..