기록일지

https://school.programmers.co.kr/learn/courses/30/lessons/42891 프로그래머스코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요.programmers.co.kr 문제요약:리스트를 앞에서부터 1씩 뺄 때, 0이 되면 지나치고 끝이면 다시 앞으로 돌아온다. k번째 빼면 몇번자리인지 구하시오 from collections import Counter,dequedef solution(food_times,k): food= list(set(food_times[:])) food.sort() c = Counter(food_times) l = len(fo..

코딩테스트/그리디 2024. 9. 9. 12:41

BART : Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation and Comprehension(2019)https://arxiv.org/abs/1910.13461 AbstractBART는 사전학습된 seq2seq 모델인 Denosing auto-encoder 입니다. 임의의 노이즈 함수로 Text들을 손상시킨뒤 원본 text를 복구하는 과정으로 학습됩니다. Transformer구조를 사용하며, 이는 BERT와 GPT구조를 일반화 시켜 사용하였습니다. Instruction자기지도 학습법(self-supervised methods)은 NLP에서 여러 성공을 거두었는데, 가장 성공적인 방법은 일부 단어..

논문 2024. 8. 11. 12:37

LoRA : Low-Rank Adaptation of Large Language Models(2021)https://arxiv.org/abs/2106.09685 대규모 LLM들의 파인튜닝 문제점자연어처리의 중요한 패러다임 중 하나는 파인튜닝을 하는것인데, 모델의 크기가 커질 수록 이는 점점더 힘들어집니다. 예를들면 GPT-3 175B의 경우 1750억개의 매개변수를 가지고 있기 때문에 이를 파인튜닝하려면 시간과 비용이 많이 소모됩니다. 많은 연구자들이 일부 파라미터만 파인튜닝 하거나 외부모듈을 학습하여 이를 완화하려고 시도했지만, 이것이 모델의 깊이를 확장하거나 모델의 사용가능한 시퀀스 길이를 줄여 추론지연을 유발했었습니다. 이런것들이 효율성과 모델 품질간의 트레이드 오프를 초래합니다.저자는 이를 개선하..

논문 2024. 7. 28. 15:18

GPT : Improving Language Understanding by Generative Pre-Training (2018)https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf 기존 방법의 문제점Data set 들이 labeled dataset보다 unlabeled datasets이 훨씬 많기 때문에 이것들을 활용할 수 없을까 라는 고민에서 시작되었고, 이 Data들을 Generative Pre-Training으로 활용하여 텍스트의 일반적인 언어 구조와 패턴을 학습하고, 후에 labeled data로 Specific task를 위해 튜닝한다면 훨씬 더 좋은 결과를 얻을 수 있습니다. GPT의 모델 구조GPT에서는 기존 Tra..

논문 2024. 7. 15. 17:36

https://school.programmers.co.kr/learn/courses/30/lessons/250136?language=python3 문제요약: 0이 땅 1이 석유이고, 열기준으로 시추를 진행합니다. 시추관이 석유의 일부를 지나면 해당덩어리에 속한 모든 석유를 뽑을 수 있다고 할때 시추관 하나를 설치했을때 뽑을 수 있는 석유의 가장 큰 값을 반환하시오. 소요시간:25분 난이도:level2 제출횟수:2회 코딩:from collections import dequedef solution(land): dy= [-1,0,1,0] dx= [0,1,0,-1] n,m = len(land),len(land[0]) mass = {} def bfs(y,x,t): q=deq..

코딩테스트/DFS,BFS 2024. 6. 26. 11:17

https://school.programmers.co.kr/learn/courses/30/lessons/135807 프로그래머스코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요.programmers.co.kr 문제요약: 두 개의 배열이 주어질 때 한 배열은 모두 나누어떨어지고 한 배열엔 하나도 나누어 떨어지지 않는 숫자 중 가장 큰 수a를 구하시오. 소요시간:25분 난이도:level2 제출횟수:2회 코딩:def solution(arrayA,arrayB): def gcd(a,b): while b!=0: r = a%b a = b b..

코딩테스트/그리디 2024. 6. 11. 11:29

말그대로 GPT 이전까지의 제가 생각하는 NLP주요 논문들을 간단하게 정리해보려 합니다.논문순서는 Seq2Seq,Attention, Transformer, Word2Vec, GloVe,FastText, ELMo, BERT순 입니다.앞서 말했듯이 간단하게 논문의 흐름, 특징, 모델구조 등만 파악하기에 이점 유의 부탁드립니다. Seq2Seq: Sequence to Sequence Learning wih Nerual Networks(2014)https://arxiv.org/abs/1409.3215 SMT(Statistic Machine Translation)먼저 Seq2Seq 이전에는 SMT(Statistic Machine Translation) 즉 통계적 기계번역을 사용했습니다. 문장의 유창성,자연스러움을 ..

논문 2024. 6. 4. 12:57

Abstract Pretrained language models(Lms) 즉 사전 훈련된 모델들은 비사실적인 정보를 포함한 텍스트를 생성(할루시네이션)할 수 있는 취약점을 가지고 있음 큰 LMs가 덜 진실되다 (할루시네이션이 더 높다)라는 이전 연구와 달리 논문에서는 큰 LMs가 작은 모델보다 더 사실적인 것으로 나타남 (본논문에서의 할루시네이션은 Wiki 와 같은 ground-truth 관점에서 올바르지 않은것이 기준) 또한 Top-p같은 유명한 샘플링 알고리즘이 open-ended text generation부분에선 factuality를 낮추는것을 발견, 본 논문은 이를 해결하는 사실성 중심 샘플링 알고리즘을 제안하고 기존 훈련방법이 아닌 TopicPrefix학습 방법을 제안합니다. 더보기 Open_..

논문 2024. 2. 14. 21:11