기록일지

(테두리 안에 있는건 그림입니다)Tistory 에서 수식을 작성할 일이 있습니다.간단하게 임을 알 수 있는데 예를들어 이렇게 작성하면 $ 4 +\frac{1}{2} $$$ 56\log{100} $$ 이렇게 출력이 됩니다. 하지만 가끔씩 아래 와 같이 $ 4 +\frac{1}{2} $$$ 56\log{100} $$분명 $ 를 했음에도 인식이 되지 않을 때가 있습니다 분명 기본모드에서 작성할 땐 똑같은데 말이죠 힌트를 알아 차리신분들도 있겠지만, 맞습니다. 기본모드에서는 똑같지만 오른쪽 위에 HTML로 들어가보면 다른것을 확인할 수 있습니다.보면 위에 인식이 잘됐을 땐 그냥 수식을 출력했는데, 아래 출력이 안된부분엔 수식 사이사이에   이런 글들이 붙어있습니다. 보통 다른곳에서 Ctrl + C 로 복사를 하..

카테고리 없음 2024. 12. 17. 16:06

앞으로는 이전 논문리뷰 방식과는 다르게 핵심을 먼저 요약하고, 방법론 위주로 논문리뷰를 진행하려 합니다. 참고부탁드립니다. Q-LoRA 논문 요약LLM을 파인튜닝하는 것은 성능을 크게 향상 시킬 수 있지만, 비용이 많이 필요하다(65B Llama 모델을 16비트 파인튜닝한다면 780GB GPU 가 필요함).그래서 이를 NF4(Normal Float 4), Double Quantization(이중양자화), Paged Optimization등으로 Q-Lora하여 성능저하를 최소화 하고 메모리를 절약하였다(780GB GPU에서 하던 파인튜닝을 48GB GPU에서도 가능하도록 만듦, FP32 PLM + FP32 LoRA -> NF4 PLM + BF16 LoRA)결과적으로 Vicuna 벤치마크에서 이전에 공개된 ..

논문 2024. 12. 17. 15:56

https://www.acmicpc.net/problem/11444  문제설명 : 0, 1, 1, 2, 3, 5, 8, 13, 21 ... 0과 1로 시작하고 그다음수는 앞의 두수의 합인 피보나치 수가 있을때 n번째 피보나치 수를 구하시오.(n은 100,000,000,000,000,000 보다 작거나 같은 수 이고 피보나치수를 1,000,000,007으로 나눈 나머지를 출력하시오) 문제 난이도: 골드2 먼저 피보나치수 가장 간단하게 해결하는 방법은 시간복잡도 O(n)의 방법으로 그냥 더하면 됩니다.코드:n = int(input())a,b = 0,1if n 하지만 문제의 n의 범위는 엄청 크기 때문에 보자마자 이건 시간복잡도 O(log(n))이하로 해결해야겠다는 생각은 들었지만, 아이디어가 떠오르지 않아 ..

카테고리 없음 2024. 11. 27. 10:24

https://www.acmicpc.net/problem/13549숨바꼭질 3 문제설명 : 현재 위치 n과 가야할 위치k가 주어집니다. 현재 위치에서 +1 또는 -1 을하는데 걸리는 시간은 1이고 현재위치 x에서 2x로는 이동시간이 걸리지 않습니다. k위치로 가는 가장빠른 시간을 구하시오. 문제 난이도: 골드5 첫번째 시도:from collections import dequen,k = map(int,input().split())def bfs(): q =deque([[n,0]]) while q: cur,t = q.popleft() if cur2*k: continue if cur==k: return t q.a..

코딩테스트/DFS,BFS 2024. 10. 23. 16:29

https://www.acmicpc.net/problem/1202 문제설명 : n개의 보석이 각각 무게와 가치가 주어지고, k개의 각각 최대용량이 정해져있는 가방이 있을 때 (가방에는 한개의 보석만 들어갈 수 있습니다.) 가방에 최대한의 가치의 보석을 담으시오. 난이도 : 골드 2 풀이시간 : 못품...! 1차 시도:import sysfrom bisect import bisect_leftinput = sys.stdin.readlinen,k = map(int,input().split())arr = []for _ in range(n): m,v = map(int,input().split()) arr.append([m,v])bags=[]for _ in range(k): c = int(input(..

코딩테스트/정렬 2024. 10. 21. 10:45

https://arxiv.org/abs/2004.09602 Integer Quantization for Deep Learning Inference: Principles and Empirical EvaluationQuantization techniques can reduce the size of Deep Neural Networks and improve inference latency and throughput by taking advantage of high throughput integer instructions. In this paper we review the mathematical aspects of quantization parameters and evarxiv.org Abstract양자화 기법..

논문 2024. 10. 10. 22:58

https://arxiv.org/abs/2005.11401?ref=pangyoalto.com Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLarge pre-trained language models have been shown to store factual knowledge in their parameters, and achieve state-of-the-art results when fine-tuned on downstream NLP tasks. However, their ability to access and precisely manipulate knowledge is still limarxiv.org Abstract대규모 Pre-..

논문 2024. 10. 6. 15:06

https://www.acmicpc.net/problem/2110 2110번: 공유기 설치첫째 줄에 집의 개수 N (2 ≤ N ≤ 200,000)과 공유기의 개수 C (2 ≤ C ≤ N)이 하나 이상의 빈 칸을 사이에 두고 주어진다. 둘째 줄부터 N개의 줄에는 집의 좌표를 나타내는 xi (0 ≤ xi ≤ 1,000,000,000)가www.acmicpc.netN개의 집의 개수에 c개의 공유기를 설치하는데 공유기간 거리를 최대로 하고싶을때 공유기간 거리중 최소치를 구하시오. import sysinput = sys.stdin.readlinen,c =map(int,input().split())arr = []for _ in range(n): arr.append(int(input()))arr.sort()def..

코딩테스트/이진 탐색 2024. 9. 11. 12:04