너와나의 관심사

https://arxiv.org/pdf/2412.04315v1이제는 num of parmeters 가 아니라 densing of LLM 밀도이다 아래 그림은 chatGPT 출시 이후 밀도가 현재하게 높아짐을 보여준다    논문의 저자는Gemma2 9B 만 이전 대비 capacity density 가 높아졌고 이에 반해최신 llama3.2 1B, 3B 모델의 capacity density 가 낮은 이유로 training 완성도가 떨어져서  llama3.1 8B 보다 학습밀도가 떨어진것으로 보고있다. 이는 task 를 정의하고 충분히 학습한다면 유사한 capasity density 로 따라갈것으로 보고 있다.  대규모 언어 모델의 밀도화 법칙: 능력 밀도 개념을 중심으로최근 대규모 언어 모델(LLM)의 발전..