원문: https://github.com/facebook/astryx/wiki/AI-Model-Trajectory

Context

Astryx 설계 결정에 참고하기 위해, LLM 개선에서 예측 가능한 측면과 예측 불가능한 측면을 조사합니다. 목표: 사라질 수도 있는 현재의 한계를 위해 만들지는 않되, 사라지지 않을 근본적 한계에 대한 해법에는 투자하는 것.

모델 개선에서 예측 가능한 것

Scaling Law는 실재합니다 (하지만 둔화 중)

성능은 compute/데이터/파라미터에 비례해 예측 가능하게 개선됩니다. 다만:

• 데이터 부족이 병목이 되고 있습니다 — 고품질 학습 데이터가 고갈되고 있습니다
• capability density 상승 — 최신 모델은 더 적은 파라미터로 같은 성능을 냅니다
• 초점이 규모에서 효율성과 아키텍처로 이동 중입니다

출처: LLM Scaling Laws Analysis 2026

Emergent ability는 예측 불가능하게 나타납니다

특정 능력은 규모 임계점에서 갑자기 "점프"합니다:

• 세 자리 덧셈: 13B와 175B 파라미터 사이에서 정확도 8% → 80%
• Chain-of-thought 추론은 특정 모델 크기 이상에서 창발합니다
• 더 작은 모델로부터 언제 능력이 창발할지 예측할 수 없습니다

출처: Emergent Abilities in LLMs Survey

근본적 한계 (규모로는 개선되지 않음)

연구는 scaling으로 극복할 수 없는 환원 불가능한 한계를 식별합니다: