DeepSeek, 오픈 소스 최적화 병렬 전략 발표

Deepush는 V3/R1 훈련에서 compute-communication을 위한 양방향 파이프라인 병렬 알고리즘을 포함한 DualPipe가 겹치는 오픈 소스 최적화 병렬 전략을 발표했습니다. EPLB - V3/R1의 전문 병렬 로드 밸런서 및 V3/R1의 compute-communication 중첩 분석.