Стратегии параллелизма как ключевой фактор развертывания Large Language Models на базе потребительских GPU

Экспоненциальный рост размеров больших языковых моделей (LLM) создает существенные барьеры для их локального развертывания, обусловленные нехваткой видеопамяти (VRAM) на одиночных устройствах. Целью работы является выявление и обоснование наиболее эффективной стратегии параллелизма для инференса LLM на кластерах из потребительских графических процессоров (GPU), объединенных медленной шиной PCIe. Методы исследования включали проведение серии вычислительных экспериментов для сравнения монолитной архитектуры (NVIDIA RTX A6000) и распределенной системы (2x NVIDIA RTX 3090) с использованием фреймворка vLLM. Анализировалось влияние тензорного (Tensor Parallelism) и конвейерного (Pipeline Parallelism) параллелизма на ключевые метрики: пропускную способность, задержку (TTFT, TPOT) и стабильность энергопотребления при запуске модели DeepSeek-R1-DistillLlama-14B. Результаты однозначно указывают на непригодность тензорного параллелизма для систем без NVLink из-за критических задержек синхронизации. Доказано, что конвейерный параллелизм является единственной жизнеспособной стратегией для PCIe-кластеров, обеспечивая высокую пропускную способность, несмотря на наличие периодов простоя («пузырей») и менее стабильный профиль энергопотребления по сравнению с монолитным решением. В заключении сформулированы рекомендации по использованию мульти-GPU конфигураций: они являются оптимальным экономическим выбором для задач, критичных к объему памяти, таких как Retrieval-Augmented Generation (RAG), позволяя масштабировать VRAM значительно дешевле профессиональных аналогов.

1. Attention is all you need / A. Vaswani, N. Shazeer, N. Parmar [et al.] // Advances in Neural Information Processing Systems. 2017. Vol. 30. DOI:10.48550/arXiv.1706.03762.

2. Курочка, К. С. Технология трансляции естественно-языковых правил мерчандайзинга в цифровые планограммы / К. С. Курочка, Ю. Д. Ёвженко // Информатика. 2025. Т. 22, № 4. С. 55–64. DOI: 10.37661/1816-0301-2025-22-4-55-64.

3. Scaling laws for neural language models / J. Kaplan, S. McCandlish, T. Henighan [et al.] // arXiv preprint arXiv:2001.08361. 2020. DOI: 10.48550/arXiv.2001.08361.

4. Large Language Models: A survey / S. Minaee, T. Mikolov, N. Nikzad [et al.] // arXiv preprint arXiv:2402.06196. 2024. DOI: 10.48550/arXiv.2402.06196.

5. Курочка, К. С. Нейросетевая модель автоматической генерации тестовых заданий для студентов в системе Moodle на основе анализа методических материалов / К. С. Курочка, Ю. С. Башаримов // Цифровая трансформация. 2025. Т. 31, № 3. С. 66–75. DOI: 10.35596/1729-7648-2025-31-3-66-75.

6. Megatron-LM: Training multi-billion parameter language models using model parallelism / M. Shoeybi, M. Patwary, R. Puri [et al.] //arXiv preprint arXiv:1909.08053. 2019. DOI: 10.48550/arXiv.1909.08053.

7. Efficiently Scaling Transformer Inference / R. Pope, S. Douglas, A. Chowdhery [et al.] // Proceedings of Machine Learning and Systems (MLSys 2023). 2023. Vol. 5. P. 606–624. URL: https://proceedings.mlsys.org/paper_files/paper/2023/hash/c4be71ab8d24cdfb45e3d06dbfca2780-Abstract-mlsys2023.html (date of access: 10.02.2026).

8. PowerInfer: Fast Large Language Model serving with a consumer-grade GPU / Y. Song, Z. Mi, H. Xie, H. Chen // Proceedings of the ACM SIGOPS 30th Symposium on Operating Systems Principles (SOSP’24). 2024. P. 590-606. DOI: 10.1145/3694715.3695964.

9. GPipe: Efficient training of giant neural networks using pipeline parallelism / Y. Huang, Y. Cheng, A. Bapna [et al.] // Advances in Neural Information Processing Systems (NeurIPS 2019). 2019. Vol. 32. URL: https://proceedings.neurips.cc/papers/search?q=GPipe%3A+Efficient+training+of+giant+neural+networks+using+pipeline+parallelism+ (date of access: 10.02.2026).

10. Efficient memory management for Large Language Model serving with PagedAttention / W. Kwon, Z. Li, S. Zhuang [et al.] // Proceedings of the 29th Symposium on Operating Systems Principles (SOSP’23). 2023. P. 611–626. DOI: 10.1145/3600006.3613165.

11. DeepSeek-V2: A strong, economical, and efficient Mixture-of-Experts language model / A. Liu, B. Feng, B. Wang [et al.] // arXiv preprint arXiv:2405.04434. 2024. DOI: 10.48550/arXiv.2405.04434.

12. Retrieval-augmented generation for knowledge-intensive NLP tasks / P. Lewis, E. Perez, A. Piktus [et al.] // Advances in Neural Information Processing Systems. (NeurIPS 2020). 2020. Vol. 33. URL: https://proceedings.neurips.cc/papers/search?q=Retrieval-Augmented+Generation+for+Knowledge-Intensive+NLP+Tasks+ (date of access: 10.02.2026).