sapiСистемный анализ и прикладная информатика«System analysis and applied information science»2309-49232414-0481Belarusian National Technical University10.21122/2309-4923-2026-1-54-59sapi-799Research ArticleОбработка информации и принятие решенийData processing and decision–makingСтратегии параллелизма как ключевой фактор развертывания Large Language Models на базе потребительских GPUParallelism strategies as a key factor for deploying Large Language Models on consumer gpusКурочкаК. С.KurochkaK. S.

Курочка Константин Сергеевич − кандидат технических наук, доцент.

г. Гомельkurochka@gstu.by

 

Konstantin S. Kurochka – PhD in Engineering, Associate Professor.

Gomelkurochka@gstu.by

kurochka@gstu.byБашаримовЮ. С.BasharymauYu. S.

Башаримов Юрий Сергеевич − ассистент кафедры.

г. Гомельbasharymauyury@gmail.com

Yury S. Basharymau – Assistant.Gomelbasharymauyury@gmail.com

basharymauyury@gmail.comЁвженкоЮ. Д.YouzhankaYu. D.

Ёвженко Юрий Дмитриевич − магистрант.

г. Гомельyuevzhenko@gmail.com

Yury D. Youzhanka – Master’s Student.

Gomelyuevzhenko@gmail.com

yuevzhenko@gmail.comГомельский государственный технический университет им. П. О. СухогоБеларусьSukhoi State Technical University of GomelBelarus202610042026015459Copyright © Курочка К.С., Башаримов Ю.С., Ёвженко Ю.Д., 20262026Курочка К.С., Башаримов Ю.С., Ёвженко Ю.Д.Kurochka K.S., Basharymau Y.S., Youzhanka Y.D.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://sapi.bntu.by/jour/article/view/799

Экспоненциальный рост размеров больших языковых моделей (LLM) создает существенные барьеры для их локального развертывания, обусловленные нехваткой видеопамяти (VRAM) на одиночных устройствах. Целью работы является выявление и обоснование наиболее эффективной стратегии параллелизма для инференса LLM на кластерах из потребительских графических процессоров (GPU), объединенных медленной шиной PCIe. Методы исследования включали проведение серии вычислительных экспериментов для сравнения монолитной архитектуры (NVIDIA RTX A6000) и распределенной системы (2x NVIDIA RTX 3090) с использованием фреймворка vLLM. Анализировалось влияние тензорного (Tensor Parallelism) и конвейерного (Pipeline Parallelism) параллелизма на ключевые метрики: пропускную способность, задержку (TTFT, TPOT) и стабильность энергопотребления при запуске модели DeepSeek-R1-DistillLlama-14B. Результаты однозначно указывают на непригодность тензорного параллелизма для систем без NVLink из-за критических задержек синхронизации. Доказано, что конвейерный параллелизм является единственной жизнеспособной стратегией для PCIe-кластеров, обеспечивая высокую пропускную способность, несмотря на наличие периодов простоя («пузырей») и менее стабильный профиль энергопотребления по сравнению с монолитным решением. В заключении сформулированы рекомендации по использованию мульти-GPU конфигураций: они являются оптимальным экономическим выбором для задач, критичных к объему памяти, таких как Retrieval-Augmented Generation (RAG), позволяя масштабировать VRAM значительно дешевле профессиональных аналогов.

The exponential growth in the size of Large Language Models (LLMs) creates significant barriers to their local deployment, primarily due to Video RAM (VRAM) shortages on single devices. The aim of this work is to identify and substantiate the most effective parallelism strategy for LLM inference on consumer Graphics Processing Unit (GPU) clusters connected via a slow PCIe bus. Research methods included a series of experiments comparing a monolithic architecture (NVIDIA RTX A6000) and a distributed system (2x NVIDIA RTX 3090) using the vLLM framework. The impact of Tensor Parallelism (TP) and Pipeline Parallelism (PP) on key metrics – throughput, latency (TTFT, TPOT), and power consumption stability – was analyzed while running the DeepSeek-R1-Distill-Llama-14B model. The results unequivocally indicate the unsuitability of Tensor Parallelism for systems without NVLink due to critical synchronization delays. It is proven that Pipeline Parallelism is the only viable strategy for PCIe clusters, ensuring high throughput despite the presence of idle periods («bubbles») and a less stable power consumption profile compared to the monolithic solution. In conclusion, recommendations for using multi-GPU configurations are formulated: they represent the optimal economic choice for memory-critical tasks, such as Retrieval-Augmented Generation (RAG), allowing VRAM scaling at a significantly lower cost than professional analogs.

большие языковые моделиLLMинференстензорный параллелизмконвейерный параллелизмvLLMGPUCUDANVLinkPCIeRAGLarge Language ModelsLLMinferenceTensor ParallelismPipeline ParallelismvLLMGPUCUDANVLinkPCIeRAGReferencesAttention is all you need / A. Vaswani, N. Shazeer, N. Parmar [et al.] // Advances in Neural Information Processing Systems. 2017. Vol. 30. DOI:10.48550/arXiv.1706.03762.Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.N., et al. Attention is all you need. Advances in Neural Information Processing Systems. 2017;30. https://doi.org/10.48550/arXiv.1706.03762.Курочка, К. С. Технология трансляции естественно-языковых правил мерчандайзинга в цифровые планограммы / К. С. Курочка, Ю. Д. Ёвженко // Информатика. 2025. Т. 22, № 4. С. 55–64. DOI: 10.37661/1816-0301-2025-22-4-55-64.Kurochka K.S., Youzhanka Y.D. The technology of translating natural language merchandising rules into digital planograms. Informatics. 2025;22(4):55−64 (in Russian). http://dx.doi.org/10.37661/1816-0301-2025-22-4-55-64.Scaling laws for neural language models / J. Kaplan, S. McCandlish, T. Henighan [et al.] // arXiv preprint arXiv:2001.08361. 2020. DOI: 10.48550/arXiv.2001.08361.Kaplan J., McCandlish S., Henighan T., Brown T.B., Chess B., Child R., et al. Scaling laws for neural language models. arXiv preprint arXiv:2001.08361. 2020. https://doi.org/10.48550/arXiv.2001.08361.Large Language Models: A survey / S. Minaee, T. Mikolov, N. Nikzad [et al.] // arXiv preprint arXiv:2402.06196. 2024. DOI: 10.48550/arXiv.2402.06196.Minaee S., Mikolov T., Nikzad N., Chenaghlu M., Socher R., Amatriain X., et al. Large Language Models: A survey. arXiv preprint arXiv:2402.06196. 2024. https://doi.org/10.48550/arXiv.2402.06196.Курочка, К. С. Нейросетевая модель автоматической генерации тестовых заданий для студентов в системе Moodle на основе анализа методических материалов / К. С. Курочка, Ю. С. Башаримов // Цифровая трансформация. 2025. Т. 31, № 3. С. 66–75. DOI: 10.35596/1729-7648-2025-31-3-66-75.Kurochka K.S., Basharymau Y.S. Neural network model for automated test generation for students in the Moodle system based on the analysis of methodological materials. Digital Transformation. 2025;31(3):66–75 (in Russian). http://dx.doi.org/10.35596/1729-7648-2025-31-3-66-75.Megatron-LM: Training multi-billion parameter language models using model parallelism / M. Shoeybi, M. Patwary, R. Puri [et al.] //arXiv preprint arXiv:1909.08053. 2019. DOI: 10.48550/arXiv.1909.08053.Shoeybi M., Patwary M., Puri R., Le Gresley P., Casper J., Catanzaro B. Megatron-LM: Training multi-billion parameter language models using model parallelism. arXiv preprint arXiv:1909.08053. 2019. https://doi.org/10.48550/arXiv.1909.08053.Efficiently Scaling Transformer Inference / R. Pope, S. Douglas, A. Chowdhery [et al.] // Proceedings of Machine Learning and Systems (MLSys 2023). 2023. Vol. 5. P. 606–624. URL: https://proceedings.mlsys.org/paper_files/paper/2023/hash/c4be71ab8d24cdfb45e3d06dbfca2780-Abstract-mlsys2023.html (date of access: 10.02.2026).Pope R., Douglas S., Chowdhery A., Devlin J., Bradbury J., Heek J., et al. Efficiently scaling transformer inference. Proceedings of Machine Learning and Systems (MLSys 2023). 2023;(5):606–624. Available at: https://proceedings.mlsys.org/paper_files/paper/2023/hash/c4be71ab8d24cdfb45e3d06dbfca2780-Abstract-mlsys2023.html (accessed 10 February 2026).PowerInfer: Fast Large Language Model serving with a consumer-grade GPU / Y. Song, Z. Mi, H. Xie, H. Chen // Proceedings of the ACM SIGOPS 30th Symposium on Operating Systems Principles (SOSP’24). 2024. P. 590-606. DOI: 10.1145/3694715.3695964.Song Y., Mi Z., Xie H., Chen H. Powerinfer: Fast Large Language Model serving with a consumer-grade GPU. Proceedings of the ACM SIGOPS 30th Symposium on Operating Systems Principles (SOSP’24). 2024:590–606. https://doi.org/10.1145/3694715.3695964.GPipe: Efficient training of giant neural networks using pipeline parallelism / Y. Huang, Y. Cheng, A. Bapna [et al.] // Advances in Neural Information Processing Systems (NeurIPS 2019). 2019. Vol. 32. URL: https://proceedings.neurips.cc/papers/search?q=GPipe%3A+Efficient+training+of+giant+neural+networks+using+pipeline+parallelism+ (date of access: 10.02.2026).Huang Y., Cheng Y., Bapna A., Firat O., Chen D., Chen M., et al. GPipe: Efficient training of giant neural networks using pipeline parallelism. Advances in Neural Information Processing Systems (NeurIPS 2019). 2019;32. Available at: https://proceedings.neurips.cc/papers/search?q=GPipe%3A+Efficient+training+of+giant+neural+networks+using+pipeline+parallelism+ (accessed 10 February 2026).Efficient memory management for Large Language Model serving with PagedAttention / W. Kwon, Z. Li, S. Zhuang [et al.] // Proceedings of the 29th Symposium on Operating Systems Principles (SOSP’23). 2023. P. 611–626. DOI: 10.1145/3600006.3613165.Kwon W., Li Z., Zhuang S., Sheng Y., Zheng L., Yu C.H., et al. Efficient memory management for Large Language Model serving with PagedAttention. Proceedings of the 29th Symposium on Operating Systems Principles (SOSP’23). 2023:611–626. https://doi.org/10.1145/3600006.3613165.DeepSeek-V2: A strong, economical, and efficient Mixture-of-Experts language model / A. Liu, B. Feng, B. Wang [et al.] // arXiv preprint arXiv:2405.04434. 2024. DOI: 10.48550/arXiv.2405.04434.Liu A., Feng B., Wang B., Wang B., Liu B., Zhao C., et al. DeepSeek-V2: A strong, economical, and efficient Mixture-of-Experts language model. arXiv preprint arXiv:2405.04434. 2024. https://doi.org/10.48550/arXiv.2405.04434.Retrieval-augmented generation for knowledge-intensive NLP tasks / P. Lewis, E. Perez, A. Piktus [et al.] // Advances in Neural Information Processing Systems. (NeurIPS 2020). 2020. Vol. 33. URL: https://proceedings.neurips.cc/papers/search?q=Retrieval-Augmented+Generation+for+Knowledge-Intensive+NLP+Tasks+ (date of access: 10.02.2026).Lewis P., Perez E., PiktusA., Petroni F., KarpukhinV., Goyal N., et al. Retrieval-augmented generation for knowledgeintensive NLP tasks. Advances in Neural Information Processing Systems (NeurIPS 2020). 2020;33. Available at:https://proceedings.neurips.cc/papers/search?q=Retrieval-Augmented+Generation+for+Knowledge-Intensive+NLP+Tasks+ (accessed 10 February 2026).

The authors declare that there are no conflicts of interest present.