Iranian Electric Industry Journal of Quality and Productivity

fa پیش‌بینی مصرف برق با استفاده از رویکرد ترکیبی مبتنی بر مدل انتقالی و شبکه عصبی با حافظه طولانی کوتاه‌مدت Electricity Consumption Forecasting Using a Hybrid Approach Based on Transformer Model and LSTM Neural Network برق و کامپیوتر پژوهشي Research در سال‌های اخیر پیش‌بینی مصرف برق، با تکیه بر فنّاوری‌های جدید و بهره‌گیری از روش‌های پردازش داده‌های بزرگ اهمیت زیادی پیداکرده است. روش‌های زیادی ازجمله روش‌های آماری و کلاسیک مختلف تحلیل سری زمانی، ماشین بردار پشتیبان، و شبکه‌های عصبی بازگشتی و حافظه طولانی کوتاه‌مدت در این حوزه موردبررسی قرارگرفته‌اند. <a name="_Hlk167861694"></a><a name="_Hlk168600220">روش‌های آماری به دلیل عدم در نظر گرفتن تغییرات ناگهانی، ممکن است برای پیش‌بینی و مدل‌سازی برخی پدیده‌های پیچیده چندان مناسب نباشند. از طرف دیگر، روش ماشین بردار پشتیبان بر مبنای افزایش ابعاد داده عمل می‌کند. بنابراین، در مواردی که داده‌ها دارای ابعاد بالایی باشند، این امر منجر به پیچیده‌تر شدن فضای مسأله می‌گردد</a>. انواع بسیاری از شبکه‌های عصبی نیز با محدودیت‌هایی مثل محوشدگی گرادیان و عدم توجه به روابط زمانی مواجه هستند. برای پیش‌بینی دقیق‌تر مصرف برق، این مقاله یک رویکرد ترکیبی با استفاده از مدل انتقالی و شبکه عصبی با حافظه طولانی کوتاه‌مدت را پیشنهاد می‌دهد. این رویکرد، با حل مشکل گرادیان و یادگیری الگوهای پیچیده، دقت بالاتری نسبت به روش‌های دیگر ارائه می‌دهد. همچنین مدل انتقالی با استفاده از مکانیزم توجه، توانایی تمرکز بر اجزای مهم داده را داراست و مدلی با تفسیرپذیری بیشتر و مقاومت بالا در مقابل نویز ایجاد می‌کند. روش پیشنهادی روی مجموعه داده استاندارد ارزیابی و با روش‌های موجود مقایسه شده است. نتایج نشان می‌دهد این روش دقت بالاتر و خطای کمتری در معیارهایی مانند میانگین مربعات خطا و میانگین درصد خطای مطلق دارد.   In recent years, electricity consumption forecasting has gained significant importance by relying on new technologies and utilizing big data processing methods. Various methods including classical statistical time series analysis techniques, support vector machines, and recurrent neural networks with long short-term memory have been studied in this field. Statistical methods may not be suitable for forecasting and modeling some complex phenomena due to their inability to account for sudden changes. On the other hand, the support vector machine method operates based on increasing the data dimensions. Therefore, in cases where the data has high dimensions, this leads to increasing the complexity of the problem space. Various types of neural networks also face limitations such as vanishing gradients and the inability to account for temporal relationships. To achieve more accurate electricity consumption forecasting, this paper proposes a hybrid approach using the Transformer model and long short-term memory neural network. By addressing the gradient problem and learning complex patterns, this approach offers higher accuracy compared to other methods. Additionally, the Transformer model, with its attention mechanism, has the ability to focus on important components of the data, creating a more interpretable model with high resistance to noise. The proposed method has been evaluated on a standard dataset and compared with existing methods. The results show that this method achieves higher accuracy and lower error in metrics such as mean squared error and mean absolute percentage error. پیش‌بینی سری زمانی, شبکه‌های عصبی, حافظه طولانی کوتاه‌مدت, مدل انتقالی, مکانیزم توجه. Predicting time series , Long Short-Term Memory Neural Networks, Transformer Model, Attention Mechanism. 0 0 http://ieijqp.ir/browse.php?a_code=A-10-478-2&slc_lang=fa&sid=1 Mohammadreza Ahmadipour محمدرضا احمدی پور mohammadrezaa.ahmadipour@gmail.com 3380965081 10031947532846006988 No KGUT دانشگاه تحصیلات تکمیلی صنعتی و فناوری پیشرفته Esmat Rashedi عصمت راشدی rashedi_es@yahoo.com 2992732044 10031947532846006989 No KGUT دانشگاه تحصیلات تکمیلی صنعتی و فناوری پیشرفته Maryam Amoozegar مریم آموزگار amoozegar_m@yahoo.com 3090794284 10031947532846006990 Yes KGUT دانشگاه تحصیلات تکمیلی صنعتی و فناوری پیشرفته