یک رویکرد جدید برای پیش بینی حرکت قیمت سهام کوتاه مدت با استفاده از یادگیری انتقال

پیش بینی قیمت سهام همیشه یک برنامه مهم در پیش بینی های سری زمانی بوده است. اخیراً ، شبکه های عصبی عمیق به طور گسترده برای کارهای سری زمانی مالی به کار رفته اند. این شبکه به طور معمول برای دستیابی به دقت بالا به مقدار زیادی نمونه آموزش نیاز دارد. با این حال ، در بورس سهام ، تعداد نقاط داده جمع آوری شده به صورت روزانه در یک سال محدود است ، که منجر به نمونه های آموزش کافی نمی شود و بر این اساس منجر به یک مشکل بیش از حد می شود. علاوه بر این ، پیش بینی حرکت قیمت سهام تحت تأثیر عوامل مختلف موجود در بورس است. بنابراین ، انتخاب ویژگی های ورودی مناسب برای مدل های پیش بینی باید در نظر گرفته شود. برای پرداختن به این مشکلات ، این مقاله یک چارچوب جدید با نام انتقال عمیق با اطلاعات مربوط به سهام (DTRSI) را ارائه می دهد ، که از یک شبکه عصبی عمیق و یادگیری انتقال استفاده می کند. اول ، یک مدل پایه با استفاده از سلولهای حافظه کوتاه مدت (LSTM) بر اساس مقدار زیادی از داده ها ، که از تعدادی از سهام مختلف به دست می آیند ، برای بهینه سازی پارامترهای آموزش اولیه از قبل آموزش داده می شوند. دوم ، مدل پایه با استفاده از داده های مقدار کمی از سهام هدف و انواع مختلف ویژگی های ورودی (ساخته شده بر اساس رابطه بین سهام) به منظور افزایش عملکرد تنظیم می شود. آزمایشات با داده های شرکت های برتر پنج در بازار کره و بازار ایالات متحده (ایالات متحده) از سال 2012 تا 2018 از نظر بالاترین سرمایه بازار انجام می شود. نتایج تجربی نشان دهنده اثربخشی یادگیری انتقال و استفاده از اطلاعات مربوط به روابط سهام در کمک به بهبود عملکرد مدل است و رویکرد پیشنهادی از نظر دقت پیش بینی عملکرد قابل توجهی (در مقایسه با سایر خطوط) را نشان می دهد.

کلید واژه ها:

1. معرفی

پیش بینی قیمت سهام یک مشکل چالش برانگیز بوده است و بسیاری از محققان را در زمینه های تجزیه و تحلیل مالی بازار اقتصادی و علوم کامپیوتر به خود جلب کرده است. پیش بینی های دقیق از جهت حرکت قیمت سهام به سرمایه گذاران کمک می کند تا در خرید و فروش سهام تصمیم بگیرند و خطرات غیر منتظره را کاهش دهند. با این حال ، داده های سری زمانی مالی نه تنها از نظر ماهیت پر سر و صدا و غیر ثابت هستند ، بلکه به راحتی تحت تأثیر عوامل بسیاری از جمله اخبار ، رقبا و عوامل طبیعی قرار می گیرند [1]. بنابراین ، پیش بینی دقیق قیمت سهام بسیار دشوار است.

چندین مدل پیش بینی بازار سهام بر اساس تجزیه و تحلیل آماری داده ها و تکنیک های یادگیری ماشین وجود دارد. اولین مطالعات تمایل به استفاده از روشهای آماری داشت ، اما این رویکردها عملکرد خوبی نداشتند و در صورت اعمال داده های سهام در دنیای واقعی محدودیت هایی داشتند [2]. به تازگی ، الگوریتم های مختلف یادگیری ماشین ، مانند شبکه های عصبی مصنوعی (ANN) [3] ، ماشین های بردار پشتیبانی (SVM) [4] و جنگل های تصادفی (RFS) [5] ، به طور گسترده ای در کارهای پیش بینی سری زمانی مورد استفاده قرار گرفته اند زیرا زیرااین رویکردها می توانند به طور مؤثر روابط غیرخطی بین سیگنال های تاریخی و قیمت سهام آینده را بیاموزند.

در طی چند دهه گذشته ، شبکه های عصبی مکرر (RNN) [6،7] به ویژه برای پیش بینی سری زمانی استفاده شده اند زیرا این نوع شبکه شامل حالت هایی است که می توانند اطلاعات تاریخی را از یک پنجره متن خودسرانه طولانی ضبط کنند. در مطالعه ما ، از سلولهای حافظه کوتاه مدت (LSTM) برای یادگیری توالی پیش بینی های بازار مالی استفاده می کنیم. LSTM بخشی از RNN ها است و استفاده از سلولهای LSTM می تواند مشکل ناپدید شدن (و منفجر شدن) شیب را کاهش دهد [8]. با این حال ، برای آموزش سلولهای LSTM به طور مؤثر ، باید مشکل بیش از حد از تعداد کافی از نمونه های آموزشی در نظر گرفته شود [9]. به ویژه ، در پیش بینی قیمت سهام ، تعداد نقاط داده ای که می توانیم به صورت روزانه جمع آوری کنیم ، فقط در حدود 240 در سال است. با توجه به تعداد پارامترهای مدل ، این کافی نیست. در حال حاضر ، روش های مختلفی برای جلوگیری از مشکل بیش از حد ، مانند تکنیک های تنظیم تنظیم (به عنوان مثال ، تنظیم L1 و L2 [10]) ، ترک [11] ، افزایش داده ها [12] و توقف زودرس [13] یافت شده است.

در سالهای اخیر ، یادگیری انتقال به دلیل اثربخشی این تکنیک در کمک به کاهش زمان آموزش و تقویت دقت پیش بینی ، با وجود مقدار کمی از داده های آموزشی ، در آموزش شبکه های عصبی عمیق (DNN) مورد استفاده قرار گرفته است.، 17،18،19]. با این حال ، یادگیری انتقال در کارهای پیش بینی سری زمانی مورد استفاده قرار نگرفته است. در این مقاله ، ما چارچوبی به نام انتقال عمیق با اطلاعات مربوط به سهام مرتبط (DTRSI) را برای پیش بینی حرکت قیمت سهام ، کاهش مشکل بیش از حد ناشی از تعداد کافی از نمونه های آموزشی و بهبود عملکرد پیش بینی با استفاده از روابط بین سهام پیشنهاد می کنیم. به طور خاص ، چارچوب ما دو مرحله دارد. اول ، یک مدل پایه با استفاده از سلولهای LSTM با مقدار زیادی از داده ها (که از تعدادی از سهام مختلف به دست آمده است) برای بهینه سازی پارامترهای آموزش اولیه از قبل آموزش داده می شود. ثانیا ، مدل پایه با مقدار کمی از داده های سهام هدف تنظیم می شود تا حرکت قیمت سهام هدف را پیش بینی کند. مدل تنظیم شده ریز مدل پیش بینی نامیده می شود. برای راحتی ، سهام هدف سهام شرکت مورد علاقه (COI) نامیده می شود. علاوه بر این ، مدل پیش بینی با استفاده از مجموعه های مختلف ویژگی های ورودی که بر اساس اطلاعات مربوط به سهام مربوط به سهام COI ساخته می شوند ، آموزش داده می شود. با جزئیات ، ما ابتدا بازده یک روزه را محاسبه می کنیم ، که نشان می دهد تغییر قیمت بسته شدن سهام بین دو روز متوالی است. اولین مجموعه از ویژگی های ورودی فقط شامل بازده یک روزه سهام COI است. مجموعه دوم ترکیبی از بازده یک روزه سهام COI و شاخص (به عنوان مثال ، شاخص قیمت سهام کامپوزیت کره 200 (KOSPI 200) و 500 استاندارد و پور (S& P 500)) است. مجموعه سوم ترکیبی از بازده یک روزه سهام COI ، شاخص و سهام مربوط به سهام COI است (یعنی بالاترین شباهت کسین به سهام COI ، زمینه مشابه COI و بالاترین سرمایه گذاری در بازار)بشر

در این مطالعه ، برای اعتبارسنجی چارچوب پیشنهادی ، به عنوان سهام COI ، ما شرکت های برتر را در شرکت های KOSPI 200 و پنج نفری از پنج بخش محبوب در S& P 500 از نظر سرمایه بازار انتخاب می کنیم. KOSPI 200 نمایانگر معیار بازار سرمایه کره است و S& P 500 یک شاخص معیار مهم در بازار ایالات متحده (ایالات متحده) است.

مشارکتهای اصلی کار ما را می توان به شرح زیر خلاصه کرد:

اول ، کار ما مشکل بیش از حد ناشی از مقدار کافی از داده ها را در پیش بینی حرکات قیمت سهام در نظر می گیرد. برای پرداختن به این چالش ، یک چارچوب مبتنی بر انتقال عمیق ارائه شده است که در آن از یادگیری انتقال برای آموزش مؤثر مدل پیش بینی با استفاده از تنها مقدار کمی از داده های سهام COI استفاده می شود.

دوم ، برای تقویت عملکرد مدل پیش بینی ، انواع مختلفی از ویژگی های ورودی طراحی شده است. هدف یافتن ویژگی های ورودی مناسب است که ممکن است بر کیفیت و عملکرد یک طبقه بندی کننده تأثیر بگذارد. در کار ما ، برای سهام COI معین ، سهام هایی که با سهام COI روابط دارند ، ابتدا انتخاب می شوند و سپس ورودی های مدل بر اساس ویژگی های سهام COI ، شاخص (یعنی KOSPI 200 یا S& P 500) تشکیل می شوند.، و سهام انتخاب شده. سه رابطه ارائه شده است: بالاترین شباهت كوزین (CS) ، زمینه مشابه (SF) و بالاترین سرمایه بازار (HMC). به طور خاص ، CS سهام هایی را انتخاب می کند که جهت بسته شدن حرکت قیمت دارند که بیشتر شبیه به سهام COI است. SF سهام هایی را پیدا می کند که محصولات صنعتی مشابهی با COI دارند ، حتی اگر ممکن است همبستگی مستقیم حرکت قیمت بسته بین آنها وجود نداشته باشد. و HMC با هدف انتخاب بزرگترین شرکت ها در هر بازار سهام. شرکت هایی که بر اساس HMC انتخاب شده اند ممکن است بر حرکات بسته شدن قیمت COI تأثیر بگذارد. علاوه بر این ، ورودی های مدل تشکیل شده بر اساس ویژگی های سهام COI و شاخص CI نامیده می شوند.

سوم ، آزمایش های مختلفی برای اعتبارسنجی عملکرد چارچوب ما انجام می شود. نتایج نشان می دهد که رویکرد پیشنهادی از چهار خط پایه بهتر است: RF ، SVM ، K-Nearest همسایگان (KNN) و یک مدل اخیر که از سلولهای LSTM استفاده می کند [20]. به طور خاص ، رویکرد ما به دقت متوسط 60. 70 ٪ ، در مقایسه با میانگین میانگین 51. 49 ٪ از RF ، دقت متوسط 51. 57 ٪ از SVM ، دقت متوسط 51. 77 ٪ از KNN و دقت متوسط 57. 36 ٪ از مدل موجود دست می یابد. علاوه بر این ، عملکرد روش انتخاب SF از نظر دقت پیش بینی متوسط بر سایر روشهای در نظر گرفته شده حاکم است. علاوه بر این ، تعداد شرکت های میدانی مشابه در ویژگی های ورودی می تواند عملکرد پیش بینی را به طرز چشمگیری تحت تأثیر قرار دهد.

بقیه این مقاله به شرح زیر سازماندهی شده است: بخش 2 ادبیات موجود مربوط به پیش بینی قیمت سهام را خلاصه می کند. مقدمات ، از جمله دانش پایه در مورد حافظه کوتاه مدت و یادگیری انتقال ، در بخش 3 ارائه شده است. سپس ، بخش 4 و بخش 5 به ترتیب مجموعه داده ها و پیش پردازش و چارچوب پیشنهادی ما را شرح می دهند. در بخش 6 ، ما نتایج ارزیابی مدل پیشنهادی را با انواع مختلف ورودی تجزیه و تحلیل می کنیم و عملکرد رویکرد خود را با سایر مدلهای معیار مقایسه می کنیم. سرانجام ، نتیجه گیری از این کار در بخش 7 نتیجه گرفته شده است.

2. آثار مرتبط

2. 1پیش بینی بازار سهام

مطالعات متعددی پیش بینی های سری زمانی مالی را انجام داده است. به طور خاص ، بیشتر مطالعات اولیه تمایل به استفاده از روشهای آماری ، مانند میانگین متحرک وزنی (WMA) [21] ، ناهمگونی مشروط مشروط عمومی (GARCH) [22] و میانگین متحرک یکپارچه خودی (Arima) [23]. با این حال ، این رویکردها فرضیات آماری بسیاری از قبیل خطی و عادی بودن را ایجاد کرده است ، در حالی که سری زمانی مالی غیر خطی است. بنابراین ، این رویکردها برای پیش بینی قیمت سهام مناسب نیستند. جدا از مدل های آماری ، تکنیک های یادگیری ماشین به دلیل توانایی آنها در نقشه برداری و تعمیم غیرخطی ، به طور گسترده در مورد وظایف پیش بینی سری زمانی مالی اعمال شده است [3،4،24،25،26،27]. به عنوان مثال ، Adebiyi و همکاران.[25] عملکرد یک مدل Perceptron چند لایه (MLP) را ارائه داد و آن را با عملکرد یک مدل ARIMA در پیش بینی قیمت سهام در بورس اوراق بهادار نیویورک (NYSE) مقایسه کرد. آنها نتیجه گرفتند که مدل MLP از نظر میانگین خطای مربع (MSE) بهتر از مدل ARIMA عمل کرده است. کارا و همکاران.[27] از MLP و SVM برای پیش بینی جهت حرکت در شاخص ملی بورس استانبول روزانه (ISE) 100 استفاده کرد. نتایج تجربی نشان داد که مدل های آنها از نظر دقت پیش بینی از مدل رگرسیون حداقل مربع (OLS) معمولی بهتر عمل می کند. اگرچه می توان از MLP در پیش بینی سری زمانی مالی استفاده کرد ، اما مطالعات متعددی نشان داد که MLP محدودیت هایی در یادگیری الگوهای دارد ، زیرا داده های سهام دارای مقادیر فوق العاده ای از سر و صدا و بعد بالایی هستند. MLP اغلب عملکرد متناقض و غیرقابل پیش بینی را در داده های پر سر و صدا نشان می دهد [28،29].

در سالهای اخیر ، با پیشرفت های چشمگیر در تکنیک های یادگیری عمیق ، شبکه های عصبی مکرر به عنوان یک الگوی امیدوارکننده برای دستیابی به داده های پی در پی در کارهای مختلف مانند پردازش زبان طبیعی ، تشخیص گفتار و دید رایانه ظاهر شده اند. علاوه بر این ، چندین مطالعه ثابت کردند که RNN از جمله سلولهای LSTM مفیدترین مدل در مشکل پیش بینی سری زمانی مالی است [30،31،32،33،34،35،36]. به عنوان مثال ، چن و همکاران.[30] یک مدل پیش بینی حرکت قیمت سهام را بر اساس LSTM معرفی کرد. بسیاری از متغیرهای اساسی برای سهام (به عنوان مثال ، قیمت بالا ، قیمت پایین ، قیمت بسته شدن ، حجم و قیمت بسته بندی تعدیل شده) به عنوان ویژگی های ورودی در نظر گرفته می شوند. این مدل روی 900 نمونه نمونه آموزش داده شد و با استفاده از 311 ، 361 نمونه دیگر آزمایش شد. آنها نتیجه گرفتند که LSTM می تواند در پیش بینی حرکات قیمت شاخص چین به عملکرد رضایت بخش برسد. چانگ و شین [34] از یک شبکه LSTM برای پیش بینی قیمت شاخص KOSPI در روز بعد استفاده کردند. آنها روش خود را بر روی داده های شاخص KOSPI از سال 2000 تا 2016 آزمایش کردند و دریافتند که این روش به عملکرد رضایت بخش رسیده است. در [33] ، نویسندگان یکپارچه Wavelet (WTS) و شبکه عصبی مکرر را بر اساس یک الگوریتم کلونی زنبور مصنوعی یکپارچه کردند. مقادیر قیمت بسته شدن شاخص متوسط صنعتی داو جونز (DJIA) ، شاخص FTSE-100 لندن (FTSE) ، شاخص توکیو Nikkei-225 (Nikkei) و شاخص سرمایه گذاری در بورس اوراق بهادار تایوان (TAIEX) پیش بینی شد. نتایج نشان داد که رویکردهای پیشنهادی آنها می تواند سود را به حداکثر برساند. بائو و همکاران.[35] با استفاده از WTS به عنوان پیش بینی داده ، از یک رویکرد دلخراش استفاده کرد و سپس از خودروهای پشته (SAE) استفاده کرد تا ویژگی های عمیق روزانه را استخراج کند. چارچوب پیشنهادی آنها از روشهای پایه خود از نظر MSE بهتر عمل می کند. با این حال ، بسیاری از مطالعات قبلی با هدف یافتن یک چارچوب مناسب که می تواند از داده های سهام غیر خطی و پر سر و صدا بر اساس فرضیات مربوط به داده های کافی بیاموزد ، در حالی که ، در واقع ، جمع آوری داده های سهام بیشتر فقط با حدود 240 نقطه داده موجود در آن دشوار استیک سال. در همین حال ، کار ما با هدف یافتن یک رویکرد جدید است که با وجود داشتن مقدار کافی از داده ها می تواند به طور مؤثر یک شبکه LSTM را آموزش دهد.

2. 2انتخاب ویژگی برای پیش بینی قیمت سهام

قیمت سهام به طرز چشمگیری تحت تأثیر عوامل بسیاری قرار می گیرد [1]. برخی از عوامل اساسی (نسبت های مالی ، شاخص های فنی ، شاخص های اقتصاد کلان و رقبا) باید به عنوان عوامل مهم مؤثر بر افزایش و کاهش ارزش سهام استفاده شوند. با این حال ، هر محقق ویژگی های ورودی خود را متفاوت برای مدل های پیش بینی خود انتخاب کرده است [37]. در بخش زیر ، انتخاب ویژگی های ورودی برای پیش بینی حرکت قیمت سهام در مطالعات اخیر ارائه شده است.

مطالعات متعددی از شاخص های فنی (TIS) به عنوان متغیرهای ورودی در پیش بینی قیمت سهام آینده استفاده کرده اند [26،38،39،40،41،42،43]. به عنوان مثال ، برای هر روز آموزش ، برای ساختن بردارهای ویژگی ورودی ، نویسندگان در [40،42] 10 شاخص فنی (به عنوان مثال ، میانگین حرکت ساده ، میانگین حرکت نمایی و شاخص قدرت نسبی) را از داده های سری زمانی خام از جمله باز کردن محاسبه کردند. قیمت ، قیمت بسته شدن ، قیمت بالا و پایین و حجم معاملات. بنابراین ، آنها این مقادیر شاخص فنی را در مدل های خود تغذیه می کنند (بر اساس SVM ، ANN و RF). نتایج تجربی دقت پیش بینی رضایت بخش را نشان داد. اگرچه از شاخص های فنی به طور گسترده در کارهای پیش بینی بازار سهام استفاده شده است ، اما انتخاب شاخص های مناسب برای تشکیل ورودی های مدل از بین شاخص های مختلف فنی هنوز یک کار چالش برانگیز است.

مطالعات دیگر با هدف پیش بینی قیمت سهام با توجه به اطلاعات متنی از اخبار مالی انجام شده است [44،45،46]. به عنوان مثال ، آکیتا و همکاران.[44] مقالات روزنامه ها را از طریق بردارهای پاراگراف به بازنمودهای توزیع شده تبدیل کرده و اثرات زمانی وقایع گذشته را با LSTM در پیش بینی قیمت های باز سهام در بورس توکیو مدل سازی کرد. بولن و همکاران.[47] فاش کرد که احساسات سرمایه گذار حاصل از توییتر تأثیراتی بر شاخص های سهام دارد. مایکل و همکاران.[48] برای اولین بار یک روش نمایش جدید کلمه را برای استخراج ویژگی های مهم از داده های متن معرفی کرد. سپس ، آنها از یک مدل SVM برای پیش بینی جهت حرکت قیمت سهام در روز بعد استفاده کردند. این مطالعات ثابت کرد که می توان از اطلاعات متنی در کارهای پیش بینی سری زمانی استفاده کرد. با این حال ، هدف آنها یافتن روشهای مؤثر استخراج ویژگی برای کمک به بهبود عملکرد پیش بینی بود. علاوه بر این ، بیشتر تحقیقات فرض می کردند که اخبار یک شرکت همیشه هر روز منتشر می شد ، که این یک مورد نادر در واقعیت است.

فیشر و کراوس [20] یک شبکه LSTM را در پیش بینی حرکت جهت دار سهام تشکیل دهنده S& P 500 از سال 1992 تا 2015 مستقر کردند. در تحقیقات خود ، آنها از 240 بازده یک روزه به عنوان متغیرهای ورودی برای مدل پیش بینی استفاده کردند. آنها کل دوره زمانی را به 23 دوره مطالعه تقسیم کردند ، جایی که هر دوره مطالعه 750 روز (تقریباً سه سال) داشت. مدل آنها با سایر مدلهای طبقه بندی کننده مانند RF ، DNN و رگرسیون لجستیک مقایسه شد. آنها یک راهنمای عمیق در مورد پیش پردازش داده ها ، و همچنین توسعه LSTM برای کارهای پیش بینی سری زمانی مالی ارائه دادند و نتیجه گرفتند که رویکرد آنها از سایر خط مقدمات در 23 دوره مطالعه از نظر میانگین دقت پیش بینی ، نسبت شکل و سود بهتر است. با این حال ، در مطالعه خود ، آنها فقط از بازده یک روزه سهام هدف برای شکل دادن به مدل های ورودی استفاده کردند. در مقابل ، کار ما در طراحی ورودی مؤثر ، بین سایر سهام و سهام هدف در نظر گرفته می شود. بنابراین ، رویکرد پیشنهادی با کار فیشر و کراوس مقایسه می شود [20]. نتایج نشان می دهد که روابط در نظر گرفته شده می تواند عملکرد مدل پیش بینی را افزایش دهد.

3. مقدمات

3. 1حافظه کوتاه مدت طولانی

حافظه کوتاه مدت طولانی (LSTM) یک معماری خاص شبکه عصبی مکرر (RNN) است. این می تواند الگوهای زمانی را از داده های پی در پی بیاموزد و بر مشکل شیب ناپدید شده در یک RNN استاندارد غلبه کند [8]. علاوه بر این ، LSTM ها برای تنظیم جریان اطلاعات ، مکانیسم های شیروانی دارند. میزان اطلاعاتی که حفظ می شود در هر مرحله زمانی به صورت سیستماتیک تعیین می شود. بنابراین ، LSTM ها می توانند الگوهای زمانی را در یک سریال طولانی مدت به خاطر بسپارند. معماری یک سلول LSTM در شکل 1 نشان داده شده است که در آن X T ، H T و C T به ترتیب در زمان t به عنوان ورودی ، حالت پنهان و حالت سلول تعریف می شوند. یک سلول LSTM دارای سه دروازه است: F T ، I T و O T که به ترتیب به عنوان دروازه فراموش شده ، دروازه ورودی و دروازه خروجی نامیده می شوند. توجه داشته باشید که ⊗ ضرب نقطه ای است. توابع فعال سازی S I G M O I D و T A N H به ترتیب به عنوان S I G M O I D و T A N H مشخص شده اند. در اینجا ، تابع فعال سازی t a n h به عنوان tanh (z) = 2 1 + e - 2 z - 1 تعریف شده است. از تابع t a n h به منظور به روزرسانی حالت پنهان استفاده می شود. علاوه بر این ، عملکرد فعال سازی S I G M O I D به عنوان σ (z) = (1 + e - z) - 1 تعریف شده است. عملکرد S I G M O I D به تشکیل مقدار خروجی در محدوده [0 ، 1] کمک می کند. اگر خروجی نزدیک به 0 باشد ، بیشتر اطلاعات از بین می روند. اگر مقدار خروجی نزدیک به 1 باشد ، به این معنی است که اطلاعات بیشتر مجاز است.

محاسبات مربوط به دروازه فراموش شده (F T) ، دروازه ورودی (I T) ، دروازه خروجی (O T) ، حالت سلول (C T) و حالت پنهان (H T) با استفاده از فرمول های زیر انجام می شود: