طراحي كنترل‌كننده بهينه تطبيقي مبتني بر يادگيري تقويتي براي كنترل ازدحام داده در شبكه‌هاي TCP/AQM

كارشناسي ارشد

امروزه به دليل رشد چشم‌گير استفاده از شبكه‌هاي كامپيوتري و اهميت آن در جامعه امروز، كنترل ازدحام داده به‌عنوان يك مسئله‌ي مهم در ارتباطات كامپيوتري مطرح شده است. در اين ميان الگوريتم‌هاي مديريت فعال صف، نقش مهمي را در كنترل و مديريت ازدحام در مسيرياب‌هاي شبكه‌هاي كامپيوتري، با دور ريختن يا نشانه‌گذاري بسته‌هاي داده، ايفا مي‌كنند. در اين پايان‌نامه، از يك ساختار تطبيقي بهينه خطي مبتني بر يادگيري تقويتي براي حل مسئله مديريت فعال صف داده استفاده شده است. در اين روش بدون نياز به مدل رياضي سيستم و صرفاً با داده‌هاي اندازه‌گيري شده از سيستم، ابتدا پارامترهاي تابع عمل-ارزش به كمك الگوريتم حداقل مربعات تعميم‌يافته در هرلحظه از زمان تخمين زده مي‌شود. سپس با به‌كارگيري الگوريتم تكرار سياست و روش برون‌سياست يادگيري Q، سياست كنترلي جديد در هر گام محاسبه مي‌شود. اين روند تا زمان همگرايي و رسيدن به سياست بهينه ادامه خواهد يافت. شبيه‌سازي‌ اين الگوريتم، به كمك نرم‌افزار MATLAB در دو حالت ثابت‌ و متغير بودن پارامترهاي شبكه‌ي TCP/AQM انجام شده است. نتايج عددي حاصل از شبيه‌سازي، نشان‌دهنده‌ي كارايي و عملكرد مناسب‌‌ الگوريتم اشاره‌شده در تنظيم طول صف و دورريز بسته‌ها مي‌باشد.

208804

دانشگاه علم و صنعت ايران

مهندسي برق - كنترل

دكتر حسين بلندي