دفاع كردن يك تيم فوتبال ربات ها با استفاده از يادگيري تقويتي با پاداش شكل دهي شده

اصفهان : دانشگاه صنعتي اصفهان

مهندس كامپيوتر

كارشناسي ارشد

مسئلهٔ فوتبال ربات‌ها يك مسئله براي به چالش كشيدن دانش متخصصين فعال در حوزه رباتيك و هوش مصنوعي است. در اين مسابقات دو تيم متشكل از چند ربات در قالب بازي فوتبال در برابر يكديگر قرار مي‌گيرند. در واقع محيط بازي فوتبال يك فضاي سرگرم كننده براي پياده سازي الگوريتم‌ها و روش‌هاي مختلف و ايجاد يك فضاي رقابتي در اين حوزه است. هدف نهايي هر تيم در اين مسابقات گل زدن و گل نخوردن است. رسيدن به هدف ذكر شده نيازمند ايجاد توانايي و قابليت‌هاي مختلف در ربات‌ها است. از جمله اين ‌توامندي‌ها مي‌توان به توانايي شوت زدن، پاس دادن، تكل زدن، دويدن و ... اشاره كرد. در كنار اين توانايي‌هاي فردي توانايي كار تيمي و استراتژي كلي تيم نيز بسيار حائز اهميت است. براي رسيدن به يك استراتژي كارا و مطمئن راه‌هاي بسياري وجود دارد. يكي از بهترين روش‌ها استفاده از يادگيري تقويتي است. با توجه به برجسته بودن نياز به فاكتور تجربه و آزمون و خطا براي ربات‌ها، يادگيري تقويتي به يك روش محبوب در ميان متخصصان حوزهٔ رباتيك و هوش مصنوعي تبديل شده است. با توجه به حضور چند بازيكن در هر تيم و نياز به همكاري ميان آنها، يادگيري تقويتي چندعاملي يك انتخاب مناسب است. يكي از مشكلاتي كه در محيط‌هاي چندعاملي وجود دارد، عدم همكاري مناسب ميان عامل‌ها است كه منجر به رفتار‌هاي خودخواهانه در عامل‌ها يا تنبل شدن آنها مي‌شود. در اين تحقيق با استفاده از يادگيري تقويتي به سياستي براي دفاع كردن ربات‌هاي فوتباليست در برابر حملات يك تيم هجومي پرداخته شده است. همچنين روشي براي تعريف بهتر تابع پاداش ارائه شده است كه بتواند راهنماي بهتري در حين فرايند يادگيري براي عامل‌ها باشد. آنچه در اين پژوهش پياده‌سازي شده‌است يك ساختار دفاعي است كه از نيمه زمين خودي در برابر حملات يك تيم مهاجم قرار مي‌گيرند و سعي مي‌كنند كه از گل زدن حريف جلوگيري كنند. نتايج اين تحقيق با تيم هليوس 1391(2012 م) كه قهرمان آن سال مسابقات روبوكاپ دوبعدي مي‌باشد و چند پژوهش ديگر مقايسه شده كه حاكي از برتري آن نسبت به ساير پژوهش‌ها است. علت برتري اين روش نسبت به روش‌هاي پيشين ايجاد پاداش دقيق‌تر براي يادگيري بهتر عامل‌ها نسبت به ساير روش‌ها مي‌باشد.

225388

هوش مصنوعي و رباتيكز

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان