شناسايي و استخراج اهداف مياني در يادگيري تقويتي

كارشناسي ارشد

چكيده عامل يادگيري تقويتي بر اساس مشاهدات خود از محيط در هر گام كنشي را انجام داده و يك سيگنال پاداش دريافت مي¬كند سپس بر اساس اين پاداش، رفتار خود را در درازمدت بهبود مي¬بخشد. اما با بزرگ شدن محيط پارامترهاي تصميم‌گيري نيز افزايش مي¬يابد و درنتيجه زمان يادگيري عامل بيشتر مي¬شود. يكي از راه¬هاي غلبه بر اين مشكل يادگيري مهارت در عامل¬هاي يادگيري تقويتي است. مهارت را مي‌توان به‌صورت مجموعه¬ايي از به‌صورت كنش پايه تعريف كرد. مزيت اصلي مهارت قابليت استفاده مجدد از آن است، بدين‌صورت كه عامل پس از يادگيري مي¬تواند آن را انتقال دهد يا درجايي ديگري استفاده كند. چارچوب‌هاي سلسله ‌مراتبي در يادگيري تقويتي به عامل كمك مي¬كنند تا مهارت¬ها را بهتر ياد‌بگيرد. در شيوه سنتي اين ساختارهاي سلسله ‌مراتبي از سوي طراح عامل به‌صورت دانش اوليه در عامل قرار داده مي¬شود كه براي محيط¬هاي بزرگ و از قبل ناشناخته اين كار غيرممكن است؛ بنابراين عامل يادگيري تقويتي بايد بتواند به‌صورت خودكار مهارت را ياد بگيرد. ازجمله روش¬هاي كسب مهارت، شناسايي اهداف مياني و ايجاد مهارت¬ها براساس آن¬ها است. در اين پايان‌‌نامه ما به كمك دستاوردهاي اخير در حوزه يادگيري عميق، اهداف مياني را شناسايي و استخراج كرده¬ايم. روش كار بدين‌صورت است كه با استفاده از توسعه يك الگوريتم يادگيري تقويتي عميق سياست عامل براي تعامل با محيط را پيدا‌كرده و به كمك آن گراف سياست را تشكيل داده‌ايم. در ادامه با استفاده از يك معيار مركزيت پل اهداف مياني را از گراف سياست استخراج كرده‌ايم. نتايج حاصل از الگوريتم پيشنهادي ما در دو محيط تاكسي و محيط چند اتاقه كه از محيط¬هاي استاندارد براي يادگيري مهارت هستند، نشان مي¬دهد كه اين الگوريتم به‌درستي اهداف مياني را شناسايي مي¬كند. همچنين نتايج الگوريتم پيشنهادي ما نشان مي‌دهد كه حتي بدون شناسايي اهداف مياني هم اين روش سرعت يادگيري عامل را تسريع مي‌كند. واژه‌هاي كليدي: يادگيري تقويتي، يادگيري عميق، يادگيري تقويتي عميق، ساختار سلسله مراتبي، اهداف مياني، شبكه عميق، شبكه كانولوشنال، گراف سياست

189915

دانشگاه علم و صنعت ايران

هوش مصنوعي

دكتر ناصر مزيني