ارائه الگوريتمي براي پاسخ به پرسش انجمني در زبان عربي و فارسي مبتني بر بازنمايي معنايي متون

كارشناسي ارشد

با توسعه وب 2.0، محبوبيت سيستم هاي مبتني بر محتواي توليد شده توسط كاربر به طور مداوم در حال افزايش است. مثالي از اين نوع سيستم ها كه در چند سال گذشته كاملاً برجسته شده است، سامانه هاي پرسش و پاسخ انجمني است. سامانه پرسش و پاسخ انجمني يك سرويس تحت وب است كه در آن افراد مي توانند با پرسيدن پرسش هاي خود به دنبال اطلاعات باشند و با ارائه پاسخ به پرسش هاي ديگر افراد جامعه، دانش خود را به اشتراك بگذارند. هدف اصلي سامانه هاي پرسش و پاسخ انجمني ارائه مناسب ترين پاسخ در مورد سوالات اخيراً ارسال شده در كوتاهترين زمان ممكن است. در اين پروژه، ما روي مسئله ي شناسايي پرسش هاي تكراري در سامانه هاي پرسش و پاسخ انجمني اسلامي تمركز كرديم. تعيين اينكه آيا دو پرسش داده شده از نظر معنايي معادل هستند، با توجه به ساختارهاي مختلفي كه سوالات مي توانند داشته باشند، يك كار كاملاً چالش برانگيز است. همچنين در چند سال اخير، شناسايي جفت پرسش هاي تكراري در زبان عربي و فارسي و به خصوص در سامانه هاي اسلامي نيز اهميت ويژه اي يافته است. با اين حال، تعداد كمي از سامانه هاي پرسش و پاسخ عربي و فارسي و به خصوص اسلامي قادر به شناسايي پرسش هاي تكراري هستند. ما براي اين كار يك مدل مبتني بر يادگيري عميق به نام Attentive Siamese MaBi-LSTM ارائه داديم. البته مدل پيشنهادي ما مستقل از زبان و حوزه ي مجموعه داده است؛ يعني مدل پيشنهادي ما براي هر زبان و حوزه اي قابل استفاده است. مدل پيشنهادي ما با كمك يكي از جانمايي كلمات word2vec و FastText بردار كلمات را به دست مي آورد و با استفاده از Siamese Bi-LSTM به همراه مكانيسم attention نمايش معنايي پرسش ها را به دست مي آورد. از فاصله ي منهتن نيز براي به دست آوردن ميزان شباهت بين دو پرسش استفاده مي كند. همچنين يك رويكرد تركيبي معرفي كرديم كه از تركيب دو مدل آموزش ديده بر روي هر كدام از جانمايي كلمات به دست مي آيد. با آزمايش روي دو مجموعه داده ي فارسي و عربي خود مشاهده كرديم كه رويكرد تركيبي مدل پيشنهادي ما به ترتيب به مقدارهاي 91.49 و 88.12 درصد در معيارهاي صحت و F1 براي مجموعه داده عربي و به مقدارهاي 83.36 و 74.12 درصد در معيارهاي صحت و F1 براي مجموعه داده فارسي دست يافته است كه نشان مي دهد مدل پيشنهادي ما بر روي هر دو مجموعه داده به خوبي عمل كرده است.

205133

دانشگاه علم و صنعت ايران

كامپيوتر-نرم افزار

بهروز مينايي بيدگلي