بررسي فضاي جانمايي كلمات در مدل هاي مبتني بر مبدل

كارشناسي ارشد

ظهور معماري ترنسفور در مدل هاي زباني موجب پيشرفت چشم گيري در همه ي وظيفه هاي پردازش زبان طبيعي شده است. در همين راستا بخش قابل توجهي از پژوهش هاي سال هاي اخير به تحليل و بررسي و كاوش اين مدل هاي براي درك چگونگي كاركرد آن ها پرداخته اند. در كنار مزايا و جنبه هاي مثبت اين مدل ها، برخي ديگر از پژوهش ها به دنبال كشف و غلبه بر محدوديت ها و كاستي هاي مدل هاي موجود بوده اند. در اين پژوهش، ما بر يكي از محدوديت هاي مدل هاي زباني كه توزيع غيرايزوتروپيك نام دارد، تمركز كرده و علت به وجود آمدن آن را مطالعه مي كنيم. توزيع غيرايزتروپيك فضاي جانمايي موجب مي شود كه هر دوكلمه ي تصادفي انتخاب شده در اين فضا شباهت كسينوسي بالايي داشته باشند. در اين تحقيق، روشي مبتني بر خوشه بندي ارائه مي كنيم كه قادر است با افزايش ايزوتروپي توزيع كلمات، عملكرد جانمايي هاي حساس به متن را به مقدار قابل توجهي در طيف وسيعي از وظيفه ها بهبود بخشد. همچنين با انجام تحليل هايي دقيق تر دلايل موثر بودن روش ارائه شده را مطالعه مي كنيم. در ادامه مطالعه ي ايزوتروپي را به فضاي جانمايي تنظيم دقيق شده گسترش مي دهيم و تاثير اين فرايند بر ساختار فضاي جانمايي كلمات را بررسي مي كنيم. نتايج پژوهش هاي ما نشان مي دهد كه جانمايي هاي تنظيم دقيق شده به شدت به توزيع غيرايزوتروپيك خود متكي هستند و بهبود ايزوتروپي با استفاده از حذف جهت هاي غالب فضا، به كيفيت آن ها ضربه مي زند. در آخر ويژگي ايزوتروپي را در فضاي جانمايي چندزبانه بررسي كرده و زيرفضا هاي مشترك ميان زبان هاي مختلف در اين فضا را تحليل مي كنيم.

211840

دانشگاه علم و صنعت ايران

مهندسي كامپيوتر

دكتر بهروز مينايي - دكتر محمدطاهر پيله ور