ارائه يك سازوكار آگاه به منابع جهت مديريت كشساني سامانه‌هاي توزيع‌شده‌ي پردازش جريان داده‌ها

كارشناسي ارشد

سامانه‌هاي فناوري اطلاعات با حجم فزاينده‌اي از داده‌ها‌ مواجه هستند كه به‌طور پيوسته توسط كاربردها و رسانه‌هاي ديجيتال توليد مي‌شوند. بخش بزرگي از اين داده‌ها به‌عنوان جريان داده‌ها‌ي متوالي توليد مي‌شوند. پردازش جريان داده‌ها اجازه مي‌دهد تا حجم زيادي از داده‌هاي‌ گذرا درلحظه پردازش شوند. سامانه‌هاي پردازش جريان براي پردازش اين جريان‌ها به‌صورت در لحظه ايجادشده‌اند تا برداشت ارزشمندي از داده‌ها‌ به دست آورند. سامانه‌هاي پردازش جريان داده‌ها با هدف پردازش در لحظه‌ي داده‌هاي جرياني توسعه‌يافته‌اند. پردازش داده‌ها توسط عملگر را مي‌توان به‌صورت گراف‌هاي جهت‌دار يك‌طرفه مدل و موازي¬سازي نموده و بخش¬هاي موازي را توسط گره‌هاي محاسباتي مختلف در يك خوشه‌ي محاسباتي متشكل از چند كامپيوتر اجرا نمود. جهت اطمينان از توان عملياتي بالا و زمان‌پاسخ پايين با حجم انبوه داده‌ها‌، سامانه‌هاي پردازش جريان به سازوكارهاي كارا براي زمان‌بندي عملگرها نياز دارند. پياده‌سازي اين سازوكار با چالش‌هايي همراه است. سازوكارهاي زمان‌بندهاي موجود براي پردازش جريان داده‌ها در خوشه‌هاي محاسباتي متشكل از كامپيوترهاي ناهم‌سان از كارايي ضعيفي برخوردارند. در برخورد با اين مسئله چندين روش وجود دارد. روش اول بدست آوردن زمان‌بندي بهينه باتوجه به ظرفيت‌هاي محاسباتي گره‌ها و توجه به نياز پردازشي عملگرها و ميزان ارتباط ميان آن‌ها و روش دوم تغيير مقياس يا استفاده از ويژگي كشساني است. در روش دوم، اگر زمان‌بندي اوليه زمان‌بندي مناسبي نباشد، با استفاده‌ي بيش ‌از حد از خاصيت كشساني (تغيير مقياس) مواجه مي‌شويم كه باعث افت كارايي سامانه، بالا رفتن زمان‌پاسخ و افزايش ميزان خطا به دليل پيكربندي مجدد مي‌شود. لذا در اين پايان‌نامه با هدف كمينه كردن زمان‌پاسخ سامانه¬هاي پردازش داده‌هاي جرياني، يك سازوكار زمان‌بندي آگاه به منابع بر پايه بهينه‌سازي كلوني مورچگان ارائه شده است. اين سازوكار داراي سه مرحله است كه در مرحله نخست بجهت كاهش ارتباطات بين گره¬هاي محاسباتي و كاهش زمان هم‌گرايي الگوريتم بهينه‌سازي كلوني مورچگان، از الگوريتم بسته‌بندي براي زمان‌بندي بخشي از عملگرها كه داراي بيشترين ميزان ارتباط با يكديگرند استفاده مي‌شود. در مرحله بعد مابقي عملگرهايي را كه توسط الگوريتم بسته‌بندي زمان‌بندي نشده‌اند به‌وسيله الگوريتم كلوني مورچگان زمان‌بندي مي‌كنيم. با توجه به اينكه ماهيت الگوريتم بهينه‌سازي كلوني مورچگان مبتني‌برتكرار است، مرحله دوم به صورت متناوب اجرا مي‌شود و به‌صورت تكاملي زمان‌بندي¬هاي خود را با هدف دستيابي به زمان پاسخ سريع‌تر تعديل مي‌نمايد. در مرحله نهايي اين الگوريتم با رسيدن به هم‌گرايي و يافتن زمان‌بندي سريع‌تر عملگرها متوقف مي‌شود. سازوكار پيشنهادي بر روي 2.1.0 Apache Storm پياده¬سازي شده است. با اجراي كاربرد استاندارد شمارنده كلمات نشان داده‌ شده است كه سازوكار زمان‌بندي پيشنهادي در مقايسه با زمان‌بند پيش¬فرض و زمان‌بند آگاه به منابع موجود در Storm، حدود 50 درصد بهبود در زمان پاسخگويي داشته است.

210815

دانشگاه علم و صنعت ايران

كامپيوتر

دكتر محسن شريفي