| مشخصات مقاله | |
| ترجمه عنوان مقاله | LADRA: تشخیص وظیفه غیر عادی مبتنی بر ورودی و تجزیه و تحلیل علل ریشه ای در پردازش داده های بزرگ با جرقه |
| عنوان انگلیسی مقاله | LADRA: Log-based abnormal task detection and root-cause analysis in big data processing with Spark |
| انتشار | مقاله سال 2019 |
| تعداد صفحات مقاله انگلیسی | 41 صفحه |
| هزینه | دانلود مقاله انگلیسی رایگان میباشد. |
| پایگاه داده | نشریه الزویر |
| نوع نگارش مقاله |
مقاله پژوهشی (Research article) |
| مقاله بیس | این مقاله بیس نمیباشد |
| نمایه (index) | scopus – master journals – JCR |
| نوع مقاله | ISI |
| فرمت مقاله انگلیسی | |
| ایمپکت فاکتور(IF) |
5.341 در سال 2017 |
| شاخص H_index | 85 در سال 2019 |
| شاخص SJR | 0.844 در سال 2017 |
| شناسه ISSN | 0167-739X |
| شاخص Quartile (چارک) | Q1 در سال 2017 |
| رشته های مرتبط | مهندسی کامپیوتر – مهندسی فناوری اطلاعات |
| گرایش های مرتبط | هوش مصنوعی – مدیریت سیستم های اطلاعات |
| نوع ارائه مقاله |
ژورنال |
| مجله / کنفرانس | سیستم های کامپیوتری نسل آینده – Future Generation Computer Systems |
| دانشگاه | Department of Computer Science, University of Central Florida, Orlando, FL, USA |
| کلمات کلیدی | جرقه، تجزیه و تحلیل ورودی، وظیفه غیرعادی، علل ریشه ای |
| کلمات کلیدی انگلیسی | Spark, Log Analysis, Abnormal Task, Root Cause |
| شناسه دیجیتال – doi |
https://doi.org/10.1016/j.future.2018.12.002 |
| کد محصول | E12022 |
| وضعیت ترجمه مقاله | ترجمه آماده این مقاله موجود نمیباشد. میتوانید از طریق دکمه پایین سفارش دهید. |
| دانلود رایگان مقاله | دانلود رایگان مقاله انگلیسی |
| سفارش ترجمه این مقاله | سفارش ترجمه این مقاله |
| فهرست مطالب مقاله: |
| Outline Highlights Abstract Keywords 1. Introduction 2. Related work and background 3. Overview of LADRA’s approach 4. Log feature extraction and abnormal task detection 5. Factor extraction for root-cause analysis 6. Root cause analysis 7. Experiments 8. Conclusions and future work References |
| بخشی از متن مقاله: |
| Abstract As big data processing is being widely adopted by many domains, massive amount of generated data become more reliant on the parallel computing platforms for analysis, wherein Spark is one of the most widely used frameworks. Spark’s abnormal tasks may cause significant performance degradation, and it is extremely challenging to detect and diagnose the root causes. To that end, we propose an innovative tool, named LADRA, for log-based abnormal tasks detection and root-cause analysis using Spark logs. In LADRA, a log parser first converts raw log files into structured data and extracts features. Then, a detection method is proposed to detect where and when abnormal tasks happen. In order to analyze root causes we further extract pre-defined factors based on these features. Finally, we leverage General Regression Neural Network (GRNN) to identify root causes for abnormal tasks. The likelihood of reported root causes are presented to users according to the weighted factors by GRNN. LADRA is an off-line tool that can accurately analyze abnormality without extra monitoring overhead. Four potential root causes, i.e., CPU, memory, network, and disk I/O, are considered. We have tested LADRA atop of three Spark benchmarks by injecting aforementioned root causes. Experimental results show that our proposed approach is more accurate in the root cause analysis than other existing methods. |