Publication: Data location-aware job scheduling in the grid: application to the Gridway Metascheduler
Loading...
Official URL
Full text at PDC
Publication Date
2008
Authors
Advisors (or tutors)
Editors
Journal Title
Journal ISSN
Volume Title
Publisher
Citations
Exportar
Abstract
Las tecnologías grid permiten integrar recursos heterogéneos distribuidos. Las aplicaciones del mundo científico y empresarial ganan así acceso a vastas infraestructuras que traspasan límites administrativos. En este entorno distribuido, los trabajos de computación pueden ser ejecutados en cualquier recurso y se hacen necesarias estrategias para seleccionar el destino óptimo para cada tarea, con el objetivo de maximizar la eficiencia de las aplicaciones. Los metaplanificadores como GridWay son los encargados de enviar los trabajos a los recursos y en los momentos apropiados.
Este proyecto se ocupa de la planificación de tareas que consumen grandes cantidades de datos ya existentes. Muestra cómo los metaplanificadores necesitan tener en cuenta dónde se hallan los datos para poder minimizar replicaciones innecesarias y para optimizar la eficiencia de los trabajos. También describe las modificaciones realizadas en GridWay para hacerle capaz de aceptar requisitos de datos de los trabajos y flexible para implantar diferentes algoritmos en función de ellos. Se repasan y prueban con GridWay algunos de estos algoritmos y finalmente se propone una aproximación al problema general de planificación de trabajos y colocación de datos en el grid.
Como ejemplo de motivación, se discuten las exigentes necesidades en datos del experimento CMS, participante del proyecto EGEE. Éstas servirán como referencia para evaluar los algoritmos propuestos y nuestra propia implementación.
La organización de este trabajo es la siguiente: el capítulo 1 introduce el concepto de grid, describe las principales tecnologías grid usadas hoy en día y el metaplanificador GridWay, y presenta la infraestructura EGEE. El capítulo 2 estudia los retos planteados por la planificación de tareas con importantes necesidades de datos, y repasa cómo los afronta EGEE y qué proponen otros autores para resolverlos. El capítulo 3 se apoya en las conclusiones del capítulo 2 para describir nuestra aproximación al problema, las modificaciones realizadas en GridWay y los experimentos llevados a cabo para probar nuestra solución. Finalmente, el capítulo 4 resume las conclusiones del proyecto y las posibles mejoras de trabajo futuro.[ABSTRACT]
Grid technologies have brought the promise of seamless integration of distributed heterogeneous resources. Applications from both industry and research communities will gain access to vast infrastructures across administrative boundaries. In this distributed environment, computing tasks may run anywhere and strategies to select the best possible destination for each piece of work become fundamental to improve the applications’ efficiency. It is the duty of metaschedulers such as GridWay to allocate computing jobs to the most appropriate resources at the proper time.
This work focuses on the scheduling of jobs that consume huge amounts of existing data. It shows why metaschedulers need to take into account the location of data in order to optimize job efficiency and avoid unnecessary data replication. It also describes how GridWay has been modified to accept data requirements in job requests and made flexible to implement different data-aware scheduling algorithms. Some of these algorithms are reviewed and tested with the new GridWay and a proposal for the solution of the general problem of data placement and job allocation in the grid is presented.
As a motivating example, the demanding data needs of the CMS experiment, within the EGEE project, are discussed. This serves to evaluate proposed algorithms and our own implementation.
This text is organized as follows. Chapter 1 introduces the concept of grid, describes the main grid technologies in use today and the GridWay metascheduler, and presents the EGEE infrastructure. Chapter 2 studies the challenges posed by the scheduling of jobs with important data requirements. It reviews how this is dealt with in EGEE and what other authors propose to address it. Chapter 3 builds on the lessons of Chapter 2 and describes our approach to the problem, the modifications performed in GridWay to make it data location-aware and the experiments that were carried out to test our solution. Finally, Chapter 4 summarizes the conclusions of the project and the improvements that future work may bring.
Description
Máster en Investigación en Informática, Facultad de Informática, Departamento de Arquitectura de Computadores y Automática, curso 2007-2008