Allocation Des Ressources Pour L Optimisation De Requ Tes Dans Les Syst Mes De Grille De Donn Es
Download Allocation Des Ressources Pour L Optimisation De Requ Tes Dans Les Syst Mes De Grille De Donn Es PDF/ePub or read online books in Mobi eBooks. Click Download or Read Online button to get Allocation Des Ressources Pour L Optimisation De Requ Tes Dans Les Syst Mes De Grille De Donn Es book now. This website allows unlimited access to, at the time of writing, more than 1.5 million titles, including hundreds of thousands of titles in various foreign languages.
Allocation des ressources pour l'optimisation de requêtes dans les systèmes de grille de données
Les systèmes de grille de données sont de plus en plus utilisés grâce à leur capacité de stockage et de calcul. L'un des problèmes importants de ces systèmes est l'allocation de ressources pour l'optimisation de requêtes SQL. Récemment, la communauté scientifique a publié plusieurs approches et méthodes d'allocation de ressources, en s'efforçant de tenir compte des différentes spécificités de systèmes de grille de données : l'hétérogénéité, l'instabilité du système et la grande échelle. La structure de gestion centralisée prédomine dans les méthodes proposées, malgré les risques encourus par cette solution dans les systèmes à grande échelle. Dans cette thèse nous proposons une méthode d'allocation de ressources hybride et décentralisée pour l'optimisation d'une requête. La partie statique de notre méthode constitue la stratégie d'allocation initiale de ressources par un 'broker' d'une requête. Quant à la partie dynamique, nous proposons une stratégie, qui utilise la coopération entre des opérations relationnelles mobiles autonomes et des coordinateurs stationnaires des nœuds pour décentraliser le processus de réallocation dynamique de ressources. Les éléments clés de notre méthode sont : (i) la limitation de l'espace de recherche pour résoudre les problèmes causés par la grande échelle, (ii) le principe de répartition des ressources entre les opérations d'une requête pour déterminer le degré de parallélisme des opérations et pour équilibrer la charge dynamiquement et (iii) la décentralisation du processus d'allocation dynamique. Les résultats de l'évaluation des performances de notre méthode montrent l'efficacité de nos propositions. Notre stratégie d'allocation initiale de ressources a donné des résultats supérieurs à la méthode de référence que nous avons utilisée pour la comparaison. La stratégie de réallocation dynamique de ressources réduit notablement le temps de réponse en présence de l'instabilité du système et du déséquilibre de charge.
Découverte et monitoring de ressources pour le traitement de requêtes dans une grille de données
La gestion des données réparties en environnement de grille de données pose de nouveaux problèmes et présente un réel défi : la découverte de ressources, l'allocation de ressources, la réplication, les services de monitoring pour l'optimisation de requêtes ...etc. Les systèmes de grille diffèrent principalement des systèmes parallèles et distribués par la grande échelle et l'instabilité (i.e. la dynamicité des nœuds). Dans cette thèse, nous nous intéressons à la phase de découverte de ressources pour l'évaluation efficace de requêtes réparties en environnement de grille de données. Nous effectuons d'abord un état de l'art sur les principaux travaux de recherche portant sur la découverte de ressources en se focalisant sur les critères importants (e.g. passage à l'échelle, découverte fiable, faible coût de maintenance) pour la découverte de sources de données qui est spécifique à un environnement de grille de données. Dans cette perspective, nous proposons ensuite une méthode de découverte de sources de données, basée sur l'utilisation des Tables de Hachage Distribuées (THDs), permettant un accès permanent en présence de la dynamicité des nœuds de n'importe quel nœud d'une Organisation Virtuelle OVlocale à toute autre OVi (i [différent de]locale) dans le système, avec un faible coût de maintenance entre les THDs. Après la découverte de ressources, il est très important d'observer l'état actuel de ressources surtout que ces dernières sont partagées à une grande échelle, afin de prendre des décisions sur le choix du nœud d'exécution d'une jointure (ou d'une partie d'une jointure) par exemple. L'observation ou le monitoring de ressources peut être effectué pendant l'allocation initiale ou l'exécution. Dans ce contexte, nous proposons une méthode permettant la prise en compte de la variation des valeurs des paramètres hôtes et réseaux, pendant l'exécution, dans le calcul du temps de réponse d'une opération relationnelle. L'idée est alors d'intégrer les informations de monitoring dans un modèle d'exécution à base d'agents mobiles développé au sein de notre équipe. Enfin, nous validons nos propositions par une évaluation des performances.
Découverte et allocation des ressources pour le traitement de requêtes dans les systèmes grilles
De nos jours, les systèmes Grille, grâce à leur importante capacité de calcul et de stockage ainsi que leur disponibilité, constituent l'un des plus intéressants environnements informatiques. Dans beaucoup de différents domaines, on constate l'utilisation fréquente des facilités que les environnements Grille procurent. Le traitement des requêtes distribuées est l'un de ces domaines où il existe de grandes activités de recherche en cours, pour transférer l'environnement sous-jacent des systèmes distribués et parallèles à l'environnement Grille. Dans le cadre de cette thèse, nous nous concentrons sur la découverte des ressources et des algorithmes d'allocation de ressources pour le traitement des requêtes dans les environnements Grille. Pour ce faire, nous proposons un algorithme de découverte des ressources pour le traitement des requêtes dans les systèmes Grille en introduisant le contrôle de topologie auto-stabilisant et l'algorithme de découverte des ressources dirigé par l'élection convergente. Ensuite, nous présentons un algorithme d'allocation des ressources, qui réalise l'allocation des ressources pour les requêtes d'opérateur de jointure simple par la génération d'un espace de recherche réduit pour les nœuds candidats et en tenant compte des proximités des candidats aux sources de données. Nous présentons également un autre algorithme d'allocation des ressources pour les requêtes d'opérateurs de jointure multiple. Enfin, on propose un algorithme d'allocation de ressources, qui apporte une tolérance aux pannes lors de l'exécution de la requête par l'utilisation de la réplication passive d'opérateurs à état. La contribution générale de cette thèse est double. Premièrement, nous proposons un nouvel algorithme de découverte de ressource en tenant compte des caractéristiques des environnements Grille. Nous nous adressons également aux problèmes d'extensibilité et de dynamicité en construisant une topologie efficace sur l'environnement Grille et en utilisant le concept d'auto-stabilisation, et par la suite nous adressons le problème de l'hétérogénéité en proposant l'algorithme de découverte de ressources dirigé par l'élection convergente. La deuxième contribution de cette thèse est la proposition d'un nouvel algorithme d'allocation des ressources en tenant compte des caractéristiques de l'environnement Grille. Nous abordons les problèmes causés par la grande échelle caractéristique en réduisant l'espace de recherche pour les ressources candidats. De ce fait nous réduisons les coûts de communication au cours de l'exécution de la requête en allouant des nœuds au plus près des sources de données. Et enfin nous traitons la dynamicité des nœuds, du point de vue de leur existence dans le système, en proposant un algorithme d'affectation des ressources avec une tolérance aux pannes.