Création d’une base de données météorologique à l’aide d’oracle

Création d’une base de données météorologique à l’aide d’oracle

CHARGEMENT DES DONNEES DANS UNE BASE 

 METHODES DE CHARGEMENT DES DONNEES 

Il existe plusieurs méthodes de chargement des données dans des tables d’une base de données Oracle. Le chargement des données par chemin direct et l’utilitaire SQL*Loader sont présentés dans cette partie. a- SQL*Loader: L’utilitaire SQL*Loader charge les données de fichiers externes dans les tables d’une base de données Oracle. Son puissant moteur d’analyse des données applique peu de contraintes sur le format des données du fichier de données. b- Chargement de données par chemin direct : Utiliser la méthode de chargement des données par chemin direct pour copier les données d’une table vers une autre au sein d’une même base de données. Cette méthode accélère les opérations d’insertion en passant outre le cache de tampons (buffer cache) de la base de données en écrivant directement les données dans les fichiers de données. Deuxième partie : Mode de création d’une base de données Le chargement des données par chemin direct (en série ou en parallèle) ne peut prendre en charge que la syntaxe INSERT … SELECT d’une instruction INSERT, et non la syntaxe INSERT … Valeurs. Le parallélisme de INSERT …SELECT est déterminé en fonction de conseils (Hints) en parallèle ou de la définition de table en parallèle. Oracle8i fournit des extensions syntaxiques qui augmentent la portée de l’instruction INSERT … SELECT de sorte que l’on peut insérer des lignes dans plusieurs tables dans le cadre d’une instruction LMD. Le chargement des données par chemin direct peut être appelé à l’aide du conseil APPEND, comme indiqué dans la commande suivante : INSERT / *+APPEND */ INTO [schema.] table [ [NO]LOGGING ] sub-query; Où : Schema correspond au propriétaire de la table, Table correspond au nom de la table, Sub-query correspond à la sous-interrogation qui permet de sélectionner les colonnes et les lignes à insérer. c- Mode LOGGING : Lorsqu’on effectue une insertion à l’aide de l’option par défaut LOGGING, l’opération génère des entrées de journalisation (redo log entries), ce qui permet une récupération complète en cas d’incident. Si on utilise l’option NOLOGGING, les modifications apportées aux données ne seront pas enregistrées dans le tampon de journalisation (redolog buffer). Toutefois, un nombre minimal d’informations de journalisation est généré lors de la mise à jour du dictionnaire de données. Le mode NOLOGGING est utilisé si l’attribut correspondant a été défini pour la table. Si plusieurs modifications en lignes (online) des données de la table sont susceptibles de se produire simultanément, il est conseillé de définir l’attribut NOLOGGING avant de charger les données et de réinitialiser (LOGGING) une fois le chargement des données terminé. Deuxième partie : Mode de création d’une base de données d- Autres considérations : Toutes les données chargées à l’aide de cette méthode sont chargées au-dessus du repère high-water mark. Si la table contient un grand nombre de blocs dont des lignes ont été supprimées, on peut considérer une perte d’espace et un ralentissement des balayages complets de table (full table scans).

 CHARGEMENT DES DONNEES PAR CHEMIN DIRECT EN SERIE 

 partitionnée 

Chargement des données par chemin direct dans une table non, une table partitionnée ou une table sous-partitionnée : Les données sont insérées au-delà du repère high-water mark actuel du segment de table ou de chaque segment de partition. Le repère high-water mark correspond au niveau auquel les blocs n’ont jamais été formatés pour recevoir des données. Lors de l’exécution d’une instruction, une nouvelle valeur est affectée à ce repère, rendant ainsi les données visibles aux autres utilisateurs. Lors du chargement d’une table partitionnée ou sous-partitionnée, SQL*Loader partitionne les lignes et gère les index (qui peuvent également être partitionnés). Un chargement de données par chemin direct d’une table partitionnée ou sous-partitionnée peut consommer une grande quantité de ressources. 

 CHARGEMENT DES DONNEES PAR CHEMIN DIRECT EN PARALLELE 

Le chargement des données par chemin direct en parallèle peut se faire : • en utilisant le conseil PARALLEL dans l’instruction INSERT, comme indiqué dans l’exemple, • en créant la table ou en la modifiant pour définir la clause PARALLEL. Lorsqu’on effectue des chargements de données par chemin direct en parallèle, le serveur Oracle utilise plusieurs processus, appelés processus esclaves « Parallel Query », pour insérer les données dans la table. Des segments temporaires sont alloués pour le stockage des données insérées par chaque processus esclave. Lorsque la transaction est validée, les extents (ensembles de blocs contigus) de chaque segment sont intégrés à la table dans laquelle les enregistrements sont insérés. Remarque : • Il faut exécuter la commande ALTER SESSION ENABLE PARALLEL DML au début de la transaction. • Un objet modifié par chargement de données par chemin direct en parallèle ne peut pas être interrogé ni modifié de nouveau dans la même transaction. a- Chargement des données par chemin direct en parallèle dans une table non partitionnée : Chaque serveur d’exécution en parallèle alloue un nouveau segment temporaire et insère des données dans ce segment. Lors de l’exécution d’une instruction, le coordinateur de l’exécution en parallèle fusionne les nouveaux segments temporaires dans le segment de table principal. b- Chargement des données par chemin direct en parallèle dans une table partitionnée : Chaque serveur d’exécution en parallèle peut avoir une ou plusieurs partitions, mais pas plus d’un processus par partition. Ce serveur insère des données au-delà du repère high-water mark actuel des segments de partition qui lui sont affectés. Lors de l’exécution d’une instruction, le repère high-water mark de chaque segment de partition est mis à jour par le coordinateur d’exécution en parallèle et prend la nouvelle valeur, rendant ainsi les données visibles aux autres utilisateurs.

Table des matières

LISTE DES FIGURES
LISTE DES TABLEAUX
LISTE DES ABREVIATIONS
INTRODUCTION GENERALE
PREMIERE PARTIE : LES OBSERVATIONS ET LE
RASSEMBLEMENT DES DONNEES METEOROLOGIQUES
Chapitre I : GÉNÉRALITÉS
1- OBSERVATION METEOROLOGIQUE
2- DIVERSES CATEGORIES DE STATIONS D’OBSERVATION
a- Les stations d’observation en surface
b- Les stations d’observation en altitude
c- Les stations d’observations spatiales
3- DIFFERENTS TYPES D’OBSERVATIONS
4- HEURES D’OBSERVATIONS
5- ROLE DE L’OBSERVATEUR
Chapitre II : RASSEMBLEMENT ET STOCKAGE DES DONNEES
METEOROLOGIQUES
1- INTRODUCTION
2- MODE DE RASSEMBLEMENT DES DONNEES
METEOROLOGIQUES
a- Les différents types de stations météorologiques
b- Les documents utilises pour rassembler les données
1- Feuille d’observation
2- Carnet d’observations
3- MODE DE STOCKAGE DES DONNEES
METEOROLOGIQUES
a- Méthode actuelle
b- Système informatisé
DEUXIEME PARTIE : MODE DE CREATION D’UNE BASE DE DONNEES
Chapitre I : BASE DE DONNEES
1- GENERALITES
2- ORACLE
 INTRODUCTION
 LES MODELES DE SGBD
a- Rôle de l’administrateur de SGBD
b- Restauration d’une base de donnes
c- Réplication d’une base de données
d- Accès hétérogènes
 LE MODELE RELATIONNEL
a- Concepts de base et vocabulaire
b- Conception des schémas relationnels
c- Notion de dépendance fonctionnelle
d- Notion de clé
e- Notion de jointure
f- Les formes normales
 ORACLE
a- Architecture d’ORACLE
b- Les objets de la base
c- L’environnement SQL+
d- Les types de données
e- SQL
Chapitre II : CREER UNE BASE DE DONNEES
1- PLANIFIER ET ORGANISER UNE BASE DE DONNEES
2- ARCHITECTURE OFA (OPTIMAL FLEXIBLE ARCHITECTURE)
3- LOGICIEL ORACLE ET EMPLACEMENTS DES FICHIERS
a- Emplacements dans le logiciel Oracle :
b- Architecture OFA
4- CONDITION PREALABLE A LA CREATION D’UNE BASE DE DONNEES
5- UTILISATION DE L’AUTHENTIFICATION PAR LE FICHIER DE MOTS DE PASSE
a- Utilisation d’un fichier de mot de passe
b- Emplacement des fichiers de mots de passe
c- Gérance du fichier de mots de passe
6- CREATION D’UNE BASE DE DONNEE
7- ENVIRONNEMENT DU SYSTEME D’EXPLOITATION
8- DATABASE CONFIGURATION ASSISTANT
9- CREATION D’UNE BASE DE DONNEES A L’AIDE DE DATABASE
CONFIGURATION ASSISTANT
10- RESOLUTION DES PROBLEMES
Chapitre III : GERANCE DES TABLES
1- STOCKAGE DES DONNEES UTILISATEUR
a- Tables normales
b- Table partitionnée
c- Tables organisée en index
d- Table clusterisée
2- TYPE DE DONNEES INTERNES ORACLE
3- STRUCTURE D’UNE LIGNE
a- Règles de création d’une table
b- Création d’une table
4- MIGRATION ET CHAINAGE DES LIGNES
a- Migration des lignes
b- Chaînage des lignes
5- VIDAGE D’UNE TABLE
a- Syntaxe
6- SUPPRESSION D’UNE TABLE
a- Syntaxe
b- Utilisation Oracle Enterprise Manager pour supprimer une table
7- SUPPRESSION D’UNE COLONNE
a- Utilisation d’un point de reprise (checkpoint) lors de la
suppression d’une colonne
b- Utilisation de l’ Oracle Enterprise Manager pour supprimer une
colonne
c- Restrictions relatives à la suppression d’une colonne
8- RESUME
Chapitre IV : CHARGEMENT DES DONNEES DANS UNE BASE
1- METHODES DE CHARGEMENT DES DONNEES
a- SQL*Loader
b- Chargement de données par chemin direct
c- Mode LOGGING
d- Autres considérations
2- CHARGEMENT DES DONNEES PAR CHEMIN DIRECT EN SERIE
a- Chargement des données par chemin direct dans une table non
partitionnée, une table partitionnée ou une table souspartitionnée
3- CHARGEMENT DES DONNEES PAR CHEMIN DIRECT EN PARALLELE
a- Chargement des données par chemin direct en parallèle dans une table non partitionnée
b- Chargement des données par chemin direct en parallèle dans une table partitionnée
4- SQL*Loader
a- Caractéristiques de SQL*Loader
b- Fichiers utilisés par SQL*Loader
5- Utilisation du SQL*Loader
a- Ligne de commande
b- Utilisation de l’Oracle Enterprise Manager OEM pour effectuer
un chargement de données à l’aide de l’Assistant de
Chargement
6- Fichier de contrôle de SQL*Loader
a- Utilisation la colonne OEM pour effectuer un chargement de
données à l’aide de l’Assistant de Chargement
7- METHODES DE CHARGEMENT DES DONNEES
a- Chargement des données par chemin conventionnel
8- COMPARAISON DES CHARGEMENTS DE DONNEES PAR CHEMIN
DIRECT ET PAR CHEMIN CONVENTIONNEL
a. Méthode d’enregistrement des données
b. Consignation des modifications
c. Application des contraintes
d. Exécution des déclencheurs INSERT
e. Chargement des données dans des tables clusterisées
f. Verrouillage
9- CHARGEMENT DES DONNEES PAR CHEMIN DIRECT EN

projet fin d'etude

Télécharger le document complet

Télécharger aussi :

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *