Suite

Combiner des rasters superposés dans gdal_calc.py, en prenant la valeur maximale de chaque pixel ?

Combiner des rasters superposés dans gdal_calc.py, en prenant la valeur maximale de chaque pixel ?


Je souhaite combiner 3 rasters superposés pour créer 1 raster. Chacun a les mêmes dimensions, résolution et CRS. Je souhaite remplir le nouveau raster avec la valeur maximale de chacune des couches. Cependant, lorsque j'utilise gdal_calc.py, la sortie n'écrit que deux des rasters.

Des idées?

gdal_calc.py -A ./EXTENT_30_OS_clipped_nodata.tif -B ./EXTENT_100_OS_clipped_nodata.tif -C ./EXTENT_1000_OS_clipped_nodata.tif --calc="maximum(A,B,C)" --outfile=./EXTENT_1000_100_30_OS.tif --type =Byte --NoDataValue=-9999 --overwrite

gdal_calc.py comme indiqué dans la documentation :

http://www.gdal.org/gdal_calc.html

utilise des fonctions de tableau numpy, dans ce cas numpy.maximum, qui est spécifié ici :

http://docs.scipy.org/doc/numpy/reference/generated/numpy.maximum.html

Il dit que vous ne pouvez utiliser que 2 paramètres. Ainsi, votre expression de calcul pour trois grilles doit ressembler à ceci :

maximum(maximum(A,B),C)


Combiner des rasters superposés dans gdal_calc.py, en prenant la valeur maximale de chaque pixel ? - Systèmes d'information géographique

Ce chapitre fournit des informations conceptuelles et d'utilisation sur le chargement, le stockage, l'accès et l'utilisation de données spatiales dans un environnement Big Data.


    Les fonctionnalités Oracle Big Data Spatial et Graph permettent de stocker, d'accéder et d'analyser les données spatiales rapidement et efficacement pour une prise de décision basée sur la localisation.
    Oracle Big Data Spatial and Graph prend en charge le stockage et le traitement des données spatiales vectorielles et raster.
    Oracle Spatial Hadoop Image Processing Framework permet la création de nouvelles images combinées résultant d'une série de phases de traitement en parallèle.
    La première étape pour traiter les images à l'aide d'Oracle Spatial et de Graph Hadoop Image Processing Framework consiste à avoir les images dans HDFS, puis à séparer les images en tuiles intelligentes.
    Une fois les images chargées dans HDFS, elles peuvent être traitées en parallèle à l'aide d'Oracle Spatial Hadoop Image Processing Framework.
    Le framework fournit une API de traitement de raster qui vous permet de charger et de traiter des rasters sans créer de XML mais à la place en utilisant une application Java. L'application peut être exécutée à l'intérieur du cluster ou sur un nœud distant.
    Lorsque vous créez des classes de traitement personnalisées. vous pouvez utiliser Oracle Spatial Hadoop Raster Simulator Framework pour effectuer les opérations suivantes en « faisant semblant » de les connecter à Oracle Raster Processing Framework.
    Oracle Big Data Spatial Raster Processing pour Apache Spark est une API de traitement de raster spatial pour Java.
    Oracle Big Data Spatial Vector Analysis est une API d'analyse vectorielle spatiale, qui s'exécute comme une tâche Hadoop et fournit des composants MapReduce pour le traitement spatial des données stockées dans HDFS.
    Oracle Big Data Spatial Vector Analysis pour Apache Spark est une API d'analyse vectorielle spatiale pour Java et Scala qui fournit des RDD (ensembles de données distribués résilients) spatialement compatibles qui prennent en charge les transformations et actions spatiales, le partitionnement spatial et l'indexation.
    Oracle Big Data Spatial Vector Hive Analysis fournit des fonctions spatiales pour analyser les données à l'aide de Hive.
    Vous pouvez utiliser l'application Web Oracle Big Data SpatialViewer (SpatialViewer) pour effectuer diverses tâches.

2.1 À propos du Big Data Spatial et de la prise en charge des graphes pour les données spatiales

Les fonctionnalités Oracle Big Data Spatial et Graph permettent de stocker, d'accéder et d'analyser les données spatiales rapidement et efficacement pour une prise de décision basée sur la localisation.

Les données spatiales représentent les caractéristiques de localisation d'objets réels ou conceptuels par rapport à l'espace réel ou conceptuel sur un système d'information géographique (SIG) ou une autre application basée sur la localisation.

Les caractéristiques spatiales sont utilisées pour géolocaliser, enrichir, visualiser, transformer, charger et traiter les images géographiques en deux et trois dimensions spécifiques à l'emplacement, et pour manipuler des formes géométriques pour les fonctions SIG.

2.1.1 Qu'est-ce que Big Data Spatial et Graph sur Apache Hadoop ?

Oracle Big Data Spatial and Graph sur Apache Hadoop est un framework qui utilise les programmes MapReduce et les capacités d'analyse dans un cluster Hadoop pour stocker, accéder et analyser les données spatiales. Les caractéristiques spatiales fournissent un schéma et des fonctions qui facilitent le stockage, la récupération, la mise à jour et l'interrogation de collections de données spatiales. Big Data Spatial and Graph sur Hadoop prend en charge le stockage et le traitement d'images spatiales, qui peuvent être des formes géométriques, des images matricielles ou vectorielles et stockées dans l'un des centaines de formats pris en charge.

Oracle Spatial and Graph Developer's Guide pour une introduction aux concepts, données et opérations spatiaux

2.1.2 Avantages d'Oracle Big Data Spatial et Graph

Les avantages de l'utilisation d'Oracle Big Data Spatial et Graph sont les suivants :

Contrairement à certains systèmes et moteurs de traitement spatial centrés sur le SIG, Oracle Big Data Spatial and Graph est capable de traiter des informations spatiales structurées et non structurées.

Les clients ne sont pas obligés ou limités à stocker une seule forme particulière de données dans leur environnement. Ils peuvent stocker leurs données à la fois en tant que données commerciales spatiales ou non spatiales et peuvent toujours utiliser Oracle Big Data pour effectuer leur traitement spatial.

Il s'agit d'un framework et les clients peuvent donc utiliser les API disponibles pour personnaliser leurs applications ou leurs opérations.

Oracle Big Data Spatial peut traiter à la fois les types d'informations et d'images vectorielles et matricielles.

2.1.3 Fonctionnalités et fonctions d'Oracle Big Data Spatial

Les données spatiales sont chargées pour interrogation et analyse par le serveur spatial et les images sont stockées et traitées par un cadre de traitement d'images. Vous pouvez utiliser le serveur Oracle Big Data Spatial and Graph sur Hadoop pour :

Catalogage des informations géospatiales, telles que les empreintes basées sur des cartes géographiques, la disponibilité des ressources dans une géographie, etc.

Traitement topologique pour calculer les opérations de distance, telles que le voisin le plus proche dans un emplacement de carte.

Catégorisation pour construire des cartes hiérarchiques des géographies et enrichir la carte en créant des associations démographiques au sein des éléments de la carte.

Les fonctions suivantes sont intégrées à Oracle Big Data Spatial et Graph :

Fonction d'indexation pour une récupération plus rapide des données spatiales.

Fonction de carte pour afficher les empreintes basées sur la carte.

Fonction de zoom pour zoomer et dézoomer des régions géographiques spécifiques.

Fonction Mosaïque et Groupe pour regrouper un ensemble de fichiers image à traiter pour créer une mosaïque ou un sous-ensemble d'opérations.

Fonctions de coordonnées cartésiennes et géodésiques pour représenter les données spatiales dans l'un de ces systèmes de coordonnées.

Fonction hiérarchique qui construit et relie la hiérarchie géométrique, telle que le pays, l'état, la ville, le code postal, etc. Cette fonction peut traiter les données d'entrée sous forme de documents ou de coordonnées latitude/longitude.

2.1.4 Fichiers, formats et logiciels spatiaux Oracle Big Data

Les données spatiales ou les images stockées peuvent être dans l'un de ces formats pris en charge :

Données géodésiques et cartésiennes

Autres formats pris en charge par GDAL

Vous devez disposer du logiciel suivant, pour stocker et traiter les données spatiales :

Compilateur GCC - Uniquement lorsque les formats pris en charge par GDAL sont utilisés

2.2 Oracle Big Data Vector et traitement des données raster

Oracle Big Data Spatial and Graph prend en charge le stockage et le traitement des données spatiales vectorielles et raster.

2.2.1 Traitement des données raster spatiales Oracle Big Data

Pour traiter les données raster, le chargeur GDAL charge les données spatiales raster ou les images dans un environnement HDFS. Les opérations de base suivantes peuvent être effectuées sur des données spatiales raster :

Mosaïque : combinez plusieurs images raster pour créer une seule image mosaïque.

Sous-ensemble : effectuez des opérations de sous-ensemble sur des images individuelles.

Opérations d'algèbre raster : effectuez des opérations d'algèbre sur chaque pixel des rasters (par exemple, addition, division, multiplication, log, pow, sine, sinh et acos).

Traitement spécifié par l'utilisateur : le traitement raster est basé sur les classes que l'utilisateur définit à exécuter dans les phases de mappage et de réduction.

Cette fonctionnalité prend en charge un framework MapReduce pour les opérations d'analyse raster. Les utilisateurs ont la possibilité de personnaliser leurs propres opérations raster, telles que l'exécution d'une fonction algébrique sur des données raster, etc. Par exemple, calculez la pente à chaque base d'un modèle d'élévation numérique ou d'une représentation 3D d'une surface spatiale, telle qu'un terrain. Pour plus de détails, consultez Oracle Big Data Spatial Hadoop Image Processing Framework for Raster Data Processing.

2.2.2 Traitement des données vectorielles spatiales Oracle Big Data

Cette fonctionnalité prend en charge le traitement des données vectorielles spatiales :

Chargé et stocké dans un environnement Hadoop HDFS

Stocké sous forme de données cartésiennes ou géodésiques

Les données vectorielles spatiales stockées peuvent être utilisées pour effectuer les opérations de requête suivantes et plus encore :

Plusieurs opérations de service de données sont prises en charge pour les données vectorielles spatiales :

De plus, il existe une prise en charge limitée de l'API de visualisation de carte pour le format HTML5 uniquement. Vous pouvez accéder à ces API pour créer des opérations personnalisées. Pour plus d'informations, consultez "Analyse vectorielle spatiale Oracle Big Data".

2.3 Cadre de traitement d'images Oracle Big Data Spatial Hadoop pour le traitement de données raster

Oracle Spatial Hadoop Image Processing Framework permet la création de nouvelles images combinées résultant d'une série de phases de traitement en parallèle.

Il comprend les fonctionnalités suivantes :

Stockage d'images HDFS, où chaque division de taille de bloc est stockée sous forme de tuile séparée, prête pour un futur traitement indépendant

Opérations de sous-ensemble, définies par l'utilisateur et d'algèbre cartographique traitées en parallèle à l'aide du framework MapReduce

Possibilité d'ajouter des classes de traitement personnalisées à exécuter dans les phases de mappage ou de réduction en parallèle de manière transparente

Traitement rapide des images géoréférencées

Prise en charge des formats GDAL, des images à plusieurs bandes, des DEM (modèles d'élévation numériques), des profondeurs de pixels multiples et des SRID

API Java donnant accès aux opérations de framework utiles pour les services Web ou les applications Java autonomes

Framework pour tester et déboguer les classes de traitement utilisateur dans l'environnement local

Oracle Spatial Hadoop Image Processing Framework se compose de deux modules, un chargeur et un processeur, chacun représenté par une tâche Hadoop s'exécutant sur différentes étapes d'un cluster Hadoop, comme représenté dans le diagramme suivant. En outre, vous pouvez charger et traiter les images à l'aide de l'application Web Image Server, et vous pouvez utiliser l'API Java pour exposer les capacités du framework.

Pour plus d'informations sur l'installation et la configuration, consultez :

2.3.1 Chargeur d'images

Le chargeur d'images est un travail Hadoop qui charge une image spécifique ou un groupe d'images dans HDFS.

Lors de l'importation, l'image est mise en mosaïque et stockée sous forme de bloc HDFS.

GDAL est utilisé pour mosaïquer l'image.

Chaque tuile est chargée par un mappeur différent, la lecture est donc parallèle et plus rapide.

Chaque tuile comprend un certain nombre d'octets qui se chevauchent (saisie utilisateur), de sorte que les tuiles couvrent la zone des tuiles adjacentes.

Un travail MapReduce utilise un mappeur pour charger les informations pour chaque tuile. Il y a 'n' nombre de mappeurs, en fonction du nombre de tuiles, de la résolution de l'image et de la taille du bloc.

Une seule phase de réduction par image rassemble toutes les informations chargées par les mappeurs et stocke les images dans un format spécial .ohif, qui contient la résolution, les bandes, les décalages et les données d'image. De cette façon, le décalage du fichier contenant chaque tuile et l'emplacement du nœud sont connus.

Chaque tuile contient des informations pour chaque bande. Ceci est utile lorsqu'il est nécessaire de ne traiter que quelques tuiles, puis seuls les blocs correspondants sont chargés.

Le schéma suivant représente un processus Image Loader :

2.3.2 Processeur d'images

Le processeur d'images est un travail Hadoop qui filtre les tuiles à traiter en fonction de l'entrée de l'utilisateur et effectue le traitement en parallèle pour créer une nouvelle image.

Traite des tuiles spécifiques de l'image identifiée par l'utilisateur. Vous pouvez identifier une, zéro ou plusieurs classes de traitement. Ces classes sont exécutées en phase de mappage ou de réduction, selon votre configuration. Pour la phase de mappage, après l'exécution des classes de traitement, une opération de mosaïque est effectuée pour adapter les pixels au format de sortie final demandé par l'utilisateur. Si aucune opération de mosaïque n'a été demandée, le raster en entrée est envoyé pour réduire la phase tel quel. Pour la phase de réduction, toutes les tuiles sont rassemblées dans un ensemble de données GDAL qui est entré pour la classe de traitement de réduction de l'utilisateur, où la sortie finale peut être modifiée ou analysée en fonction des besoins de l'utilisateur.

Un mappeur charge les données correspondant à une tuile, en conservant la localité des données.

Une fois les données chargées, le mappeur filtre les bandes demandées par l'utilisateur.

Les informations filtrées sont traitées et envoyées à chaque mappeur dans la phase de réduction, où les octets sont rassemblés et une image finale traitée est stockée dans HDFS ou dans un système de fichiers standard en fonction de la demande de l'utilisateur.

Le schéma suivant représente une tâche de traitement d'images :


Description de l'illustration image_processor_job.png

2.4 Charger une image dans Hadoop à l'aide du chargeur d'images

La première étape pour traiter les images à l'aide d'Oracle Spatial et de Graph Hadoop Image Processing Framework consiste à avoir les images dans HDFS, puis à séparer les images en tuiles intelligentes.

Cela permet au travail de traitement de travailler séparément sur chaque tuile indépendamment. Le chargeur d'images vous permet d'importer une seule image ou une collection d'images dans HDFS en parallèle, ce qui réduit le temps de chargement.

Le chargeur d'images importe des images d'un système de fichiers dans HDFS, où chaque bloc contient des données pour toutes les bandes de l'image, de sorte que si un traitement supplémentaire est requis sur des positions spécifiques, les informations peuvent être traitées sur un seul nœud.

2.4.1 Tâche de chargement d'image

Le travail de chargement d'image a son format d'entrée personnalisé qui divise l'image en divisions d'images associées. Les divisions sont calculées sur la base d'un algorithme qui lit des blocs carrés de l'image couvrant une zone définie, qui est déterminée par

area = ((blockSize - octets de métadonnées) / nombre de bandes) / octets par pixel.

Pour les morceaux qui n'utilisent pas la taille de bloc complète, les octets restants sont remplis de zéros.

Les divisions sont attribuées à différents mappeurs où chaque tuile attribuée est lue à l'aide de GDAL en fonction des informations ImageSplit. En conséquence, une instance ImageDataWritable est créée et enregistrée dans le contexte.

Les métadonnées définies dans l'instance ImageDataWritable sont utilisées par les classes de traitement pour configurer l'image en mosaïque afin de la manipuler et de la traiter. Étant donné que les images source sont lues à partir de plusieurs mappeurs, le chargement est effectué en parallèle et plus rapidement.

Une fois que les mappeurs ont fini de lire, le réducteur récupère les tuiles du contexte et les assemble pour enregistrer le fichier dans HDFS. Un processus de lecture spécial est nécessaire pour relire l'image.

2.4.2 Paramètres d'entrée

Les paramètres d'entrée suivants sont fournis à la commande Hadoop :

  • SOURCE_IMGS_PATH est un chemin d'accès à l'(les) image(s) ou dossier(s) source(s). Pour plusieurs entrées, utilisez un séparateur virgule. Ce chemin doit être accessible via NFS à tous les nœuds du cluster.
  • HDFS_OUTPUT_FOLDER est le dossier de sortie HDFS où sont stockées les images chargées.
  • OVERLAPPING_PIXELS est un nombre facultatif de pixels superposés sur les bords de chaque tuile, si ce paramètre n'est pas spécifié, une valeur par défaut de deux pixels superposés est prise en compte.
  • GDAL_LIB_PATH est le chemin où se trouvent les bibliothèques GDAL.
  • GDAL_DATA_PATH est le chemin où se trouve le dossier de données GDAL. Ce chemin doit être accessible via NFS à tous les nœuds du cluster.
  • THUMBNAIL_PATH est un chemin facultatif pour stocker une vignette des images chargées. Ce chemin doit être accessible via NFS à tous les nœuds du cluster et doit disposer d'une autorisation d'accès en écriture pour les utilisateurs de fil.
  • -expand contrôle si le chemin HDFS du raster chargé étend le chemin source, y compris tous les répertoires. Si vous définissez cette valeur sur false , le fichier .ohif est stocké directement dans le répertoire de sortie (spécifié à l'aide de l'option -o) sans inclure le chemin de ce répertoire dans le raster.
  • -extractLogs contrôle si les journaux de l'application exécutée doivent être extraits dans le répertoire temporaire du système. Par défaut, il n'est pas activé. L'extraction n'inclut pas les journaux qui ne font pas partie des classes Oracle Framework.
  • -logFilter <LINES_TO_INCLUDE_IN_LOG> est une chaîne séparée par des virgules qui répertorie tous les modèles à inclure dans les journaux extraits, par exemple, pour inclure des packages de classes de traitement personnalisées.
  • -pyramid <OUTPUT_DIRECTORY, LEVEL, [RESAMPLING]> permet la création de pyramides tout en effectuant le chargement initial du raster. Un OUPUT_DIRECTORY doit être fourni pour stocker les pyramides locales avant le téléchargement vers HDFS. Les pyramides sont chargées dans le même répertoire HDFSA demandé pour le chargement. Un NIVEAU de pyramide doit être fourni pour indiquer combien de pyramides sont nécessaires pour chaque raster. Un algorithme RESAMPLING est facultatif pour spécifier la méthode utilisée pour exécuter le rééchantillonnage si aucun n'est défini, alors BILINEAR est utilisé.

Par exemple, la commande suivante charge toutes les images géoréférencées sous le dossier images et ajoute un chevauchement de 10 pixels sur chaque bordure possible. Le dossier de sortie HDFS est ohiftest et les vignettes de l'image chargée sont stockées dans le dossier processtest.

Par défaut, les mappeurs et les réducteurs sont configurés pour obtenir 2 Go de JVM, mais les utilisateurs peuvent remplacer ces paramètres ou toute autre propriété de configuration de tâche en ajoutant un fichier de propriétés imagejob.prop dans le même emplacement de dossier à partir duquel la commande est exécutée. Ce fichier de propriétés peut répertorier toutes les propriétés de configuration que vous souhaitez remplacer. Par exemple,

La mémoire de tas Java ( propriétés java.opts ) doit être égale ou inférieure à la mémoire totale affectée aux mappeurs et réducteurs ( mapreduce.map.memory et mapreduce.reduce.memory ). Ainsi, si vous augmentez la mémoire de tas Java, vous devrez peut-être également augmenter la mémoire pour les mappeurs et les réducteurs.

Pour que GDAL fonctionne correctement, les bibliothèques doivent être disponibles en utilisant $LD_LIBRARY_PATH. Assurez-vous que le chemin des bibliothèques partagées est correctement défini dans votre fenêtre shell avant d'exécuter une tâche. Par exemple:

2.4.3 Paramètres de sortie

Le réducteur génère deux fichiers de sortie par image d'entrée. Le premier est le fichier .ohif qui concentre toutes les tuiles de l'image source, chaque tuile peut être traitée comme une instance séparée par un mappeur de traitement. En interne, chaque tuile est stockée sous forme de bloc HDFS, les blocs sont situés dans plusieurs nœuds, un nœud peut contenir un ou plusieurs blocs d'un fichier .ohif spécifique. Le fichier .ohif est stocké dans le dossier spécifié par l'utilisateur avec l'indicateur -out, sous /user/<USER_EXECUTING_JOB>/OUT_FOLDER/<PARENT_DIRECTORIES_OF_SOURCE_RASTER> si l'indicateur 𠄾xpand n'a pas été utilisé. Sinon, le fichier .ohif sera situé dans /user/<USER_EXECUTING_JOB>/OUT_FOLDER/ , et le fichier peut être identifié comme original_filename.ohif .

La deuxième sortie est un fichier de métadonnées associé qui répertorie tous les éléments de l'image et les coordonnées que chacun couvre. Le fichier est situé dans HDFS sous l'emplacement des métadonnées et son nom est un hachage généré à l'aide du nom du fichier ohif. Ce fichier est destiné à un usage interne Oracle uniquement et répertorie les métadonnées importantes du raster source. Quelques exemples de lignes d'un fichier de métadonnées :

Si l'indicateur -thumbnail a été spécifié, une miniature de l'image source est stockée dans le dossier associé. C'est un moyen de visualiser une traduction du fichier .ohif. Les journaux d'exécution des travaux sont accessibles à l'aide de la commande wire logs -applicationId <applicationId> .

2.5 Traitement d'une image à l'aide du processeur d'images Oracle Spatial Hadoop

Une fois les images chargées dans HDFS, elles peuvent être traitées en parallèle à l'aide d'Oracle Spatial Hadoop Image Processing Framework.

Vous spécifiez une sortie et le framework filtre les tuiles pour qu'elles s'intègrent dans cette sortie, les traite et les rassemble toutes pour les stocker dans un seul fichier. Les opérations d'algèbre cartographique sont également disponibles et, si elles sont définies, constitueront la première partie de la phase de traitement. Vous pouvez spécifier des classes de traitement supplémentaires à exécuter avant que la sortie finale ne soit créée par le framework.

Le processeur d'image charge des blocs de données spécifiques, en fonction de l'entrée (description en mosaïque ou un seul raster), et sélectionne uniquement les bandes et les pixels qui correspondent à la sortie finale. Toutes les classes de traitement spécifiées sont exécutées et la sortie finale est stockée dans HDFS ou le système de fichiers en fonction de la demande de l'utilisateur.

2.5.1 Tâche de traitement d'image

Le travail de traitement d'image a des flux différents selon le type de traitement demandé par l'utilisateur.

Flux de tâches de traitement d'image par défaut : exécuté pour le traitement qui comprend une opération de mosaïque, une opération de raster unique ou une opération de raster multiple de base.

Flux de tâches de traitement d'images matricielles multiples : exécuté pour le traitement qui inclut des opérations d'algèbre matricielle multiples complexes.

2.5.1.1 Flux de travail de traitement d'image par défaut

Le flux de travail de traitement d'image par défaut est exécuté lorsque l'un des traitements suivants est demandé :

Opération de base de l'algèbre matricielle multiple

Le flux a son propre FilterInputFormat personnalisé, qui détermine les tuiles à traiter, en fonction du SRID et des coordonnées. Seules les images avec le même type de données (profondeur de pixels) que le type de données d'entrée de mosaïque (profondeur de pixels) sont prises en compte. Seules les tuiles qui croisent les coordonnées spécifiées par l'utilisateur pour la sortie de la mosaïque sont incluses. Pour le traitement d'un seul raster ou d'une opération de base d'algèbre à plusieurs rasters (hors mosaïque), le filtre inclut toutes les tuiles des rasters en entrée, car le traitement sera exécuté sur les images complètes. Une fois les tuiles sélectionnées, un ImageProcessSplit personnalisé est créé pour chaque image.

Lorsqu'un mappeur reçoit ImageProcessSplit , il lit les informations en fonction de ce que l'ImageSplit spécifie, exécute un filtre pour sélectionner uniquement les bandes indiquées par l'utilisateur et exécute la liste des opérations de carte et des classes de traitement définies dans la demande, le cas échéant.

Chaque processus de mappeur s'exécute dans le nœud où se trouvent les données. Une fois les opérations d'algèbre cartographique et les classes de traitement exécutées, une validation vérifie si l'utilisateur demande une opération de mosaïque ou si l'analyse inclut l'image complète et si une opération de mosaïque est demandée, le processus final exécute l'opération. L'opération de mosaïque sélectionne dans chaque mosaïque uniquement les pixels qui correspondent à la sortie et apporte les modifications de résolution nécessaires pour les ajouter à la sortie de mosaïque. L'opération de processus unique copie simplement les octets de tuile raster précédents tels qu'ils sont. Les octets résultants sont stockés dans NFS pour être récupérés par le réducteur.

Un seul réducteur ramasse les tuiles et les assemble. Si vous avez spécifié une opération d'algèbre raster multiple de base, elle est exécutée en même temps que les tuiles sont fusionnées dans la sortie finale. Cette opération n'affecte que les pixels d'intersection dans la sortie de la mosaïque, ou dans chaque pixel si aucune opération de mosaïque n'a été demandée. Si vous avez spécifié une classe de traitement de réduction, le jeu de données GDAL avec le raster en sortie est envoyé à cette classe pour analyse et traitement. Si vous avez sélectionné la sortie HDFS, ImageLoader est appelé pour stocker le résultat dans HDFS. Sinon, par défaut, l'image est préparée à l'aide de GDAL et est stockée dans le système de fichiers (NFS).

2.5.1.2 Flux de travail de traitement d'images raster multiples

Le flux de travail de traitement d'images à trames multiples est exécuté lorsqu'une opération complexe d'algèbre à trames multiples est demandée. Elle s'applique aux rasters qui ont le même MBR, le même type de pixel, la même taille de pixel et le même SRID, car ces opérations sont appliquées pixel par pixel dans la cellule correspondante, où chaque pixel représente les mêmes coordonnées.

Le flux a son propre MultipleRasterInputFormat personnalisé, qui détermine les tuiles à traiter, en fonction du SRID et des coordonnées. Seules les images avec le même MBR, le même type de pixel, la même taille de pixel et le même SRID sont prises en compte. Seuls les rasters qui correspondent aux coordonnées spécifiées par le premier raster du catalogue sont inclus. Toutes les tuiles des rasters en entrée sont prises en compte, car le traitement sera exécuté sur les images complètes.

Une fois les tuiles sélectionnées, un MultipleRasterSplit personnalisé est créé. Cette division contient une petite zone de chaque tuile d'origine, en fonction de la taille du bloc, car désormais tous les rasters doivent être inclus dans une division, même s'il ne s'agit que d'une petite zone. Chacun d'entre eux est appelé IndividualRasterSplit , et ils sont contenus dans un parent MultipleRasterSplit .

Lorsqu'un mappeur reçoit le MultipleRasterSplit , il lit les informations de toutes les tuiles raster qui sont incluses dans la division parent, effectue un filtre pour sélectionner uniquement les bandes indiquées par l'utilisateur et uniquement la petite zone correspondante à traiter dans ce mappeur spécifique , puis exécute l'opération complexe d'algèbre raster multiple.

La localité des données peut être perdue dans cette partie du processus, car plusieurs rasters sont inclus pour un seul mappeur qui peut ne pas se trouver dans le même nœud. Les octets résultants pour chaque pixel sont mis dans le contexte pour être récupérés par le réducteur.

Un seul réducteur sélectionne les valeurs de pixels et les assemble. Si vous avez spécifié une classe de traitement de réduction, le jeu de données GDAL avec le raster en sortie est envoyé à cette classe pour analyse et traitement. La liste des tuiles que cette classe reçoit est nulle pour ce scénario, et la classe ne peut fonctionner qu'avec l'ensemble de données de sortie. Si vous avez sélectionné la sortie HDFS, ImageLoader est appelé pour stocker le résultat dans HDFS. Sinon, par défaut, l'image est préparée à l'aide de GDAL et est stockée dans le système de fichiers (NFS).

2.5.2 Paramètres d'entrée

Les paramètres d'entrée suivants peuvent être fournis à la commande hadoop :

  • MOSAIC_CONFIG_PATH est le chemin d'accès au fichier XML de configuration de mosaïque, qui définit les caractéristiques de la sortie.
  • GDAL_LIBRARIES_PATH est le chemin où se trouvent les bibliothèques GDAL.
  • GDAL_DATA_PATH est le chemin où se trouve le dossier de données GDAL. Ce chemin doit être accessible via NFS à tous les nœuds du cluster.
  • IMAGE_CATALOG_PATH est le chemin d'accès au catalogue XML qui répertorie les images HDFS à traiter. Ceci est facultatif car vous pouvez également spécifier un seul raster à traiter à l'aide de l'indicateur 𠄿ile.
  • USER_PROCESS_JAR_PATH est un fichier jar facultatif défini par l'utilisateur ou une liste de fichiers jar séparés par des virgules, chacun contenant des classes de traitement supplémentaires à appliquer aux images source.
  • THUMBNAIL_PATH est un indicateur facultatif pour activer la création de vignettes des images chargées. Ce chemin doit être accessible via NFS à tous les nœuds du cluster et n'est valide que pour une sortie HDFS.
  • USER_NATIVE_LIBRARIES_PATH est une liste facultative séparée par des virgules de bibliothèques natives supplémentaires à utiliser dans l'analyse. Il peut également s'agir d'un répertoire contenant toutes les bibliothèques natives à charger dans l'application.
  • USER_PARAMETERS est une liste de clés/valeurs facultative utilisée pour définir les données d'entrée pour les classes de traitement utilisateur. Utilisez un point-virgule pour séparer les paramètres. Par exemple : azimut=315altitude=45
  • SINGLE_RASTER_PATH est un chemin facultatif vers le fichier .ohif qui sera traité par le travail. Si cela est défini, vous n'avez pas besoin de définir un catalogue.

Par exemple, la commande suivante traitera tous les fichiers répertoriés dans le fichier de catalogue input.xml à l'aide de la définition de sortie en mosaïque définie dans le fichier testFS.xml.

Par défaut, les mappeurs et les réducteurs sont configurés pour obtenir 2 Go de JVM, mais les utilisateurs peuvent remplacer ces paramètres ou toute autre propriété de configuration de tâche en ajoutant un fichier de propriétés imagejob.prop dans le même emplacement de dossier à partir duquel la commande est exécutée.

Pour que GDAL fonctionne correctement, les bibliothèques doivent être disponibles en utilisant $LD_LIBRARY_PATH. Assurez-vous que le chemin des bibliothèques partagées est correctement défini dans votre fenêtre shell avant d'exécuter une tâche. Par exemple:

2.5.2.1 Structure XML du catalogue

Voici un exemple de catalogue d'entrée XML utilisé pour répertorier chaque image source considérée pour l'opération de mosaïque générée par la tâche de traitement d'image.

Un élément <catalog> contient la liste des éléments <image> à traiter.

Chaque élément <image> définit une image source ou un dossier source dans l'élément <aster>. Toutes les images du dossier sont traitées.

L'élément <bands> spécifie le nombre de bandes de l'image, l'attribut datatype a le type de données raster et l'attribut config spécifie quelle bande doit apparaître dans l'ordre des bandes de sortie de la mosaïque. Par exemple : 3,1,2 spécifie que la bande de sortie de mosaïque numéro 1 aura la bande numéro 3 de ce raster, la bande de mosaïque numéro 2 aura la bande source 1 et la bande de mosaïque numéro 3 aura la bande source 2. Cet ordre peut changer de raster à raster.

Sujet parent : Paramètres d'entrée

2.5.2.2 Structure XML de définition de mosaïque

Voici un exemple de configuration XML de mosaïque utilisée pour définir les caractéristiques de la sortie générée par la tâche de traitement d'image.

L'élément <mosaic> définit les spécifications de la sortie de traitement. L'attribut exec spécifie si le traitement inclura ou non une opération de mosaïque. S'il est défini sur « false », une opération de mosaïque n'est pas exécutée et un seul raster est traité s'il est défini sur « true » ou non défini, une opération de mosaïque est effectuée. Certains des éléments suivants sont requis uniquement pour les opérations de mosaïque et ignorés pour le traitement d'un seul raster.

L'élément <output> définit les fonctionnalités telles que <SRID> considérées pour la sortie. Toutes les images des différents SRID sont converties dans le SRID de la mosaïque afin de décider si l'une de ses tuiles s'intègre ou non dans la mosaïque. Cet élément n'est pas requis pour le traitement d'un seul raster, car le raster en sortie a le même SRID que l'entrée.

L'élément <directory> définit l'emplacement de la sortie. Il peut s'agir d'un HDFS ou d'un système de fichiers standard (FS), qui est spécifié dans le type de balise.

L'élément <tempFsFolder> définit le chemin pour stocker temporairement la sortie de la mosaïque. L'attribut delete="false" peut être spécifié pour conserver la sortie du processus même si le chargeur a été exécuté pour la stocker dans HDFS.

Les éléments <filename> et <format> spécifient le nom du fichier de sortie. <filename> n'est pas requis pour un processus raster unique et s'il n'est pas spécifié, le nom du fichier d'entrée (déterminé par l'attribut -file lors de l'appel de tâche) est utilisé pour le fichier de sortie. <format> n'est pas requis pour le traitement d'un seul raster, car le raster en sortie a le même format que l'entrée.

Les éléments <width> et <height> définissent la résolution de sortie de la mosaïque. Ils ne sont pas nécessaires pour le traitement d'un seul raster, car le raster en sortie a la même résolution que l'entrée.

L'élément <algorithm> définit l'algorithme d'ordre des images. Une commande 1 signifie, par date de dernière modification de la source, et une commande 2 signifie, par taille d'image. La balise order représente les modes ascendant ou descendant. (Ces propriétés sont destinées aux opérations de mosaïque où plusieurs rasters peuvent se chevaucher.)

L'élément <bands> spécifie le nombre de bandes dans la mosaïque de sortie. Les images avec moins de bandes que ce nombre sont supprimées. L'attribut config peut être utilisé pour le traitement raster unique afin de définir la configuration de bande pour la sortie, car il n'y a pas de catalogue.

L'élément <nodata> spécifie la couleur dans les trois premières bandes pour tous les pixels de la sortie mosaïque qui n'ont aucune valeur.

L'élément <pixelType> définit le type de pixel de la sortie mosaïque. Les images source qui n'ont pas la même taille de pixel sont rejetées pour le traitement. This element is not required for single raster processing: if not specified, the pixel type will be the same as for the input.

The <crop> element defines the coordinates included in the mosaic output in the following order: startcoordinateX , pixelXWidth , RotationX , startcoordinateY , RotationY , and pixelheightY . This element is not required for single raster processing: if not specified, the complete image is considered for analysis.

The <process> element lists all the classes to execute before the mosaic operation.

The <classMapper> element is used for classes that will be executed during mapping phase, and the <classReducer> element is used for classes that will be executed during reduce phase. Both elements have the params attribute, where you can send input parameters to processing classes according to your needs.

The <operations> element lists all the map algebra operations that will be processed for this request. This element can also include a request for pyramid operations for example:


Abstrait

The coastal waters of the Maltese Islands, central Mediterranean Sea, sustain a diversity of marine habitats and support a wide range of human activities. The islands’ shallow waters are characterised by a paucity of hydrographic and marine geo-environmental data, which is problematic in view of the requirements of the Maltese Islands to assess the state of their coastal waters by 2012 as part of the EU Marine Strategy Directive. Multibeam echosounder (MBES) systems are today recognised as one of the most effective tools to map the seafloor, although the quantitative characterisation of MBES data for seafloor and habitat mapping is still an underdeveloped field. The purpose of this study is to outline a semi-automated, Geographic Information System-based methodology to map the distribution of habitats in shallow coastal waters using high-resolution MBES data. What distinguishes our methodology from those proposed in previous studies is the combination of a suite of geomorphometric and textural analytical techniques to map specific types of seafloor morphologies and compositions the selection of the techniques is based on identifying which geophysical parameter would be influenced by the seabed type under consideration.

We tested our approach in a 28 km 2 area of Maltese coastal waters. Three data sets were collected from this study area: (i) MBES bathymetry and backscatter data (ii) Remotely Operated Vehicle imagery and (iii) photographs and sediment samples from dive surveys. The seabed was classified into five elementary morphological zones and features – flat and sloping zones, crests, depressions and breaks of slope – using morphometric derivatives, the Bathymetric Position Index and geomorphometric mapping. Segmentation of the study area into seagrass-covered and unvegetated seafloor was based on roughness estimation. Further subdivision of these classes into the four predominant types of composition – medium sand, maërl associated with sand and gravel, seagrass settled on sand and gravel, and seagrass settled on bedrock – was carried out through supervised classifications of morphometric derivatives of the bathymetry and textural indices of backscatter, based on information from training stations. The resulting morphologic and seabed composition maps were combined to plot the distribution of the predominant habitats in the coastal waters offshore NE Malta, some of which are of high conservation value. Ground-truthing of the habitat map using ROV imagery and dive observations confirms that our approach produces a simplified and accurate representation of seafloor habitats while using all the information available within the MBES data sets.

Points forts

► We outline a semi-automated method to map habitats in shallow coastal waters. ► The method is based on high resolution multibeam bathymetry and backscatter data. ► It combines morphometric and textural analyses to map morphology and composition. ► We use method to plot distribution of the predominant habitats offshore NE Malta. ► Ground-truthing with ROV and dive observations confirms validity of our approach.


Segment Images

Segmentation is the process of partitioning an image into objects by grouping neighboring pixels with common values. The objects in the image ideally correspond to real-world features. Effective segmentation ensures that classification results are more accurate.

  1. Activer le Aperçu option in the Object Creation panel. A Preview Window appears with segments outlined in green.
  2. Sous Segment Settings, select an Algorithme from the drop-down list provided. The following options are available:
    • Edge: Best for detecting edges of features where objects of interest have sharp edges. Set an appropriate Scale Level et Merge Level (see steps below) to effectively delineate features.
    • Intensity: Best for segmenting images with subtle gradients such as digital elevation models (DEMs) or images of electromagnetic fields. When selecting this method, don't perform any merging set the Merge Level à 0. Merging is used primarily to combine segments with similar spectral information. Elevation and other related attributes are not appropriate for merging.

See Watershed Algorithm Background for more detailed descriptions of each option.

Pointe: For best segmentation results, select a combination of bands that have similar spectral ranges such as R, G, B, and NIR bands. You should not perform segmentation with a combination of custom bands (normalized difference or HSI color space) and visible/NIR bands. You can perform segmentation on the normalized difference or color space bands by themselves, but not in combination with visible and NIR bands.

  • Full Lambda Schedule: (default). Merges small segments within larger, textured areas such as trees or clouds, where over-segmentation may be a problem.
  • Fast Lambda: Merges adjacent segments with similar colors and border sizes.

See Merge Algorithms Background for more detailed descriptions of each option.


Combine overlapping rasters in gdal_calc.py, taking the maximum value from each pixel? - Systèmes d'information géographique

This chapter describes advanced image processing capabilities, including GCP georeferencing, reprojection, rectification, orthorectification, warping, image scaling, stretching, filtering, masking, segmentation, NDVI computation, Tasseled Cap Transformation, image appending, bands merging, and large-scale advanced image mosaicking.

This chapter also describes the concept and application of virtual mosaic within the context of a large-scale image database and on-the-fly spatial queries over it.

The operations in this chapter are most commonly used to process geospatial images, particularly raw satellite imagery and airborne photographs. However, those operations, just like the GeoRaster raster algebra, apply to all raster data types.

This chapter contains the following major sections.


    In addition to spatial referencing capability, advanced georeferencing capabilities are available.
    Image reprojection is the process of transforming an image from one SRS (spatial reference system, or coordinate system) to another.
    Most raster data originating from remote sensors above the ground is usually subject to distortion caused by the terrain, the view angles of the instrument, and the irregular shape of the Earth. Image rectification as explained in this section is the process of transforming the images to reduce some of that distortion.
    Orthorectification is a rectification transformation process where information about the elevation, the terrain, and the shape of the Earth is used to improve the quality of the output rectified image. Oracle GeoRaster supports single image orthorectification with average height value or DEM.
    Image warping transforms an input GeoRaster object to an output GeoRaster object using the spatial reference information from a specified SDO_GEOR_SRS object.
    Affine transformation is the process of using geometric transformations of translation, scaling, rotation, shearing, and reflection on an image to produce another image.
    The color and contrast of images can be enhanced to improve their visual quality. The SDO_GEOR_IP package (“IP” for image processing) provides a set of subprograms for image enhancement, including performing image stretching, image normalization, image equalization, histogram matching, and image dodging.
    Image filtering is the process of applying a convolution filter on an image to achieve a specific purpose. For example, applying a low-pass filter on an image can smooth and reduce noise in an image, while applying a high-pass filter on an image can enhance the details of the image or even detect the edges inside the image.
    Segmentation is a simple type of classification algorithm, and can be useful in classifying certain types of images into larger ground feature categories, such as land, cloud, water, or snow.
    Image pyramiding is one of the most commonly used processes in building large-scale image databases.
    Bitmap pyramiding can produce high-quality pyramids in certain cases where traditional pyramiding is not adequate.
    In remote sensing, the Normalized Difference Vegetation Index (NDVI) is a widely used vegetation index, enabling users to quickly identify vegetated areas and monitor the growth and "condition" of plants.
    Tasseled Cap Transformation (TCT) is a useful tool for analyzing physical ground features using remotely sensed imagery.
    To perform image masking, an application can query the GeoRaster database for bitmap masks, retrieve the desired bitmap mask or masks, and apply the masking operation on the target GeoRaster object for the purpose of displaying the object or performing some other processing.
    For image classification, time series analysis, and raster GIS modeling, multiple bands or layers of different GeoRaster objects may need to be merged into a single GeoRaster object.
    You can append one image to another image when the two images have the same number of bands.
    A large geospatial area typically consists of many smaller aerial photographs or satellite images. Large-scale image mosaicking can stitch these small geospatial images into one large image to get a better view of the whole spatial area.
    A virtual mosaic treats a set of GeoRaster images as one large virtually mosaicked image.
    Serving of image and raster data to clients or applications is supported through many features of the GeoRaster PL/SQL and Java APIs.

6.1 Advanced Georeferencing

In addition to spatial referencing capability, advanced georeferencing capabilities are available.

In GeoRaster, the spatial referencing capability is called SRS (spatial reference system) or georeferencing, which may or may not be related to geography or a geospatial scheme. Georeferencing is a key feature of GeoRaster and is the foundation of spatial query and operations over geospatial image and gridded raster data. See Georeferencing for a detailed description of the SRS models.

GeoRaster supports non-geospatial images, fine art photos, and multi-dimensional arrays, which might not be associated with any coordinate system. For those images and rasters, there is generally no need for georeferencing, but most of the GeoRaster operations still work on them, such as pyramiding, scaling, subsetting, band merging, stretching, and algebraic operations. In these cases, you address the pixels (cells) using the raster's cell space coordinates (that is, row, column, and band).

You can also create a user-defined coordinate system (a new SRID) that is not related to geography, and you can use that SRID as the model coordinate system for the rasters. Then, you can spatially reference these rasters to that SRID that is, an SRS metadata component will be created for each of those rasters. Doing this causes those rasters to be spatially referenced, and thus co-located in that user-defined model coordinate system. After this is done for all related rasters, GeoRaster operations will work on those rasters as if they are georeferenced to a geographic coordinate system. For example, assume that an artist has painted a large mural on a wall, and that you want to be able to take many high-resolution photographs of different tiles of this wall and then stitch them together. You can spatially reference the tile images and then use the GeoRaster mosaicking capability to do the stitching.

If you do not define a new coordinate system, you can still co-locate the images in the cell space. That is, you can set up different ULT coordinates for the images by calling the SDO_GEOR.setULTCoordinate procedure, so that the images are aligned in the same coordinate system and then can be mosaicked.

Most geospatial image and raster files that you have are probably already georeferenced by other software tools, and thus they may come with georeferencing information. In those cases, the georeferencing information can be directly loaded with the rasters or afterward by using SDO_GEOR.importFrom, SDO_GEOR.setSRS, the GeoRaster loader tool, GDAL, or other third-party ETL tools. For more information, check GeoRaster Tools: Viewer_ Loader_ Exporter and Georeferencing GeoRaster Objects.

If a geospatial image does not have spatial reference information, you can use the GeoRaster Ground Control Point (GCP) support to georeference the image. GCPs are collected either automatically by the remote sensing system or manually afterward. For an image without GCP information, you can use a GeoRaster visualization tool to collection GCPs for the GeoRaster object. GCPs are described in Ground Control Point (GCP) Georeferencing Model.

After you have the GCPs and want to store them in the GeoRaster metadata, you can get and set the GCP-based georeferencing mode by using the SDO_GEOR.getGCPGeorefModel function and the SDO_GEOR.setGCPGeorefModel procedure. To get, set, and edit only GCPs, use the SDO_GEOR.getControlPoint function and the SDO_GEOR.setControlPoint and SDO_GEOR.deleteControlPoint procedures. The GCPs can also be stored in the GeoRaster metadata when you call SDO_GEOR.georeference.

To get and set only the geometric model, use the SDO_GEOR.getGCPGeorefMethod function and the SDO_GEOR.setGCPGeorefMethod procedure. GeoRaster also allows you to store check points ( pointType = 2), which are treated and manipulated in the same way as control points ( pointType = 1) except that check points are not used to create the SRS coefficient when SDO_GEOR.georeference is called with the GCPs.

If you have ground control points (GCPs) that are either stored in the GeoRaster object or not, and if you want to calculate the functional fitting georeferencing model, you can call the SDO_GEOR.georeference procedure to find the solution. The functional fitting georeferencing model stores all coefficients in the GeoRaster SRS and enables the coordinate transformations between cell space and model space. To generate the functional fitting georeferencing model using GCP, you must specify an appropriate geometric model. The specific geometric models supported by SDO_GEOR.georeference are Affine Transformation, Quadratic Polynomial, Cubic Polynomial, DLT, Quadratic Rational, and RPC. These models are described in Functional Fitting Georeferencing Model.

Example 6-1 Setting Up the GCP Georeferencing Model

For example, if you have a Landsat image in a plain area and want to georeference it, you might choose the Quadratic Polynomial geometric model. For that purpose, assuming you have collected 9 GCPs (at least 6 GCPs in this case) and 3 check points, you can set up the GCPs and store them in the GeoRaster's metadata using the code in Example 6-1.

Example 6-2 Generating the Functional Fitting Model Using GCPs

After using the code in Example 6-1, you can generate the functional fitting model coefficients by using the code in Example 6-2.

The steps in Example 6-1 and Example 6-2 can be combined without the need to pre-set the GCPs into the GeoRaster object's metadata (see the example for SDO_GEOR.georeference in SDO_GEOR Package Reference). The returned value array of SDO_GEOR.georeference in Example 6-2 contains RMS values and residuals for each GCP. Using these, you can examine the solution accuracy and identify erratic GCPs. If the accuracy is not satisfactory, recheck all GCPs to make sure they are accurate and add more GCPs as necessary, and then run the script or scripts again.

The GCP support in GeoRaster enables you to spatially reference any non -geospatial images and rasters also.

After geospatial images are georeferenced, you can process those images, such as applying rectification, reprojection, and mosaicking, and spatially querying and subsetting the rasters using geometry polygons in different coordinate systems.


4 Modeling the uncertainty of occurrence data

Random noise was injected into the synthetically created occurrence locations by randomly altering the original occurrence locations by a standard deviation of 1% (10 units). We assumed that the study area is a small region that is 1 km in each direction and contains a microhabitat similar to the one modeled in the previous section. In this case, a standard deviation of 1% would be equivalent to 10 m, which is typical for a handheld GPS (USDOD, 2008 Wing et al., 2005 ). The model was run 100 times and resulted in a mean AIC of 26,423 with a standard deviation of 14. The mean AUC value was 0.78 with a standard deviation of less than 0.001. HEMI 2 also produces maps of the standard deviation (Figure 9) and response curves showing the mean, minimum, maximum, and confidence intervals (Figure 10). The maps can be used to evaluate the spatial distribution of high or low confidence within our models, while the response curves characterize the variance within our models for each environmental variable.

HEMI 2 produced histograms of the AIC and AUC values and graphs of the cumulative mean value for AIC and AUC (Figure 11) for all model runs. The histograms should approach a normal distribution when sufficient runs have been completed and the cumulative AIC and AUC curves should show that these values are stabilizing over time. The histograms and performance metrics for each run are available on the HEMI 2 Web site (http://gsp.humboldt.edu/HEMI2 ) .


4. DISCUSSION

Although SEEMs increase model accuracy over continental scales (Fink et al., 2013, 2010 ), our study found their performance differed by species and predictor resolution even in a state with variable climate and diverse ecoregions. Two species were often better represented by SEEMs, suggesting their distributional processes may vary regionally. There were few obvious commonalities among these species that would lead to SEEMs being more accurate for them. One species is nonpasserine (Northern Bobwhite), and the other is a common grassland passerine (Western Meadowlark). Two species were always better with statewide models (Brown-headed Cowbird and Dickcissel). The cowbird is strongly dependent on habitat structure (Benson et al., 2013 Bernath-Plaisted, Nenninger, & Koper, 2017 ), but these variables are not what is measured by the predictor layers that we used. Dickcissel is known for its semi-nomadic movement patterns (Temple, 2017 ) as such, neither species may be as dependent on local climatic variation mapped by the BioClim predictor inputs. The inconsistencies in the remainder of the species suggest that a larger sample of species and predictor resolutions is needed to compare why models are appropriate for given situations. On our original models, the predictors are consistently finer-scaled (30 m) than some, but not all, response location data (ranging from exact point count locations to aggregate sightings along a 4.3 km transect). However, Fink et al. ( 2010 ) used transects almost twice as long as ours (up to 8.1 vs. 4.3 km) with 30 m resolution predictor data, so that should not account for differences between our results.

A potential mechanism for variation between species includes whether species’ distributions depend more upon bioclimatic versus ecological variables, as bioclimatic variables should change more smoothly over a larger area (potentially reducing the need for adaptive local models). It could also be that species-specific processes determine whether SEEMs are required. However, one benefit of random forest models and other machine learning methods is minimal tuning and expert opinion required to generate an accurate map (Fink et al., 2010 ). Requiring researchers to choose spatial scale based on expert opinion of variable importance negates this benefit. However, the fact that most species showed different model performance based on whether we used fine or coarse predictor resolution suggests that model performance depends at least partially on dataset resolutions. Researchers who suspect that a SEE model is appropriate for their dataset and system can compare a small number of base models for different regions or times and see if relationships vary among the test models.

An alternative approach for modelers seeking increased accuracy is the use of nonspatially explicit ensemble models, where different base models (predicting for the whole study area) are combined to produce a single prediction map (Araújo & New, 2007 Oppel et al., 2012 ). We recommend this approach as more efficient for regional managers. Multiple maps will still be generated for the whole study area (m = number of base models used), but typically fewer than the number of support sets created in a SEEM or STEM. These types of ensembles are known to increase accuracy relative to a single base model (Araujo & New 2007 Oppel et al., 2012 ). Although large-scale solutions to conserve grasslands are needed (Samson et al., 2004 ), local and regional conservation and management efforts also have critical impacts (Brennan et al., 2005 ). We expected that SEEMs would be most accurate and therefore relevant to wildlife management in this state with diverse ecotypes that occur at scales larger than predictors but smaller than our study region. However, based on our study, we recommend that when using a single base model type, all distribution model types should be run (statewide and at least one or more scales of SEEM) if computing capacity is available.


A Review of Satellite Remote Sensing Techniques of River Delta Morphology Change

River deltas are important coastal depositional systems that are home to almost half a billion people worldwide. Understanding morphology changes in deltas is important in identifying vulnerabilities to natural disasters and improving sustainable planning and management. In this paper, we critically review literature on satellite remote sensing techniques that were used to study delta morphology changes. We identify and categorize these techniques into 3 major classes: (1) one-step change detection, 2) two-step change detection, and (3) ensemble classifications. In total, we offer a review of 18 techniques with example studies, and strengths and caveats of each. Synthesis of literature reveals that sub-pixel-based algorithms perform better than pixel-based ones. Machine learning techniques rank second to sub-pixel techniques, although an ensemble of techniques can be used just as effectively to achieve high feature detection accuracies. We also evaluate the performance of the 7 most commonly used techniques in literature on a sample of global deltas. Findings show the unsupervised classification significantly outperforms the others, and is recommended as a first-order delta morphological feature extraction technique in previously unknown, or, data sparse deltaic territories. We propose four pathways for future advancement delta morphological remote sensing: (1) utilizing high-resolution imagery and development of more efficient data mining techniques, (2) moving toward universal applicability of algorithms and their transferability across satellite platforms, (3) use of ancillary data in image processing algorithms, and (4) development of a global-scale repository of deltaic data for the sharing of scientific knowledge across disciplines.


Landslide susceptibility mapping in and around Mussoorie Township using fuzzy set procedure, MamLand and improved fuzzy expert system-A comparative study

A landslide susceptibility map (LSM) is an imperative element in the planning of sustainable development practices and geo-environmental conservations in mountainous terrains. In recent times, approaches that couple soft computing techniques and Geographic Information System (GIS) has emerged as better-suited models that can diminish the flaws and limitations of heuristic, probabilistic and distribution approaches in landslide susceptibility mapping. This paper presents an improved fuzzy expert system (FES) model, a fusion of Mamdani fuzzy inference system (Mamdani-FIS) and frequency ratio method for GIS-based landslide susceptibility mapping. The improved FES model has been applied for mesoscale (1:15,000) landslide susceptibility mapping of Mussoorie Township, Uttarakhand, India, along with conventional fuzzy set procedure (FSP) and an existing FES model, MamLand. The LSMs generated through different procedures have been validated and compared by means of spatial distribution of susceptibility zones and statistical analysis with the help of landslide inventory. The validation and comparative analysis have indicated the significantly better performance of the improved FES model over FSP and MamLand.

Ceci est un aperçu du contenu de l'abonnement, accessible via votre institution.


2.2 Oracle Big Data Vector and Raster Data Processing

Oracle Big Data Spatial and Graph supports the storage and processing of both vector and raster spatial data.

2.2.1 Oracle Big Data Spatial Raster Data Processing

For processing the raster data, the GDAL loader loads the raster spatial data or images onto a HDFS environment. The following basic operations can be performed on a raster spatial data:

Mosaic: Combine multiple raster images to create a single mosaic image.

Subset: Perform subset operations on individual images.

Raster algebra operations: Perform algebra operations on every pixel in the rasters (for example, add, divide, multiply, log, pow, sine, sinh, and acos).

User-specified processing: Raster processing is based on the classes that user sets to be executed in mapping and reducing phases.

This feature supports a MapReduce framework for raster analysis operations. The users have the ability to custom-build their own raster operations, such as performing an algebraic function on a raster data and so on. For example, calculate the slope at each base of a digital elevation model or a 3D representation of a spatial surface, such as a terrain. For details, see Oracle Big Data Spatial Hadoop Image Processing Framework for Raster Data Processing.

2.2.2 Oracle Big Data Spatial Vector Data Processing

This feature supports the processing of spatial vector data:

Loaded and stored on to a Hadoop HDFS environment

Stored either as Cartesian or geodetic data

The stored spatial vector data can be used for performing the following query operations and more:

Sevetal data service operations are supported for the spatial vector data:

In addition, there is a limited Map Visualization API support for only the HTML5 format. You can access these APIs to create custom operations. For details, see "Oracle Big Data Spatial Vector Analysis."


Remerciements

The authors of this study appreciate the geology post-graduation program of Universidade Federal de Minas Gerais, Brazil ICMBIO/CECAV (Chico Mendes Institute for Biodiversity Conservation/Brazilian National Center for Research and Conservation of Caves) for financial support and M. Antonieta Mourão for constructive criticism, comments and suggestions.

Le financement

Funding was provided by GERDAU/ICG/GEO/PAN CAVERNAS DO SÃO FRANCISCO (Grand No. 22317).