¿Está buscando opciones para ETL espacial (Extraer, Transformar, Cargar)?

33

Estoy interesado en las ventajas y desventajas de varias herramientas espaciales de ETL (extracción, transformación, carga). Si ha usado los artículos que se enumeran aquí (o agregue los suyos), busco sus opiniones y experiencias. En particular, me gustaría ver comparaciones de usabilidad de:

No es necesario dar una revisión de TODOS los programas mencionados. Si tiene experiencia incluso con uno, será muy beneficioso tomar una decisión sobre qué dirección tomar.

Ejemplo: Estoy buscando crear una función de conversión de esquema que me permita seleccionar la capa de entrada, crear una traducción y enviar a un nuevo esquema predefinido. De manera óptima, después de crear el script de traducción, me gustaría tener un formulario interactivo donde pueda "asignar" los campos de mi capa de entrada a la capa de salida (es decir, la capa de salida tendrá un campo llamado "Dirección", cómo se llama en la capa de entrada?)

Algunos se mencionaron en la Q & A en ¿Qué herramientas están disponibles para cargar datos gis en una base de datos?

Y aquí hay un par de artículos relacionados que encontré.

pregunta RyanDalton 05.02.2018 - 01:22

10 respuestas

16
  

Esta pregunta se ha convertido a Community Wiki y wiki bloqueado.   Porque es un ejemplo de una pregunta que busca una lista de respuestas.   y parece ser lo suficientemente popular como para protegerlo del cierre. Eso   debe tratarse como un caso especial y no debe considerarse como el   tipo de pregunta que se recomienda en este o en cualquier intercambio de pila   sitio, pero si desea contribuir más contenido a él, entonces siéntase libre   para hacerlo editando esta respuesta.

Solo hablaré sobre lo que he visto en un contexto profesional. Un estudiante mío trabajó con una empresa encargada de recibir, validar e integrar enormes cantidades de datos espaciales, desde una fuente bien conocida (TeleAtlas) a su SIG. Utilizó varios flujos de trabajo utilizando FME, realizando verificaciones y transformaciones muy complicadas sobre la marcha, de un formato a otro, como la selección de características, la verificación de topología, la eliminación de duplicados, etc. El flujo de trabajo pudo luego procesar los conjuntos de datos entrantes automáticamente.

Estaba en un jurado para un informe de libertad condicional (lo siento, traducción de Google de "soutenance de rapport de stage"), donde el estudiante describió otro flujo de trabajo de FME como este, pero esta vez para validar los conjuntos de datos regionales enviados a la red nacional. Nivel de integración a la base de datos nacional de riesgos. La principal diferencia es que en este último ejemplo, el conjunto de datos estaba en formatos de archivo muy diversos, ráster y vector, escalas y estilos.

Por último, probé Spatial Data Integrator, el ETL de código abierto basado en Talend Open Studio. Las características eran numerosas, aunque eran menos que las FME, pero creo que las principales diferencias estaban en la documentación y la facilidad de uso de la creación del flujo de trabajo. A menudo me vi obligado a modificar el código fuente de Java de los componentes del flujo de trabajo. Pero fue una versión anterior de SDI, y las deficiencias que describo aquí son un tanto habituales con los proyectos de código abierto en sus inicios, y no podemos comparar en el mismo nivel de software bien desarrollado y de contendientes jóvenes de código abierto.

    
respondido por el PolyGeo 05.02.2018 - 01:19
23

Para un proyecto reciente que trabaja con varios GB de datos espaciales, comencé a cargar / reproyectar datos con FME. Funcionó bien, pero hay una curva de aprendizaje.

Al final del proyecto, estaba usando scripts de Python para automatizar los procesos de reamining. FME puede ser programado, pero si tiene los conceptos básicos de Python, ¿por qué complicar aún más las cosas? Python le brinda total flexibilidad y con cada script de importación escrito, sus habilidades de Python están mejorando.

Encontré que los siguientes paquetes de Python son invaluables al trabajar con transformaciones de datos:

Si tienes antecedentes de programador / programador, recomendaría usar Python, si prefieres trabajar con una GUI (que también puede generar imágenes agradables para la documentación), recomendaría FME.

    
respondido por el geographika 16.03.2015 - 14:15
10

Me encanta el código abierto pero FME gana fácilmente contra el ETL de código abierto como mejor puedo decir. En realidad, es bastante barato para el mantenimiento y la asistencia técnica (al menos en comparación con la mayoría de las otras soluciones corporativas que tenemos para las cosas).

Si está buscando traducciones entre formatos, entonces OGR puede hacerlo (con algunas indicaciones en GDAL para las transformaciones). Por supuesto, eso es línea de comando .

Para modelado visual más allá de los enumerados en el comentario "posible duplicado", están trabajando en un constructor de modelos QGIS / SEXTANTE; video de prueba de concepto: enlace

(No, no trabajo para Safe, solo soy un cliente relativamente satisfecho).

    
respondido por el GIS-Jonathan 30.04.2012 - 13:23
6

La mayoría de las operaciones simples se pueden llevar a cabo mediante estas utilidades de código abierto

  • ogr2ogr para vector
  • gdal_translate y gdalwarp para ráster

Obtenga FWtools enlace y pruébelo.

    
respondido por el spatialthoughts 30.04.2012 - 14:18
6

Hice una comparación de varias herramientas hace aproximadamente un año que también contiene la mayoría de las opciones mencionadas en este hilo.

Como respuesta más directa, uso mucho FME debido a su versatilidad. Sin embargo, cuando trabajo con estructuras de datos complejas como CityGML, INSPIRE GML o modelos de bases de datos más grandes, uso HALE , una aplicación de código abierto desarrollada para ETL y particularmente para la armonización.

Actualmente (a partir de la versión 2.9.0) se compara con FME (2014 SP1) de la siguiente manera:

  • HALE tiene un número menor de formatos (HALE: 20, FME 200) y transformadores (HALE: 30+, FME: más de 400), pero muy buena compatibilidad con todos los dialectos XML / GML
  • HALE realiza una vista previa de los resultados de transformación de forma interactiva en un mapa y en vistas de tabla, y valida la salida directamente
  • HALE es generalmente mucho más rápido, ya que se mantiene el contexto local para cada atributo, lo que le ahorra muchos FeatureMergers, por ejemplo
  • HALE es código abierto y está en uso de producción desde 2010
  • HALE usa una IU de mapeo declarativa, lo que lleva a un número menor de entradas de usuario requeridas en comparación con los enfoques de procedimiento

Tenga en cuenta que he estado en el equipo de HALE durante algunos años.

    
respondido por el tr_xsdi 27.10.2014 - 15:12
5

Si miras el enlace duplicado de blah238s, encontrarás más información. Yo diría que Talend Open Studio y Pentaho GeoKettle son las soluciones de código abierto más importantes que se pueden elegir. De estos dos objetivos Talend, más que solo ETL y GeoKettle son un poco más fáciles de usar, por lo que he leído.

Mi municipio está a punto de darle una oportunidad a GeoKettle para escribir un dialecto GML elaborado por la asociación sueca de autoridades locales y regiones (SALAR) y necesitamos este formato para enviar datos geográficos a diferentes intereses comerciales.

Creo que GeoKettle tiene soporte para OGR / GDAL desde la versión 2.0.

    
respondido por el FishHead 05.02.2018 - 01:27
4

FME es probablemente el mejor producto para usar en este espacio. Después de eso es GDAL / OGR. Otro producto de código abierto en este espacio es geokettle - enlace aunque nunca lo he usado con ira (he tenido la suerte de tener tanto los otros productos mencionados).

Si ninguna de esas opciones genéricas funciona, probablemente quieras usar una herramienta de conversión específica.

    
respondido por el Rob Booth 05.02.2018 - 01:28
3

Usé Geokettle religiosamente para una curva de aprendizaje alta de un proyecto pequeño, a menos que estuvieras acostumbrado a una interfaz de usuario de Eclipse ... Realmente poderoso, ya que está compilado contra GDAL1.10 y es compatible con todos los tipos de geo ... Lo que me gustó fue su soporte para los datos almacenados y datos a través de servicios ... Lo utilicé para recrear y sincronizar los conjuntos de datos del servidor ArcGIS en una instancia de postgis local a través de ESRI json a GeoJSON ... El flujo de trabajo puede integrarse en las condiciones y la validación lo configura para consultar el número de objectid y se basa en esa compilación un csv predefinido para iterar una solicitud de publicación de 500 funciones a la vez, dependiendo de la primera consulta, fue capaz de consolidar todas las solicitudes en un archivo geojson, ejecute ogr2ogr para cargar postgis incluso postgis con script para ejecutar vacío e indexar con él ... No está afiliado solo un fan

Puede ejecutarlo y asignar un flujo de trabajo en la interfaz gráfica de escritorio y usar las herramientas del servidor pentahos para configurarlo en Hadoop y hacer que se ejecute como un script o un trabajo cron.

    
respondido por el user33290 05.02.2018 - 01:29
3

QGIS (al menos desde la versión actual 2.6) ahora también tiene un generador de modelos integrado. A través de esta caja de herramientas puede acceder a cientos de algoritmos (GDAL, GRASS, SAGA, vectortools, etc.). También puede agregar su propio script.

Debo admitir que no lo he usado mucho, pero si estuviera buscando un constructor de modelos lo consideraría digno de investigación.

    
respondido por el Freeze 05.02.2018 - 01:29
1

[ADVERTENCIA: una promoción gratuita de un producto con el que estoy involucrado]

Hemos estado trabajando en una herramienta para hacer ETL. Es similar en sabor a FME pero está diseñado para tareas más simples y requiere menos experiencia para usar. Puede encontrar algunos detalles en enlace solo busque información sobre Data Dragon. Esta aplicación utiliza GDAL / OGR en el back-end y estamos enviando las adiciones que hacemos a GDAL / OGR.

El uso comercial requiere que se compre, pero tenemos licencias académicas disponibles de forma gratuita, por lo que si desea usarlo para un estudio, envíeme un mensaje y le proporcionaré algunos detalles más.

Esto está en su etapa de lanzamiento temprano, así que todavía hay algunos errores menores, por lo que debes ser amable con nosotros.

    
respondido por el Darkcylde 26.08.2015 - 05:05

Lea otras preguntas en las etiquetas