ogr2ogr falla al convertir el archivo GeoJson 200MB

14

Como seguimiento de mi pregunta anterior ( Conversión de SimpleGeo Places GeoJSON file Para shapefile ), ahora estoy luchando con lo que percibo que podría ser una limitación de "memoria" ogr2ogr, pero no puedo estar seguro. He convertido con éxito los archivos de volcado de SimpleGeo en archivos geojson adecuados (verificados que se pueden leer directamente en QGIS).

Ahora quiero convertir estos datos a SHP u otros formatos (SQLite, PostGIS). Estoy ejecutando el siguiente comando con éxito en archivos más pequeños (donde "places_fr.gejson" tiene un tamaño de archivo de ~ 118MB):

ogr2ogr -f "ESRI Shapefile" places_fr.shp places_fr.geojson

Cuando intento ejecutar este mismo comando exacto con un archivo geojson de 340 MB, ogr2ogr se bloquea de una de estas dos formas:

  1. "lh_table_new: calloc failed" ( primer intento )
  2. Windows lanza un "ogr2ogr.exe ha dejado de funcionar. Por favor, cierre el programa". ( intentos posteriores )

Estoy ejecutando el comando ogr a través de FWTools en un entorno dual de Windows 7 con 8GB de RAM instalada (4GB disponibles, 12GB de memoria virtual disponible). ¿Hay un límite de memoria para ogr2ogr convertir estos conjuntos de datos? También he intentado convertir a SQLite con los mismos resultados, por lo que no creo que sea un problema de conversión de SHP. Gracias.

    
pregunta RyanDalton 28.10.2011 - 22:46

3 respuestas

8

Forewarning : dada la cantidad de memoria que está reportando en su sistema, supongo que está usando una versión de Windows de 64 bits. Si no, esta solución no se aplica.

El límite de memoria para todas las aplicaciones de 32 bits en Windows (independientemente de la versión de Windows, por lo que es cierto también para Windows de 64 bits) es de 2 GB. Es posible que esté alcanzando ese límite para confirmar la ejecución de ogr2ogr y verificar el uso de la memoria con el administrador de tareas.

Si el problema se debe a un problema de memoria, puede hacer dos cosas:

  1. construya usted mismo una versión de GDAL de 64 bits (no pude encontrar fácilmente los binarios)

  2. parche ogr2ogr.exe con esta herramienta: enlace . Después de aplicar el parche (haga una copia de seguridad, por supuesto), el binario debería estar disponible para abordar un grandtotal de 4 GB

respondido por el unicoletti 29.10.2011 - 09:45
3

Si hay un problema, es muy probable que sea específico para el controlador geojson OGR y no la propia OGR . Intente usar un binario más nuevo (como el de OSGeo4W ) o incluso mejor, una versión de 64 bits. Lo sentimos, a menos que lo esté compilando, no sé dónde puede obtener un binario de 64 bits para Windows: Ubuntu Linux < Los archivos binarios de / a> y Mac KyngChaos serán de 64 bits.

    
respondido por el Ragi Yaser Burhum 28.10.2011 - 23:38
1

Se puede dividir el archivo en muchos archivos e importarlos por lotes.

  

enlace o enlace

    
respondido por el user3120 30.10.2011 - 23:17

Lea otras preguntas en las etiquetas