¿Organizando proyectos GIS? [cerrado]

27

Llevo bastante tiempo luchando para mantener los archivos de mi proyecto organizados.

¿Cuáles son sus consejos para mantener sus conjuntos de datos, imágenes, shapefiles, etc. organizados?

    
pregunta relima 23.12.2011 - 11:54

3 respuestas

36

Nota: esta rant se actualizará a medida que avance

No soy una computadora o ArcGIS pro de ninguna manera, pero esto es lo que hago:

Archivos base / DBS

  • Estos son archivos que son de naturaleza "bruta" y constituyen la base de todos mis análisis
  • Estos archivos, bases de datos y datos están alojados fuera de mi carpeta projects , y están alojados en mi servidor de Internet, computadora local y dropbox. Siempre tengo acceso a ellos, y están muy organizados, desagregados y agregados. Pasarás mucho tiempo organizándolos.
  • Los puse a todos en bases de datos, ya sea en Arc o PostGIS.
  • A cada tabla, agrego 3 campos en la tabla misma o en los metadatos: DATE_OBTAINED, DATA_DATE, SOURCE_NOTES
  • También los archivos base pueden ser consultas de otras tablas. Por ejemplo, una tabla podría agregar todo el recuento de tráfico que obtengo en una consulta / tabla grande.
  • También pongo aquí todos los demás datos que encuentro en internet.
  • NUNCA HAGO UN ANÁLISIS DIRECTO EN CUALQUIERA DE LOS ARCHIVOS EN LOS ARCHIVOS BASE

Archivos de proyecto

  • Todos mis archivos de proyecto van en una carpeta my_projects . Contiene todo lo relacionado con ese proyecto como en, si copio y pego esa carpeta en otro lugar, contendrá todo.
  • Normalmente tengo la siguiente estructura:
    • mi_proyecto /
      • admin /
      • comunicación /
      • raw_data /
      • datos_ analizados /
      • output_data /
      • from_client /
      • FINAL /
      • código /
      • some_document_date_time.doc
      • README
  • Poco a poco me he estado mudando a un GIT local. (Incluso puede alojarlo localmente o en su propio servidor). La razón por la que no lo puse en GitHub es que github tiene un límite de 1.2 gb que no sirve para el análisis GIS
  • Para mis proyectos, generalmente replico todas las tablas GIS que necesito para mi análisis en una nueva db: project_whatever.
  • 9 de cada 10 veces, trabajo solo en archivos shp y guardo todos mis SIG (imágenes, excel, coordenadas, etc.) en mi projects/my_project/raw_data , projects/my_projects/analyzed_data y projects/my_projects/output_data .
  • Cuando se completa un proyecto, pongo la copia final enviada en my_projects/FINAL/date_submitted
  • Para mi MXD, generalmente guardo en un nuevo MXD cada 2 o 3 horas my_proj_dec_22_11__13_20.mxd por ejemplo
  • Para documentos de Word, ilustraciones y, en su mayoría, documentos de edición, van en la carpeta my_projects, como RFP_TENDER_Dec_22_11__11_15.doc y draft_ver5_Dec_31_11__12_30.doc . Una vez más, todos mis resultados finales van en la carpeta FINAL
  • Para R, el código Python y algunos C #, se vuelve un poco complicado, ya que lo alojo fuera del proyecto pero con una copia de trabajo en la carpeta my_projects/code . Hago esto ya que la mayoría del código de Python es reutilizable. Si pones todo tu código de Python además de los proyectos, te olvidarás de ellos. Además, todo mi código de Python va en github.
  • Para mí, los archivos de proyecto incluyen cualquier tipo de archivo, incluido el seguimiento de tiempo, las comunicaciones (guardo todos mis correos electrónicos como archivos .msg), registro todas nuestras comunicaciones verbales en un archivo de Word y coloco todos esos archivos my_project / communication
  • Con ArcGIS use Modelos, LYR y "Guardar selección como una nueva capa de shp". Estas herramientas facilitarán el almacenamiento de archivos en formatos más pequeños, la reutilización de archivos y, con los modelos, podrán usar algo en otro lugar.

Salida final

  • Cada proyecto finalizado se comprime y se pone en mi disco duro externo.
  • Todos los productos finales se convierten a archivos de tablas y a PDF de todos los demás formatos.
  • Cada proyecto que hago, se imprime para una copia de seguridad en papel

La línea inferior

  • Cada persona utiliza software y herramientas múltiples y diferentes. Mucha gente que conozco se organiza usando basecamp , Harvest , o cualquier otra multitud de herramientas. También las personas tienen diferentes hábitos de trabajo y tendencias de TOC. Estoy bastante obsesionada con organizar cosas, quizás un poco más que otras. Por lo tanto, desarrolle el sistema que le cause menos estrés mientras garantiza que será consistente en su aplicación y actualización
  • Copia de seguridad y replicar todo
  • No trabaje directamente en sus datos básicos / base
  • Para sus proyectos, siempre use un archivo de réplica, ya que los datos cambian con el tiempo, y no quiere estar codificado para encontrar el base_layer_2006.shp .
  • cada carpeta my_projects debe tener un archivo de texto README que lo edite mientras realiza los proyectos para proporcionar información básica que sabrá que olvidará más adelante cuando visite el proyecto 2 años por el camino
respondido por el dassouki 23.12.2011 - 14:45
8

No dijiste que solo trabajas con el software Desktop GIS, así que compartiré algunas de mis experiencias desde la mentalidad orientada a la programación. Permítanme comenzar diciendo que estoy de acuerdo con las cosas que dice @dassouki. Creo que lo más importante no es cómo se organiza, sino cómo lo hace.

Pero para ir a mi flujo de trabajo. Lo que me gusta de usar un lenguaje de programación (R en mi caso) es que el script que escribo documenta todos los pasos que tomo. Esto contrasta con el uso de ArcGIS, donde creo que es más difícil ver cómo un usuario pasó de los datos de entrada sin procesar a lo que puede ver en un archivo mxd. Por supuesto, puede mantener un registro de todos los pasos que realiza en la GUI, pero creo que un lenguaje de programación se presta mucho mejor para guardar el flujo de trabajo exacto que tomó. Esto puede ser particularmente importante cuando un cliente / supervisor le pregunta cómo hizo algo, o qué hizo exactamente para producir un determinado producto.

En la práctica, tengo varias carpetas en mi disco que son importantes (tenga en cuenta que soy un científico):

  • Experimentos, aquí almaceno todos los experimentos que realizo, por ejemplo. tratando de un cierto análisis en un determinado conjunto de datos. Cada experimento tiene su propio directorio. También almaceno tablas resultantes y tal aquí. Todos mis scripts R están en este directorio.
  • Conjuntos de datos, todos mis conjuntos de datos sin procesar se almacenan por separado de
  • herramientas, tengo un directorio separado donde almaceno el código que he generalizado para reutilizarlo en otro proyecto.
  • Documentos, mi trabajo gira en torno a escribir artículos científicos. Para cada papel tengo un directorio separado donde almaceno mis archivos de Latex. Estos archivos leen las ilustraciones y tablas del directorio de experimentos. Un documento puede contener varias ilustraciones.
  • software, en un directorio separado, almaceno software, principalmente paquetes R que escribí y algunos códigos fortran que compilo para ejecutar modelos.

Algunas ideas principales que utilizo:

  • Elementos dinámicos separados (relativamente) de forma estática: por ejemplo, guardar secuencias de comandos generalizadas en un lugar diferente al lugar donde se guardan los proyectos a corto plazo. O separe sus datos en bruto de sus análisis en ellos.
  • Use el software de administración de versiones donde pueda. Me gusta mercurial y git.
  • ¡¡AUTOMATIZA TUS BACKUPS !!!! Nunca piensas en ellos cuando los haces manualmente, y luego tu disco duro se bloquea. Bajo Linux este tipo de automatización es fácil. No estoy seguro de cómo está esto en Windows / Mac.

En general, me gusta usar un lenguaje de programación porque en un script puede pasar de los datos sin procesar a las imágenes / tablas resultantes. R es un buen candidato porque puede leer y escribir datos GIS fácilmente y tiene un montón de análisis a bordo, tanto GIS como estadísticas.

    
respondido por el Paul Hiemstra 24.12.2011 - 19:33
3

Me gustaría agregar a la respuesta anterior - 2 cosas.

  1. Me gusta tener carpetas en el directorio de importación de datos brutos, carpetas para cada vez que recibamos un conjunto de datos, es decir, desde nombre_cliente-2011dec23. De esta manera puedo rastrear cuando recibí cada dato utilizado en el proyecto.

  2. También me gusta tener un documento de proyecto plegado sobre la marcha: luego puedo crear un documento de Word o un archivo TXT simple aquí para que escriba lo que hice en el proyecto, la fecha y quién lo solicitó. eso. De esa manera puedo regresar y encubrirme si alguien me pregunta por qué hice algo. Esto puede sonar tedioso para pequeñas solicitudes, pero puede ahorrarle al final.

respondido por el dklassen 23.12.2011 - 18:09

Lea otras preguntas en las etiquetas