Project Description: (You can read the spanish version of this article here)

VGICC is a Proof of concept using the new Google Earth Browser Plug-in. This application takes advantage of the plug-in to visualize and interact with statistical and geographical information of government contracts in Colombia.

(Note: The information available in this application is only for testing purposes. Official data can be found at the Official Contracting Site of Colombia, “PUC, Portal Único de Contratación” http://www.contratos.gov.co/puc/ )

Online Links

• Launch Application (This application requires Google Earth’s Browser Plug-in. You can download it from this location:: http://code.google.com/apis/earth/)
• Screencast 1: 3D Visualization of contract statistics using Google Earth Browser Plug-in.
• Screencast 2: Browsing Contracts using VGICC

Project Challenge:

Provide an interactive Geographic Rich Internet Application that allows users to visually explore and discover new relations of Government’s investments using spatial, statistical and public contract information of Colombia.

This Geographic Rich Internet Application uses Interactive Web Mapping techniques as an alternative tool to explore PUC´s data. (Current search engine is based solely on plain text filters).

Technical Challenge:
During development stages of this proof of concept some technical challenges must be confronted:

• Information Extraction:Although PUC (http://www.contratos.gov.co/puc/) lets public search options for general users, it doesn’t provide any free Web Service, RSS or interoperable API that could be integrated with external systems. However, thanks to the implementation of Web Scrapping techniques it was possible to automatically extract information from web pages published at PUC’s search portal.

• Transformation, Georreferencing and Data Loading: Once information extraction was accomplished, it was necessary to transform and georeference each one of the contracts against the available database of political-administrative divisions of Colombia. Furthermore, all data was stored in a geographic database managed by Postgres and Postgis.

• Interactive Visualization of Geographical and Statistical Information through Internet: May one of the biggest technical challenges of the VGICC was related to the implementation of the web visualization of geographical and statistical data using modern web technologies and tools.  Firstly, Google’s brand new “Google Earth Browser Plug-in”  was used to enable web browser based geographic visualization of data. One of the most interesting features of Google Earth and KML is the possibility of draw 3D objects over the earth globe. In this case, 3D objects are used to represent the amount of government investment in a particular state or county.  Secondly, it was possible to programmatically interact with the GE plug-in using JavaScript and KML (perhaps this is the most appealing feature of the plug-in for programmers and system integrators).  Finally, to provide a single and unified user experience based on Html it was necessary to use different JavaScript/Ajax techniques and tools.  This framework, as a whole, proved to be a suitable alternative for the implementation of geospatial browser based applications.

Basic Features:
Basically, the application allows geographic visualization of consolidated data by State and County.  There are two basic interactions:

• State selection using lists: A user selects a State using a combo box and the application dynamically loads Kml data from the server side and shows the results using the Google Earth Browser Plug-in. Camera views are relocated according to the selected State.

• Contract search by feature selection on the map: A user can search a specific list of contracts related to a County. (State and County polygons are shown on the Google Earth Plug-in). Each balloon attached to a placemark on the map shows the amount of investment and quantity of contracts that take place in the given region and a link to the detailed list of contracts.  Such list also provides links to detailed information for each contract as well as a reference to the official related site at http://www.contratos.gov.co/puc/.

Benefits:
Provide alternative ways of data discovery and exploration of PUC’s data (Portal Único de Contratación de Colombia) using techniques based on Rich Internet Applications, geographic information and 3D visualization.

Tools:

• Google Earth Browser Plugin
• Javascript, Ajax, Adobe Spry Framework for Ajax
• Java, Grails
• Postgresql, Postgis

Lessons Learned:
Nevertheless the amazing features of Google Earth Browser plug-in, there are some issues related to rendering that affect visualization in some computers.   For example,  this is an extract of the correct visualization of the application for a particular State in Colombia:

In other machines polygons are not rendered correctly:

Or even in other machines rendering is completely different:

Such issue was reported at Google Groups. So far the issue stills open. (For more information look at Google Earth Browser Plugin: Polygons don’t render correctly )

Descripción del Proyecto: (You can read the english version of this article here)

Prueba de concepto del Google Earth Browser Plugin donde se utilizan sus posibilidades como motor de visualización de Información Geográfica y estadística  a través de la creación de un aplicativo que permite explorar de forma interactiva la información de contratación estatal de Colombia publicada en el Portal Único de Contratación (PUC, http://www.contratos.gov.co/puc/).

(Nota: La información publicada en este aplicativo es únicamente para efectos de prueba. Los datos oficiales del PUC puede encontrarlos en la dirección http://www.contratos.gov.co/puc/ )

Enlaces en Línea

• Ver Aplicación en Línea (Requiere el plugin de google earth que puede ser descargado en la siguiente ubicación:  http://code.google.com/apis/earth/)
• Screencast 1: Visualización de Estadísticas en 3D
• Screencast 2: Consulta de Contratos

Desafíos del Proyecto:
Proveer un sistema de consultas interactivo basado en mapas y gráficos para el Portal Único de Contratación de Colombia  de manera que los usuarios puedan explorar y visualizar la información de contratación teniendo en cuenta la ubicación geográfica de las inversiones realizadas en el país.

Esta prueba de concepto de un sistema de consultas interactivas para el PUC permitiría a los usuarios una forma más eficiente para visualizar la información de contratación de Colombia en comparación a las búsquedas que actualmente existen donde únicamente se limitan a filtros por criterios alfanuméricos.

Desafío Técnico:
Para el desarrollo del proyecto se presentaron múltiples desafíos técnicos en diferentes temas:

• Extracción de Información: Aunque la información del Portal Único de Contratación puede ser consultada  libremente por los usuarios en la página http://www.contratos.gov.co/puc/, no existe en el momento un Servicio Web, RSS o Interfaz de programación abierto que permita su comunicación  con otros sistemas externos.  Para que nuestro sistema VGICC  pudiera utilizar la información del PUC  fue necesaria la implementación de técnicas de Web Scrapping (http://en.wikipedia.org/wiki/Web_scraping) que permitieran la extracción automática la información publicada en el Portal Único de Contratación.

• Transformación, Georreferenciación y Carga de Datos: Una vez extraída la información del PUC fue necesaria la transformación y Georreferenciación de la ubicación  de los contratos respecto a la división política de Colombia por Municipios.  Posteriormente dicha información fue cargada  en una base de datos espacial publicada en el motor Postgresql / Postgis.

• Visualización Interactiva de Información Geográfica y Estadísticas a través de Internet: Uno de los principales desafíos técnicos del VGICC fue el de permitir herramientas Web interactivas de fácil uso para la visualización de información geográfica y estadística.  Con el fin de suplir esta necesidad se valió de las utilidades de representación geográfica y 3D que presta el recientemente publicado servicio de Google Earth Browser Plugin (http://code.google.com/apis/earth/).  Dicho plugin permite la interacción con el motor de visualización de Google Earth a través de técnicas de programación basadas en KML, Javascript/AJAX.  Gracias a este marco de trabajo (tal como se demuestra en la prueba de concepto) es posible realizar aplicaciones Web que permitan explorar la información ya sea desde el punto de vista alfanumérico como el Geográfico.

Funcionalidades Básicas Implementadas:
Permite visualizar de manera geográfica información consolidada por Departamento y Municipio. Se implementaron dos formas básicas de interacción:

• Selección de Departamentos a través de Listas: Seleccionando un Departamento de una lista se hace un acercamiento al área que este cubre. Sobre el centroide de cada municipio de muestra una barra que es proporcional al monto total de contratación que ha tenido el municipio.

• Filtros de Consulta a través de Selección en el Mapa: El usuario tiene la posibilidad de interactuar con la información de los municipios disponible en el Mapa de Google Earth.  En los globos de información de Google Earth se despliega la información de cuantos contratos y el monto de los contratos que afectan al municipio seleccionado. De la misma forma se habilita un link de “Ver contratos”,  que permite la consulta de todos los contratos que afectan a dicha región. Dicho listado a su vez permite ver la información detallada para cada uno de los contratos así como también el link a la información oficial publicada en el PUC (Portal único de Contratación).

Beneficios:
Permitir a los usuarios que consultan el Portal Único de Contratación formas alternativas de exploración y descubrimiento de información de las inversiones estatales realizadas en Colombia  a través de técnicas de Visualización en 3D y representación espacial / geográfica de la información de los contratos estatales desarrollados en el país.

Herramientas:

• Google Earth Browser Plugin
• Javascript, Ajax, Adobe Spry Framework for Ajax
• Java, Grails
• Postgresql, Postgis

Lecciones Aprendidas:
No obstante las grandes virtudes que posee actualmente la herramienta Google Earth Browser Plugin, durante el desarrollo del VGICC  se encontraron algunos bugs de renderización del plugin entre diferentes versiones de navegador.

Por ejemplo se tiene el siguiente segmento de visualización para el departamento de Boyacá:

Sin embargo en algunas máquinas los polígonos se muestran de forma incompleta:

O incluso en otros equipos la renderización es completamente inconsistente:

Dicha inconsistencia fue reportada en los foros de Google Groups pero hasta el momento no se ha dado una solución satisfactoria a la incidencia (Para más información ver Google Earth Browser Plugin: Polygons don’t render correctly )