Obertura de dades (open data)

José Manuel Alonso

CC‐BY 2011 CTIC Centro Tecnológico

Ìndex

• W3C, Fundació Web i CTIC

• D’Adm. pública  ciutadania a Adm. pública  ciutadania

• L’obertura de dades: què, per què, com

• L’obertura de dades a Gencat

Exemples, exemples, molts exemples

W3C

• Organisme neutre

• Fundat el 1994 per Tim Berners‐Lee

• Activitats i grups del W3C– +60 persones en l’equip

– aprox. 400 membres

– 24 activitats • +60 grups

• +1.500 investigadors

– +40 acords

Web Foundation

• Fundada per TimBL el 2009– Missió: Avançar en el web per capacitar les persones 

– The web is not technology, the web is “humanity connected by technology” (TimBL)

CTIC / W3C / Fundació web

• CTIC és la seu de W3C a Espanya (2003)

• CTIC funda i lidera W3C e‐Government (2007)

• CTIC aporta 12 investigadors a W3C

• CTIC soci de la Fundació Web (open data)

W3C Administració electrònica

• +150 membres• +20 països

– EUA, Regne Unit, Austràlia,  NZ, Suècia, Finlàndia,Holanda, Espanya...

• Presidents (que s'actualitzaran aviat!):– José M. Alonso (CTIC [ES])– Kevin Novak (American Institute of Architects, exbiblioteca del Congrés [EUA])

– John Sheridan (OPSI [Regne Unit])

W3C Administració electrònica

• Millora de l’accés a les administracions públiques mitjançant un millor ús del web (març 2009)– Participació i compromís democràtic

– Dades del sector públic en formats oberts

– Interoperabilitat

– Serveis multicanal

– Identificació i autenticació

• Publicació de dades obertes de l’Administració(set. 2009)

W3C Administració electrònica

• Nous projectes– Dades vinculades de l’Administració

• Proximitat

• Tècniques i tecnologies

• Estratègies i històries d’èxit

• Casos pràctics, estudi dels casos i demostracions

– Grup d’interès• Ús del web per oferir els serveis de l’Administració

• Gestió de dades de l’Administració

• Ús dels mitjans de comunicació social 

Visió de túnel de l’Administració pública

Canvis en la comunicació

Ciutadania, Adm. pública, web: un embolic

• Com cerquen en el web els ciutadans?– Tracten d’anar al portal

– (molt, molt pocs)

– Al de l’organisme que se n’encarrega– (si el coneixen, encara menys)

– Habitualment fan servir un cercador

– Troben enllaços a llocs que no són de l’Admin.

– Contents amb la informació obtinguda

El cas Birmingham

http://bccdiy.com/

• Exemple:• Biblioteca del Congrés (USA) + Flickr = Commons

Informació on la cerquen

hacia una nube de datos enlazadosI també els serveis

Però… cal estar preparats!

Administració oberta

• De la tecnificació dels serveis al canvi en la forma de governar

• Principis– Transparència i rendiment de comptes 

– Participació ciutadana

– Col∙laboració amb grups de ciutadans capaços de cooperar constructivament

(popularitzat per Obama en el seu memoràndum)

Open data: pilar de l’Administració oberta

Adm. pública

Dades

L’obertura de dades respecte de RISP

“Posar la informació del sector públic disponible, tal com és (en brut) en formats estàndard oberts, que en facilitin l’accés i en permetin la reutilització”

(vegeu també els 8 principis)

Marc de treball

• Directiva 2003/98/EC

• Llei 11/2007

• Llei 37/2007

• Projecte Aporta

• ENI

o Document respecte de Dada

o Informació afectada

Obertura de dades: per què?

• Objectius de les polítiques públiques– Transparència– Participació– Col∙laboració– Inclusió– Rendició de comptes

• Reducció de costos– Consolidació d’actius, interoperabilitat

• Lideratge

Alliberar dades públiques significa retornar‐los als seus veritables propietaris (la ciutadania)

Avançament: el perquè a gencat

• Per què alliberar les dades– “Amb la llibertat d’accés a la informació pública, hi ha la voluntat d’avançar cap a l’Administracióoberta, basada en els valors de transparència, participació, servei i eficiència. Així mateix es vol promoure la creació de valor amb la reutilitzacióde la informació pública, facilitar l’ordenacióinterna dels sistemes d’informació dins de l’Administració i fomentar la interoperabilitatentre serveis del sector públic.”

Cops d’ull a la meta: equipaments públics

http://www.oktravel.com.au/science/education/

Cops d’ull a la meta: estadística

http://www.vic.gov.au/visualplace/

Cops d’ull a la meta: transport públic

http://www.metroparisiphone.com/

Cops d’ull a la meta: polució

http://www.intheair.es/

Cops d’ull a la meta: despesa pública

http://it.usaspending.gov/

Cops d’ull a la meta: fluxos de transport

Cops d’ull a la meta: Research Funding Explorer

http://bis.clients.talis.com/

Cops d’ull a la meta: Zaragoza Turismo

http://www.zaragoza.es/turruta/Turruta/es/index_Ruta

Estat de l’art

En els mitjans

RISP en el món

http://datos.fundacionctic.org/sandbox/catalog/map

Obertura de dades: com?

• Estratègia del govern– Interna i externa

• Metodologia– Identificar

– Publicar

– Consumir

• Dinamització– Tallers i concursos

Metodologia / Full de ruta CTIC

Etapa 1Etapa 2

Etapa 3

Etapa 1Etapa 2

Etapa 3

Ghana, Xile, Carib, ….

Etapa 1Etapa 2

Etapa 3

Astúries, País Basc, Catalunya, Saragossa, Gijón, ….

Etapa 1Etapa 2

Etapa 3

Regne Unit, EUA, Austràlia, ….

Obertura de dades: Oportunitat/Viabilitat?Context econòmic i empresarial

Estabilitat macroeconòmicaMercat financerMercats de béns i serveisEntorn empresarial

Context socialDemografiaMercat laboralQualitat de vidaEducació i alfabetització

Context polític i institucionalGovern i democraciaTransparència i corrupcióCooperació

Context infraestructures i cientificotècnicInnovacióÚs TICInfraestructures

Context Open AccessEntorn legalConscienciació i suportDades i InteroperabilitatEntorn polític i agents

Obertura de dades: publicarOGD LGD/GLD

•1000s d’Excel al web(Web 1.0)•Web com a servidor d’arxius

•Modelat i enriquiment semàntic (Web 3.0)•Optimització de l’ús del web•Millora de la interoperabilitat

Les 5 estrelles de l’open data de TimBL

� Coses disponibles en el web (en qualsevol format)

�� Dades estructurades (p.ex. Excel en lloc d’una imatge d’una taula)

��� Formats no propietaris  (p.ex. CSV en lloc d’Excel)

���� URL  que identifiquen coses

����� Enllaçar les dades amb dades d’altres llocs

http://inkdroid.org/journal/2010/06/04/the-5-stars-of-open-linked-data/

Data.gov (2009)

Obertura de dades: OGD via Excel

Obertura de dades: OGD via Excel

1.Buscar el conjunt de dades

2.Descarregar‐lo

3.Descomprimir‐lo

4.No hi ha esquema (model de dades)

5.Treballar en local amb el conjunt

6.Duplicar‐lo en el meu web per utilizar‐lo

http://powerofinformation.wordpress.com/

Aflorant dades

RDFa: incloent-hi RISP en pàgines web

• Google i Yahoo ja suporten RDFa!

RDFa al Regne Unit

hacia una nube de datos enlazadosOcupació pública al Regne Unit

Petita lliçó sobre el web

hacia una nube de datos enlazadosOne web (Web únic)

http://…/cosa

I les coses s’enllacen i relacionen

http://…/cosa/21

http://…/cosa/43

http://…/cosa/15

http://…/cosa/37

…cosa/21 és part de la …cosa/37

…cosa/21 és part de la …cosa/37

Dades enllaçades i el web 3.0

1. Fer servir la URL per anomenar les coses que s’hi trobaran

2. Utilitzar la URL HTTP perquè la gent pugui buscar aquests noms

3. Quan algú busca una URL, que tingui informació útil

4. Incloure enllaços a altres URL, perquèpuguin descobrir més coses 

http://www.w3.org/DesignIssues/LinkedData (TimBL)(presentació, vídeo)

Obertura de dades: via dades enllaçades

Curs de disseny i modificació de plànols en 2D i 3D

Obertura de dades: via dades enllaçades

http://risp.asturias.es/empleo/oferta-formativa/Accion-Formativa/2010_346

hacia una nube de datos enlazadosExemple (simplificat)

http://risp.asturias.es/empleo/oferta-formativa/Accion-Formativa/2010_346

Curs de disseny i modificació de plànols en 2D i 3D

1. http://risp.asturias.es/empleo/oferta‐formativa/Accion‐Formativa/2010_346

2. El vocabulari (model de dades) va encastat

3. La llicència (CC‐BY) també

hacia una nube de datos enlazadosDades enllaçades / Web 3.0 ☺

Oferta formativa (Astúries) - abans

Oferta formativa (Astúries) - després

• Exemple: registres judicials a Europa– Nombre d’interfícies bilaterals potencials entre 27 estats membres: 702

• Per a un solprocediment judicial

Convenir els vocabularis

© SEMIC.EU

Dades enllaçades @ CTIC

Bus dades enllaBus dades enllaççadesadesRDFRDFrepositorirepositori

i1i1 i2i2 i3i3 i4i4

XMLXML BDBD RDFRDFAA

N.EN.EImportadores

e1e1 e2e2 e3e3

Esqu

ema

UR

L Es

quem

a U

RL

SPARQLE.P. RDF

API, XML, JSON, REST

Exportadores

RemesclaRemesclaDades

enllaçadesDades

enllaçades

Obertura de dades: representar i exposar

Representar i exposar

Representar i exposar Consumir / ReutilitzarConsumir / Reutilitzar

Representar i exposarRepresentar i exposar Consumir /ReutilitzarConsumir /Reutilitzar

OGD

LGD

Llavors, per què arribar a les 5*?

• “Carreteres? On anem no necesitem…carreteres”(Dr. Emmett Brown, Retorn al futur, 1984)

Obertura de dades: consumir

• Components / Widgets (i veure visualitzacions)

Astúries: Oferta formativa

Astúries: Oferta formativa + edificis

Qualitat de les aigües de bany

La potència del web 3.0

Dades enllaçades en núvol

Reutilització per tercers

La millor forma d’explotar les teves dadesse li acudirà a un altre

(principi de les moltes ments, Rufus Pollock)

I no s’ha de subestimar

I no s’ha de subestimar

I no s’ha de subestimar

I no s’ha de subestimarELECCIONES AUTONÓMICAS Y MUNICIPALES 2011ELECCIONES AUTONÓMICAS Y MUNICIPALES 2011 CompárteloCompártelo

RESULTADOS 2011 ir a RESULTADOS 2007ir a RESULTADOS 2007

Estás en: RESULTADOS 2011 » ASTURIAS

CentroCentro OccidenteOccidente OrienteOriente

Asturias ver resultados en municipales » Última actualización: 04.35 CET

RESUMEN DEL ESCRUTINIO DE ASTURIAS

ESCRUTADO: 100 %

ESCAÑOS TOTALES: 45

VOTOS CONTABILIZADOS: 605730 67.15 %

ABSTENCIONES: 296380 32.85 %

VOTOS NULOS: 8792 1.45 %

VOTOS EN BLANCO: 15597 2.57 %

VOTOS POR PARTIDOS EN ASTURIAS

Elecciones autonómicas 2011

Circunscripciones:

I R A POLÍ TI CA »I R A POLÍ TI CA »

Descárgate el widget electoral yconsulta los resultados

2011. ASTURIAS (ESCAÑOS)100% ESCRUTADO100% ESCRUTADO

Actualizado: 23/5/2011 04:35 (CET)

PSOE (15)

Descárgate los datos en xml

Si ho construeixes, no vindran

• La dinamització és molt necessària– Externa i interna

– Gestió del canvi

• Tallers

• Concursos– Washington DC,Regne Unit,Austràlia,Bèlgica…

Exemple: Abredatos

Exemple: Open Data Challenge

Què és el projecte Dades obertes gencat?

A Catalunya ja hi havia una certa cultura de reutilització

Tradició en RISP a Catalunya: Servei Meteorològic de Catalunya (Meteocat), Institut Cartogràfic de Catalunya (ICC), Institut d’Estadística de Catalunya (Idescat), Centre de Terminologia (Termcat).

www.flickr.com/photos/jordigraells/475843606 CC BY 2.0

Centre Penitenciari Brians 2

Avís legalAquesta obra està subjecta a una llicència Reconeixement-NoComercial-CompartirIgual 2.5 de Creative Commons. Se'n permet la reproducció, distribució i comunicació pública sempre que se'n citi el titular dels drets (Generalitat de Catalunya. Departament de Justícia) i no se'n faci un ús comercial. Si transformeu aquesta obra per generar una nova obra derivada, heu de distribuir-la amb una llicència igual a la que regula l’obra original. La llicència completa es pot consultar a http://creativecommons.org/licenses/by-nc-sa/2.5/es/legalcode.ca.

© Generalitat de CatalunyaDepartament de Justícia

www.gencat.cat/justiciaPrimera edició: juny de 2007Projecte gràfic i impressió: Arts Gràfiques ...Dipòsit legal: ...

Juny 2007: la Generalitat publica la 1a obra en llicències Creative Commons

2009: Consell Editorial de la GeneralitatNormativa editorial de la Generalitat (2009): Totes les publicacions de la Generalitat en paper o digitals amb llicències de difusióoberta (Creative Commons BY-NC-ND o qualsevol altra).

http

://bi

t.ly/

fIEX

la

2009: Nou avís legal al web gencat

ww

w.g

enca

t.cat

/web

/cat

/avi

s_le

gal.h

tm

ww

w.g

enca

t.cat

/aco

rdsd

egov

ern/

2010

1109

/01.

htm

09/11/2010: Acord de Govern dades obertes

Dades obertes gencat

http://dadesobertes.gencat.cat

Línia ajuts Fundació puntCAT

Dades obertes gencat. Direcció General d’Atenció Ciutadana i Difusió. Maig de 2011 CC – BY 3.0

fundacio.cat

ww

w.d

ata.

gov/

open

data

site

s

Dades obertes gencat al món

Web de Sant Jordi

gencat.cat/santjordi

Col·lecció Sant Jordi al CliCat

gencat.cat/clicat/santjordi

Idescat a Google Public Data

http://bit.ly/g5xQ3I

http://blocs.gencat.cat

Aplicacions per a mòbils

Canal de realitat augmentada “Equipaments de Catalunya”• Canal de realitat augmentada" gratuït i lliure de publicitat sobre la plataforma Layar, amb nom "Equipaments de Catalunya" per a usuaris de telèfons Android o Iphone.• Dóna informació dels equipaments que hi ha en

un radi de distància X a la seva posició actual.• Es poden triar les categories (salut,

esport, Administració pública, etc.) i visualitzar els equipaments sobre mapa i en llista.

Informació meteorològica de Catalunya per a Android • Prediccions meteorològiques a 3 dies vista, radar de

pluges i informació de temperatures, vent i pluges acumulades.

• També permet posar un giny a la pantalla d'inici per tenir sempre a la vista la predicció i temperatura

dels pobles de Catalunya que es vulguin.• Tota la informació meteorològica es basa en dades

obertes de la Generalitat de Catalunya i el Meteocat.

Desenvolupat per Gynoid Apps,

Desenvolupat per Joan Pujol.

Aplicacions fetes per la ciutadania 1/2

Aplicacions web

Aplicacions fetes per la ciutadania 2/2

Rodalies.info – Rodalia.info• Portal que ofereix en temps real la informació

sobre el servei de rodalies que aporten els usuaris via Twitter.

• Basat en els RSS d’incidències del web www.gencat.cat/rodalies de les línies dels serveis de rodalies de Barcelona i de regionals.

• També inclou l’estat del servei de les línies de FGC del Vallès i de Llobregat-Anoia.

Desenvolupat per Pimpampum.net i Roger Melcior

La festa de Sant Jordi en imatges

•Reportatge fotogràfic aparegut a lavanguardia.com el 23 d’abril de 2011 realitzat amb el fitxer de les 196 fotografies de Sant Jordi de la Generalitat alliberades.

•Amb les mateixes dades, BTV va desenvolupar també un visor de les imatges.

Model conceptual gencat

Objectius estratègics

Dades obertes gencat. Direcció General d’Atenció Ciutadana i Difusió. Maig de 2011 CC – BY 3.0

1. Impulsar un canvi de model de negoci a la Generalitat en la generació d’informació per promoure:

Transparència per a la ciutadaniaValor i riquesa per a les empreses

L’Administració s’ha de dedicar a generar la dada, amb la idea de ser reutilitzada, i a les tecnologies per a l’exposició d’aquestes dades. El desenvolupament d’aplicacions de negoci sobre aquestes dades ha de correspondre a tercers (empreses i ciutadania).

2. Fomentar la reutilització: prioritzar i obrir aquelles dades que generin un ús social (trànsit, mobilitat, estadístiques, transparència administrativa...).

3. Consolidar i ampliar la difusió i dinamització externes del projecte.

Dades

dades + format

dades + format

publica aplicació

€ (pot haver-hi monetitzaciódel servei)

ciutadans

empresa Y

empresa X

ciutadans

Empr

eses

i ci

utad

ans

Adm

inis

trac

iópú

blic

a

L’empresa i la ciutadania donaran nous usos a les dades de l’Administració, que utilitzarà en beneficio propi (€) o donarà lliure accés a les seves aplicacions,

El model de relació entre administracions i empreses pot canviar cap a models de concurs lliure amb premi econòmic a la millor proposta, en els quals l’Administracióimpulsa els productes resultants.

Tecnologia, publicació(representació i exposició)Servidor central de dades

RDF, SPARQL i web services

Model conceptual estratègic

Dades obertes gencat. Direcció General d’Atenció Ciutadana i Difusió. Maig de 2011 CC – BY 3.0

Actors públics

Dades i tecnologia

Model relacional

Model tecnològic gencat

En què consisteix el projecte Dades obertes gencat?

Consisteix d’oferir al ciutadà dades crues de la Generalitat de Catalunya a través d’Internet, mitjançant:

- la publicació de fitxers

- serveis de consulta

Fitxers de dades

- Són fitxers publicats a Internet que contenen informacióno tractada de les dades que es volen difondre, tal comestan emmagatzemades en les bases de dades de l’Administració

- Exemple: Equipaments de Catalunya

Què són?

Fitxers de dadesQuè hem fet?

Equipaments Tràmits

Conversor RDF

Equipaments

Conversor RDF

Tràmits

Catàleg

Conversor RDF

Imatges

ImatgesDadesOrganisme 1

DadesOrganisme N

Dades publicades en qualsevol format (p.e. Word, PDF)

Dades publicades en formats estructurats (p.e. Excel)

Dades publicades en formats oberts (p.e., CSV, XML, RDF)

Dades enllaçables mitjançant URL

Dades enllaçades amb altres dades del web (linked data)

Fitxers de dadesQuantes estrelles tenim?

Serveis de consultaQuè són?

- Són interfícies de consulta sobre les dades obertes que s’ofereixen al ciutadà.

- Exemple: consultar si un dia és festiu a una poblaciódeterminada.

Tipus de serveis Serveis de consulta

SPARQLLlenguatge estandarditzat per a la consulta de dades RDF, normalitzat pel W3C. És una recomanació oficial del W3C des de gener del 2008 per al desenvolupament del web semàntic.

Serveis Web - API

Els serveis web són sistemes de programari dissenyats per donar suport a la interacció interoperable màquina a màquina sobre una xarxa a través d’HTTP.

WMS (Web Map Service)Format que produeix mapes de dades referenciades espacialment, de manera dinàmica, a partir d’informaciógeogràfica.

Serveis de consultaQuè hem fet?

ServeisOrganisme 1

ServeisOrganisme N

Objectius tecnològics

1. Permetre la consulta de dades mitjançant serveis web, que ofereix a ciutadans i empreses un sistema estàndard d’accés dinàmic a la informació

2. Permetre la consulta de dades mitjançant SPARQL, tot adaptant-se a les recomanacions del W3C

3. Automatitzar i homogeneïtzar la generació de dades, i facilitar la incorporació de nous datasets

4. Automatitzar la gestió del catàleg i del web, i permetre així la descentralització del manteniment dels continguts

Model conceptual tecnològic

Bases de dades Portals

Bus de serveis

Dades obertes.gencat.cat

Serveis web Aplicacions

Catàleg

Motor SPARQL

dades obertes gencat

SPARQLSPARQL gencat

Ciutadans

Empreses i administracions

serveis oberts gencat

SPARQLSPARQL gencat

dades obertes gencat

serveis oberts gencatPortalsGencat mòbil

IntranetDades obertes

Gràcies

• http://datos.fundacionctic.org

• http://www.w3.org/eGov

• josema.alonso@fundacionctic.org

• josema@webfoundation.org

• josema@w3.org

• @josemalonso

Agraïments

• Jordi Graells– Diapositives específiques Dades obertes gencat