Espace contributeurs

Ce guide est destiné aux producteurs de données, déjà inscrit en tant qu’Utilisateurs et souhaitant contribuer à l’enrichissement des publications sur la plateforme. « Voir la documentation sur les Utilisateurs »

Note

Toute personne, morale ou physique, publique ou privée, producteur de données publiques ou privées peut les publier sur OPenIG, sous reserve d’accepter les « conditions d’utilisation » et de respecter la réglementation sur les données à caractères personnelles.

Devenir Contributeur et Référent pour une organisation

Les organisations sont le plus souvent des personnes morales (autorités administratives, associations, entreprises) ou également des groupes informels.

Note

La création d’une nouvelle organisation peut-être effectuée soit au moment de votre inscription comme utilisateur d’OPenIG, soit après la validation de votre profil Utilisateur par les Administrateurs d’OPenIG. Les demandes de statut de Contributeur ou de Référent sont soumises à la validation des Administrateurs. Il faut donc patienter un peu !

_images/OPenIGFirstConnect.PNG _images/DemandeOrgOPenIG.PNG

Note

Par défaut, un Utilisateur qui s’inscrit avec un email personnel (gmail, ymail, hotmail,…) et dont le nom de domaine ne peut correspondre à l’organisation pour laquelle il demande de contribuer, ne peut se rattacher, contribuer ou devenir référent d’une Organisation.

Les Administrateurs de la Plateforme se réservent la possibilité de révoquer une inscription, une organisation, un statut de Contributeur ou de Référent, sans avis préalable.

Un Contributeur dispose des fonctionnalités suivantes :

  • Il peut publier un jeu de données et y ajouter des ressources, sous la forme d’un fichier téléchargeable, d’un lien URL ou d’une API.
  • Il peut accorder le niveau d’accès aux ressources et jeux de données qu’il a crée pour son organisation : soit décider de les rendre accessible à tous, soit en restreindre l’accès uniquement à un ou plusieurs Utilisateurs inscrits ou bien à une Organisation choisie comme sa propre organisation propriétaire du jeu de données.

Un Référent des données de l’Organisation, à laquelle il appartient, dispose des fonctionnalités suivantes :

  • Il peut éditer ou supprimer un jeu de données créé et publié par un autre Contributeur de l’Organisation.
  • Il peut accorder le niveau d’accès aux ressources et jeux de données de toutes les publications de son Organisation.
  • Il peut autoriser ou supprimer le statut de Contributeur aux Utilisateurs.
  • Il recoit des notifications lorsque des modifications ont été apportées aux jeux de données et ressources de l’Organisation à laquelle il appartient.

Créer une Organisation

Toute demande de création d’une organisation est soumise à l’administrateur du site pour validation.

_images/OPenIGAjoutOrga.png

La dénomination sociale est obligatoire.

_images/Creation_orga1_openig.png

La description est facultative mais fortement conseillée, d’une part pour permettre de qualifier l’Organisation et sa démarche en matière d’ouverture des données publiques et géographiques et d’autre part pour permettre l’implémentation automatique d’une page web spécifique à propos de l’organisation.

_images/Creation_orga2_openig.png

Editer la page d’une Organisation

Pour éditer la page de son organisation, le Contributeur clique sur l’onglet ORGANISATIONS dans son espace d’administration.

_images/Onglet_organisation_openig.png

La première fois que le contributeur édite la page de son organisation, il lui sera demandé de définir le territoire de compétence de l’organisation. La création de ce territoire de compétences permet de bénéficier de fonctionnalités spatiales supplémentaires dans OPenIG. Cette demande est traitée par un administrateur de la plateforme.

_images/Territoire_competence_OPenIG.PNG _images/Territoire_competence2_OPenIG.PNG

Publier un jeu de données

  • Pour publier un jeu de donner le Contributeur se connecte avec son identifiant et mot de passe sur https://idgo.openig.org
_images/InscriptionOPenIG.PNG

La publication se fait en deux étapes successives :

Tout d’abord on renseigne les métadonnées servant à définir ou décrire le jeu de données qui sera publié, puis on ajoute des jeux de données brutes ou des ressources complémentaires.

Etape n°1 : Renseigner les métadonnées

1. Métadonnées simplifiées

_images/Edit_newdataset1_OPenIG.PNG

Note

De nombreux mots-clés sont déjà répertoriés dans la base. Ils apparaissent dans une liste déroulante lorsque vous saisissez les premières lettres du mot. Mieux vaut choisir un mot clé existant, plutot que d’en choisir un nouveau afin de permettre de relier votre jeu de donnée à d’autres jeux similaires inscrits au catalogue d’OPenIG.

_images/Edit_newdataset2_OPenIG.PNG _images/Edit_newdataset3_OPenIG.PNG

Les métadonnées obligatoires sont les suivantes :

  • Titre
  • Organisation à laquelle est rattaché ce jeu de données
  • Descriptif : C’est un champ incontournable pour garantir une bonne réutilisation, car une donnée bien décrite est une donnée bien réutilisée !
  • Dates de création, de dernière modification et de publication : la valeur par défaut indique la date du jour et la date de modification se met à jour automatiquement lorsque vous enregistrez des modifications sur les ressources.
  • Licence : Selectionner une licence parmi celles qui sont proposées: Licence APLC; Creative Commons (Attribution); Creative Commons (Attribution Share-Alike); Creative Commons (CCZERO); Licence ouverte V2.0; Open Data Commons (Attribution); Open Data Commons (ODbL) ou une autre Licence (Ouverte ou Spécifique).

Les métadonnées facultatives sont les suivantes :

  • Thématiques : un jeu de donnée peut-être associé à une ou plusieurs thématiques
  • Mots-clés
  • Fréquence de mise à jour à choisir dans le liste déroulante : Lorsque nécessaire; Non planifiée; Irrégulière; Continue; Temps réel; Journalière; Hebdomadaire; Bi-mensuelle; Mensuelle; Trimestrielle; Bi-annuelle; Annuelle; Inconnue.
  • Type de données
  • Meta-données INSPIRE
  • Fréquence de mise à jour
  • Couverture régionale

2. Métadonnées INSPIRE

Pour pouvoir compléter les métadonnées INSPIRE, il faut sélectionner le jeu de données et choisir « Editer la fiche de métadonnées INSPIRE ».

_images/INSPIRE_OPenIG.png

Tous les champs à compléter pour respecter la norme INSPIRE seront regroupés dans des rubriques : Auteurs et contacts pour la fiche de métadonnées; description des données; contacts pour la base de données; références géographiques et qualité des données; conditions légales d’accès et d’usage; ressources associées.

_images/INSPIRE2_OPenIG.png

Etape n°2 : Publier une ressource

Il existe quatre manières différentes d’ajouter un jeu de données :

1. Téléverser manuellement un fichier depuis votre poste local :

A l’aide du bouton Parcourir, vous pouvez déposer le fichier qui s’ajoute dans l’entrepôt de données d’OPenIG.

_images/Upload_ressources_OPenIG.PNG

Le Titre de votre fichier est automatiquement recopié, mais il est possible de modifier manuellement le nommage de ce jeu de donnée.

_images/Upload_ressources1_OPenIG.PNG

Le format du fichier est automatiquement reconnu par IDGO. Il faut préciser si le jeu de donnée est disponible en tant que Données brutes ou si c’est une documentation associée au jeu de données pour permettre aux visiteurs d’OPenIG d’avoir des informations complémentaires (plaquettes de communication, affiches, photographie, site internet….).

2. Télécharger un jeu de donnée depuis une URL de téléchargement :

Dans ce cas, IDGO va télécharger la ressource pour l’ajouter dans l’entrepôt de données.

_images/Upload_ressources_URL_OPenIG.PNG

Ce mode de publication permet de synchroniser la ressource distante, selon une périodicité régulière à indiquer :

  • Jamais
  • Quotidienne (tous les jours à minuit)
  • Hebdomadaire (tous les lundis)
  • Bimensuelle (1er et 15 de chaque mois)
  • Trimestrielle ( 1er des mois de Janvier, Avril, Juillet et Octobre)
  • Annuelle (1er Janvier)

Par exemple, un fichier transport.zip peut-être synchronisé sur OPenIG directement grace à son URL de téléchargement.

Note

Quelques précautions à prendre pour que la synchronisation s’active correctement :

  • le nom de votre fichier doit avoir exactement le même nommage de fichier pour toute la synchronisation : si un script modifie le nom du fichier (pour rajouter une date ou autre par exemple), la synchronisation ne fonctionnera pas.
  • votre fichier doit être accessible via une URL fixe : évitez les liens temporaires.:

En cas d’erreur, les administrateurs d’OPenIG se chargeront de vous indiquer que la synchronisation ne fonctionne pas ou plus.

3. Référencer une URL :

Dans ce cas, la ressource n’est pas téléchargée dans OPenIG et vous indiquez précisement l’adresse URL de téléchargement de la donnée qui reste hebergée chez son producteur. Cette donnée apparait au catalogue d’OPenIG mais elle n’est pas hébergée dans son entrepot.

_images/Upload_ressources_ref_URL_OPenIG.PNG

4. Dépot FTP :

Il faut se connecter au sFTP avec son logiciel (ex: FileZilla, voir photo ci-dessous) à l’adresse donnée et avec ses identifiants OPenIG.

Indication

Dans FileZilla, ajouter un site dans « Gestionnaire de site » avec les paramètres suivants :
  • Protocole : sFTP
  • Hôte : sftp.openig.org
  • Port : 8322
  • Identifiant : vos identifiants OPenIG
_images/depot_FTP_Filezilla.PNG

Les fichiers qui se trouvent sur le compte sFTP apparaîtront dans la liste déroulante. Ce mode de publication permet de synchroniser la ressource, selon une périodicité régulière à indiquer.

_images/Upload_ressources_FTP_OPenIG.PNG

Note

Il peut arriver que la connexion au serveur FTP ne fonctionne pas lorsque le Proxy de votre organisation bloque l’accès au compte FTP; Veuillez pour cela tester la connexion à partir d’un autre point d’accès internet sans Proxy (depuis un smartphone ou une connexion internet personnelle).

Styliser une couche

Pour créer un style pour un jeu de donnée, il faut le sélectionner et « éditer les ressources associées ».

_images/style_OPenIG.png

Il faut ensuite sélectionner la ressource à styliser du jeu de données et cliquer sur « editer ».

_images/editer_donnes_OPenIG.png

Puis cliquer sur « éditer la ressource géographique » lorsqu’on est sur la page de la ressource.

_images/editer_donnes2_OPenIG.png

Enfin il faudra choisir l’onglet « Styles » à droite de « Configuration générale ».

_images/style2_OPenIG.png

Créer un style manuellement

Manuellement et directement dans l’interface, il est possible de donner un nom pour le style et la classe ainsi que de créer :

  • Des filtres
  • Des représentations (couleur et opacité du fond et couleur et épaisseur du contour)
  • Des étiquettes
_images/style_manuel_OPenIG.PNG

A noter que l’utilisateur a, pour tous les styles importés ou créés dans cette interface, la possibilité de les exporter directement en SLD.

_images/style4_sld_OPenIG.png

Créer un style avec un SLD

Il est possible d’importer un SLD créé au préalable pour la ressource. Il suffit de cliquer sur « Importer un SLD » en haut à droite de la fenêtre de style et de coller le fichier SLD.

_images/style3_sld_OPenIG.PNG _images/style_sld_OPenIG.PNG

Enfin enregistrez votre style.

_images/style2_sld_OPenIG.PNG

Mettre à jour un jeu de données ou une ressource

Les données publiées peuvent être mises à jour après leur publication, que la modification porte sur un jeu données dans son ensemble, ou sur l’une des ressources qu’il contient (Données brutes ou ressources associées).

_images/Edit_donnees_OPenIG.PNG

L’actualisation d’une ressource existante permet d’en mettre à jour le contenu sans changer l’emplacement qui lui est assigné, c’est-à-dire son lien hypertexte (aussi appelé URL). Le fait d’actualiser une ressource (plutôt que de la supprimer et d’en créer ensuite une nouvelle) permet de conserver l’historique des téléchargements de cette ressource. Cela évite aussi de créer des liens rompus sur Internet, qui meneront à une erreur HTTP 404, vu que la page web n’existera plus et sera introuvable par le serveur.

Supprimer un ensemble de donnée et / ou une ressource

Aller sur le site https://idgo.openig.org et rechercher vos jeux de données.

Il est possible de supprimer un ensemble de données (Dataset) comprenant les metadonnées; ou seulement les ressources et fichiers brutes associés à un ensemble de données. Pour cela selectionner l’ensemble de données que vous souhaitez supprimer.

_images/Supp_donnees_OPenIG.PNG

Pour confirmer, veuillez réécrire le nom du jeu de données à supprimer.

_images/Supp2_donnees_OPenIG.PNG

Il est recomandé de Copier le titre de l’ensemble de donnée (Ctrl C) afin de conserver la même orthographe, puis coller ce titre dans la fenêtre qui s’affichera suite à la confirmation de la suppression.

Attention, cette action est irreversible et supprimera définitivement le jeu de données ainsi que toutes les ressources qui lui sont attachées.

Valoriser un ensemble de données en indexant leur réutilisation

La fonctionnalité « réutilisation » (Trouver des données -> Réutilisation) permet d’indexer les applications/projets existants et réutilisants des données issues du catalogue d’OPenIG. Vous pouvez visualiser celles existantes sur cette page.

_images/reutilisation1.PNG

Lorsqu’une donnée est réutilisée, nous vous invitions à créer une « réutilisation » afin de valoriser vos projets et/ou vos données . Pour en créer une, il vous suffit de cliquer sur « Ajouter une réutilisation » et de remplir le formulaire.

_images/reutilisation2.PNG

La réutilisation sera aussi visible sur la page du jeu de données :

_images/reutilisation3.PNG

Datastore et données intelligentes

OPenIG propose un datastore, c’est à dire un entrepôt de données qui offre des services dits « intelligents » sur les données tabulaires aux formats CSV, XLSX, XLS, GeoJSON & JSON.

La publication des données sur OPenIG, dans un format ouvert et interprétable par une machine, permet leur indexation dans le datastore afin notamment de proposer des aperçus, de les filtrer par champs et de les parcourir sans utiliser de tableur dédiés.

Le format CSV est le format pivot à privilégier pour transformer vos données tabulaires en données semi-structurées dites « intelligentes » afin que le datastore génère des datavisualisations simples sous forme de grille, de graphe ou de carte.

Des données intelligentes permettent également d’en automatiser l’accès par API ( Application Programming Interface) : L’accessibilité des données par interface de programmation est une condition nécessaire pour massifier et industrialiser les usages qui peuvent être fait de ces dernières. Les données indexées dans le datastore sont ensuite « requetables » directement à travers l’API à travers une série de fonctionnalités puissantes. ( voir la présentation de l’API CKan : https://openig.readthedocs.io/fr/latest/developpeurs/index.html#service-api-ckan)

Préparation des données tabulaires pour indexation dans Datastore

Vos jeux de données doivent être préparés pour être proprement indexés dans le datastore :

  • Dans CKAN, le format CSV doit être privilégié avec une , comme séparateur / délimiteur.
  • Idéalement, passez tous vos jeux de données en UTF-8. Pour cela le programme Notepad++ fait cela très bien.
  • Idéalement, exportez vos tableurs favoris (Microsoft, Libre et Open Office) au format CSV.
  • Restreindre vos titres de colonnes à moins de 62 caractères.
  • Ne pas doublonner le titre d’une colonne.
  • En théorie les caractères spéciaux (“:.,( -”) sont acceptés, mais c’est beaucoup mieux de les éviter dans les titres.
  • Harmoniser le type de vos données (et oui vos données sont typées!) : en effet si une colonne ne comporte que des chiffres, le datastore autodéterminera le type de cette colonne comme étant un nombre. Or il suffit qu’une cellule de la colonne contienne l’entrée N/A, pour que le datastore génére une erreur.
  • La taille limite des données pouvant être exploitées via l’API est de 15MO.

Pour éviter les erreurs de type, il est préférable de les corriger avant d’indexer le jeu de donnée dans OPenIG ou bien de transformer la valeur des cellules en cellules au format TEXTE. Cela n’est pas satisfaisant, mais ça fonctionne.

  • ERREUR : En cas d’erreur supprimez complètement la ressource associée au jeu de données et ajoutez en une nouvelle.

Note

Attention avec Excel :

  • lorque le fichier contient plusieurs feuillet (ou onglet), seule la dernière feuille de calcul est indexée dans le datastore. Il est donc nécessaire de déplacer la feuille de calcul contenant les données que vous souhaitez indexer dans le datastore en dernière place de votre tableur.
  • si vous ne voulez pas indexer vos données dans le datastore (pour plein de bonnes et mauvaises raisons), il suffit d’ajouter une feuille de calcul vide en dernière place de votre tableur.

Géolocalisation et visualisation des données indexées

Une carte peut automatiquement être générée à partir de vos données tabulaires geolocalisées. Pour cela, il faut renseigner les coordonnées géographiques soit avec un champ GeoJSON soit avec deux colonnes distinctes : « latitude » et « longitude ». Attention, la projection utilisée est le WGS84 (EPSG : 4326).

L’option « Marqueurs de regroupement » vous permet de « fusionner » visuellement les données proches.

_images/map_tabdata.PNG

Un graphique peut également être généré en sélectionnant les colonnes à assigner aux axes ainsi que le type de graphique parmis la liste disponible. Il est possible de combiner plusieurs « séries » au sein d’un même graphique.

_images/graph_tabdata.PNG

Faire remonter vos données sur Data.Gouv.fr

OPenIG et Etalab ont travaillé ensemble afin de permettre aux contributeurs d’OPenIG de faire remonter automatiquement leurs catalogues de données vers la plateforme nationale https://www.data.gouv.fr/fr/. Cette mécanique est aussi appelée « moissonneur » ou « passerelle ».

La procédure est relativemment simple. Il suffit de la mettre en place une fois pour que le catalogue de données d’OPenIG concerné soit ensuite synchronisé quotidiennement sur DataGouv.

Chaque contributeur et organisation reste souverain pour mettre en place ou non une synchronisation de ses données vers DataGouv.

Quelques précisions :

  • Seules les métadonnées sont synchronisées sur DataGouv. Les données restent sur OPenIG (ou ailleurs en fonction de vos choix en matière d’indexation de ressources).
  • Le moissonneur ne prend pas en compte la suppression de jeux de données. Chaque contributeur doit supprimer ses jeux de données directement sur DataGouv.
  • Un compte organisation sur DataGouv expose indifféremment les jeux de données créés manuellement sur DataGouv et les jeux de données synchronisés automatiquement depuis OPenIG. Attention aux doublons et à la cohérence des jeux de données.

Mise en place de la procédure :

ETAPE 1: Chaque contributeur crée une organisation sur DataGouv avec un compte utilisateur en son nom. « INSCRIPTION sur DataGouv » - Ce compte utilisateur doit être adminsitrateur de l’organisation.

ETAPE 2: création d’un point de moissonnage sur DataGouv L’administrateur de l’organisation sur Data.gouv.fr doit déclarer un point de moissonnage depuis l’interface d’administration DataGouv.

  • En haut à droite de votre espace d’administration DataGouv, cliquez sur plus, puis AJOUTER un MOISSONNEUR.
_images/Capture_Moissonneur1.PNG
  • Choisissez « Publier en tant qu’organisation », cliquez sur SUIVANT.
  • C’est ensuite ici que vous renseignez les informations techniques de votre moissonneur.
  • TITRE: Il convient d’ajouter « - OPenIG » à votre titre afin de l’identifier plus facilement.
  • URL : https://ckan.openig.org/dataset
  • IMPLEMENTATION : CKAN
  • Il est TRES important de ne pas oublier d’ajouter un filtre, au risque de moissonner tout OPenIG.
  • FILTRES -> INCLURE -> Organisation : ajouter l’identifiant de votre organisation dans OPenIG. ( il s’agit de l’url de votre organisation sur OPenIG)

Exemple 1 : https://ckan.openig.org/organization/departement-du-gard -> Identifiant du département du Gard

Example 2 : https://ckan.openig.org/organization/departement-des-pyrenees-orientales -> identifiant du département des Pyrénées Orientales

_images/Capture_Moissonneur3_OPenIG.PNG
  • Cochez la case ACTIF.
  • Cliquez sur ENREGISTRER.

ETAPE 3: Une fois créé, chaque contributeur déclare son moissonneur aux administrateurs d’OPenIG en écrivant à contact@openig.org.

ETAPE 4: Etalab valide le moissonneur à la demande des administrateurs d’OPenIG.

ETAPE 5: La synchronisation du catalogue distant est faite une fois par jour (chaque nuit).