PiratePad
Full screen

Server Notice:

hide

Public Pad Latest text of pad uOk9BaePLc Saved July 19, 2011

 
     
Beheer datacatalogus is beheer CKAN
 
Nu we zeker weten dat Nederland ook CKAN gaat gebruiken, kunnen we ook gerichtere uitspraken doen over het beheer ervan. Het technisch beheer, vormgeving van de datacatalogus, etc. laat ik links liggen, dat is geen issue.
 
Voordat ik wat voorstellen ga doen voor het inrichten van het beheer, licht ik even kort CKAN toe. Niet iedereen kent CKAN en de wijze waarop het werkt.
 
Toelichting CKAN
CKAN kan je vergelijken met een boodschappenlijst. Iedereen kan aan de boodschappenlijst eigen items toevoegen. Zo ontstaat een lange lijst van boodschappen. Binnen CKAN kan je groepen aanmaken. Bijvoorbeeld een groep met boodschappen bij de AH of een groep met boodschappen die worden gehaald door Pietje Puk. De groepseigenaar bepaalt wie boodschappen aan de groep mag toevoegen.
 
In dit geval is CKAN een lijst waar gebruikers geen boodschappen maar datasets op aanmelden. Groepseigenaren, bijvoorbeeld gemeente Delft, kunnen datasets die zij en anderen hebben geregistreerd, opnemen in de eigen groep. Daarmee maken zij bijvoorbeeld duidelijk dat de geregistreerde dataset van hen is. Een andere optie is om groepen aan te maken per onderwerp, bijvoorbeeld alle datasets met betrekking tot asbestverwijdering. Zo ontstaat een gemakkelijker doorzoekbaar geheel. 
 
Vanzelfsprekend biedt CKAN allerlei 'Open' opties, zoals bijvoorbeeld de mogelijkheid voor iedereen om eigen portals te bouwen op basis van de lijst. Zo werken wij momenteel aan een portal voor gemeente Delft en de EU vertegenwoordiging in Nederland, op basis van de nationale CKAN-lijst. Zij krijgen een eigen ingang richting de lijst met data, geconcentreerd op hun eigen datasets. Deze portals worden in de vormgeving van de organisatie aangeboden, zodat ze passen binnen de andere online uitingen.
 
Waarom beheer?
Voordat we praten over beheer, moeten we eerst de vraag beantwoorden waarom beheer nodig is. Waarom zouden we van de catalogus geen wiki maken waarin iedereen links naar datasets mag plaatsen en beheren? Deze blogpost over ervaringen van het opzetten van Open Data projecten biedt mogelijk ook bruikbare inzichten: http://radar.oreilly.com/2010/02/rethinking-open-data.html
 
Commentaar van Martijn:
is het niet juist het technische beheer wat het verschil maakt tussen een CKAN oplossing en een wiki? Een developer kan met een CKAN client via de CKAN api eenvoudig vanuit eigen omgeving softwarematig datasets uploaden,downloaden, en kan er rekening gehouden worden met revisies. Dit soort toepassingen zijn met een wiki niet te realiseren, wat het voor developers veel lastiger maakt om aan de slag te gaan met de beschikbare datasets 
 
Het antwoord laat zich raden. We praten niet over een Open Data Catalogus. We praten over een Open Data Catalogus met datasets van de overheid. Dat betekent dat we moeten garanderen dat de geregistreerde datasets van overheidsorganisaties afkomstig zijn. Tevens stellen we dat het Open Data is. Gebruikers van de datasets moeten erop kunnen vertrouwen dat zij de datasets zonder noemenswaardige beperkingen mogen gebruiken. Dat vraagt om controle voordat een dataset wordt geregistreerd.
 
 
 
Benodigde beheerprocessen
Omdat CKAN in de basis niet veel meer is dan een boodschappenlijstje met de mogelijkheid van een groepenstructuur, kunnen we al snel de twee benodigde beheerprocessen identificeren:
 
1. Beheren groepen
2. Beheren lijstitems (de links naar individuele datasets)
 
Iets meer in detail, we moeten uitspraken doen over:
a) wie groepen/lijstitems mag toevoegen
b) wie groepen/lijstitems mag verwijderen
c) wie groepen/lijstitems mag bijwerken
d) wie mag zien dat groepen/items bestaan
e) wie kan zien dat groepen/items zijn geraadpleegt
f) wie doet het beheer over bovenstaande?
 
Omdat het om Open Data gaat, hoeven we geen uitspraken te doen over wie de groepen/items mag zien.
 
 
Hou het open!
Ik stel het volgende voor. De datacatalogus krijgt een kernredactie die bestaat uit vrijwilligers. Data-enthousiastelingen, ondernemers, academici en ambtenaren, iedereen kan zich aanmelden als vrijwilliger. Deze kernredactie is eindverantwoordelijk voor het beheren van de groepen/lijstitems. Op basis van openlijk bediscussiëerde en opgestelde criteria kan de kernredactie groepen/items toevoegen, verwijderen of bijwerken. De Open Data Catalogus moet in mijn ogen het resultaat zijn van een community en niet uitsluitend beheerd worden door aangestelde ambtenaren. Ten eerste is dat kostbaar, ten tweede druist dat in tegen  de kernwaarden van Open Data.
 
De kernredactie kan anderen ook toestaan lijstitems te beheren. Na een controle kunnen medewerkers van overheidsorganisaties rechten krijgen om datasets te registreren en te beheren. Op deze manier wordt een belangrijk deel van de taken neergelegd bij de eigenaar van de data, de logische beheerder.
 
Daarnaast kan de kernredactie anderen aanwijzen als beheerders van groepen. Dezelfde medewerker uit het vorige voorbeeld kan bijvoorbeeld beheerder worden van de groep Gemeente Delft.
 
Tot slot moet iedereen de mogelijkheid krijgen om datasets aan te melden, of fouten te melden. Dit kan door een eenvoudig formulier op te nemen in de portal, waar door middel van (bv) een prominente knop op de homepage de aandacht op wordt gevestigd. De kernredactie kan de ingezonden formulieren in behandeling nemen. Bij aangemelde datasets kan gekeken worden naar de locatie van de set (overheidssite of andere betrouwbare locatie), de juridische zaken (rechtenvrij), machineherbruikbaar, etc. Na goedkeuring wordt de data geplaatst in de catalogus. 
 
Op dezelfde wijze kan iedereen vragen om een groep waarin data rondom een bepaald onderwerp of van een specifieke organisatie bij elkaar wordt gebracht. Op basis van de opgestelde criteria kan de groep door de kernredactie worden aangemaakt/aangepast/verwijderd.
 
Samenvattend
Laten we nou niet gaan werken aan een duurbetaalde en gesloten beheerorganisatie ergens in Den Haag. Houd het open en betrek de community.
 
Laten we streven naar de opzet van een kernredactie. Deze redactie bestaat uit vrijwilligers uit allerlei sectoren. De kernredactie voert redactie op basis van openbaar besproken en opgestelde criteria. 
 
Hierdoor is de Open Data Catalogus een breed gemeenschappelijk initiatief, houden we de beheerkosten laag, garanderen we dat de datasets van de overheid zijn en houden we de openheid die nodig is bij een open Data Catalogus.
 
--------------------------------------------------------------------------
Discussie(s)
 
Wie toegang heeft is geen discussie, want het betreft open data <-- waarom niet? Mij lijkt dat je dat wel zou willen weten of in ieder geval moeten kunnen weten. Wie iets mag zien is bij wet vastgelegd: iedereen. ('t is immers openbare data) Je kunt hooguit bijhouden hoevaak iets wordt geraadpleegd, en mensen vragen zich aan te melden voor een evt community/conversatie deel van de site, of kijken naar herkomst IP adressen. 'moet kunnen weten' is wat mij betreft in strijd met het openbaarheidsbeginsel (d.w.z. je mag eigenlijk niet vragen dat iemand zich eerst bekend maakt alvorens data te geven)Openbaar is voor mij beschikbaar, maar niet automatisch anoniem beschikbaar. Waar staat dat openbaarheidsbeginsel? In de WOB: overheid maakt openbaar uit zichzelf (en dus per definitie zonder te weten wie iets benut of gebruikt. Verder staat er dat niemand belang hoeft te stellen om info te krijgen, publiek is publiek.)Ik zie dat logische gevolg niet :-) Overigens vraag ik me ook af wat de waarde van 'registratie' is. Als jij het namelijk ophaalt en ergens anders weer publiceert is dat volledig ok, maar kan ik niet zien wie de gebruikers van data zijn. Dus binnen de kortste keren zijn alle bronnen leeggezogen, op een andere plek neergezet en daar door de crowd beter onder beheer dan bij de overheid omdat de crowd er meer fouten uithaalt, enz. Gaaf.
Let wel je hebt het hier over een register he, niet over de data zelf. Ja, maar via het register kun je wel de originele data ophalen.
Ander aspect, wat nu ook al geldt: ik hoef me bij de overheid niet bekend te maken als ik om openbare info vraag, omdat me bekend maken bijv schadelijk voor mezelf zou kunnen zijn. Ik hoef mezelf niet in 'gevaar' te brengen om openbare dingen in te mogen zien. Geldt nu ook in biblioth etc. en ad Hmm, dan zal de lijst met openbare data wel vrij kort blijven denk ik. De lijst met openbare data is bijzonder lang: ALLES is bij wet openbaar met 2 mogelijke uitzondeirngen: privacy, en landsbelang (veiligheid / economie). De rest is per def openbaar en opvraagbaar.Juist daarom zou ik willen vastleggen wie er toegang heeft. Dat staat in de wet: iedereen. Snap ik, maar toch. :-)Wat wil je daar dan mee? Toegang zegt in mijn ogen heel weinig. Hergebruik zegt veel meer. Je hebt er meer aan om hergebruik te meten, dan downloads (en wie die downloads doet)Dus als de douane een paklijst heeft voor een boot dan kunnen somalische paraten beter kiezen welke boot ze moeten overvallen (als ze kunnen lezen in het NL ;) )?Google translate? Er is ook zoiets als tijdigheid, wanneer komt iets beschikbaar. Dat is niet het zelfde als wel of niet beschikbaar.Ja, maar dat is weer niet handig voor Greenpeace. Die hadden de Probo Coala (of hoe heet die boot) graag vooraf tegengehouden. Als je dat nu oplost door registratie dan weet je tenmiste dat G'Peace het een en Somaliers (of handlangers ervan) het ander hebben gezien. Dat is denk ik een drogreden, omdat je na de eerste download nul invloed hebt op waar die info naar toe gaat. Ik zie wel dat er haken en ogen aan zitten (Daarom is dit ook een pad van groei en leren) Dus een goede reden om access wel, maar download niet toe te staan? Is er verschil? Ja in Records management termen zeker. Als ik iets acces heb ik per def ook al op mijn pc.Als het op mijn scherm heeft gestaan heb ik de gegevens al lokaal. Scrapen is nogal populair om die reden.Nog een reden om de lijst korter te maken :-) vanuit de overheid gezien dan.Behalve dan dat het wet is (al 30 lange jaren.) 
Nogmaals het ter beschikking stellen is geen discussie eigenlijk (al is de werkelijkheid niet in lijn met de regels) open data gaat over formats, herbruikbaarheid en machineleesbaarheid. In dat geval zou je dus ook moeten denken aan web-services die de data on-demand leveren. Of is dat toekomstmuziek?
 
Heb je trouwens mijn vraag op LinkedIn gezien: [hier komt ie]
 
Andere  vraag: de overheid maakt soms gebruik van commerciële databanken. Zo  weet ik dat de douane lang niet alle export-gegevens van bijv. bier zelf  heeft, maar daarvoor een dealtje heeft met minimaal 1 grote brouwer.  
 
Dit is dus data die de overheid zou moeten hebben vanuit haar  zelfgestelde taak, maar die in praktijk uit de DB van het bedrijf komt. 
 
Hoe moet daar mee worden omgegaan? Want als ik nu zou willen berekenen  hoeveel "drank" er deze maand geëxporteerd  wordt en ik heb alleen de  data die de overheid heeft (versus zou moeten hebben) dan gaat die  berekening dus niet goed. 
 
PS: ik ben VOOR deze constructie, laat die data a.j.b. zitten bij de brouwer en controleer deze aldaar.                   
Geen idee hoe je daar mee om moet gaan. Typisch iets om in t groeipad uit te zoeken. Wellicht ligt de geaggregeerde data (totaal aantal kratjes van de heren H en G) wel bij de douane en doe je die meteen naar buiten.Of, je hergebruikt de link die de douane heeft en zet die ook in het register. 
Kijk voor heikele vragen ook eens hier: http://www.boerderij.nl/10105158/Landbouw/Discussie/Privacy-of-openbaarheid2-discussieer-mee.htm?forum=74849&pagenr=5&showcomments=yes Heftige discussie over openbaarmaking van tellingen van vee / kippen etc bij boeren. Nou, dat is wel iets meer dan openbaarheid van tellingen. Dat gaat over privacy en het behouden van je vermogen (mogelijkheid) om een bedrijf te kunnen voeren. Mij lijkt dat hoe meer de overheid wil weten, hoe meer concurrentiemogelijkheden wegvallen. Ik denk dus dat we vooral paal en perk moeten gaan stellen aan wat je als persoon/bedrijf/organisatie toestaat qua gegevensbevraging door de overheid. De open datalijst moet korter worden in de loop van de tijd omdat er minder datasets komen. Hoop dat ik niet de enige ben die er zo over denkt!