Berenschot

10-10-2016

Methodologische klankbordfunctie

Berenschot is door KVB Boekwerk gevraagd bij het ontwikkelen van de branchemonitor voor het boekenvak een methodologische klankbordfunctie te vervullen. Berenschot heeft deze rol ingevuld door vanaf de start van de werkzaamheden van KVB Boekwerk tot oplevering van de drukproef voor het eerste monitorrapport kritisch mee te kijken naar en te adviseren over methodologische keuzes in relatie tot de op te zetten monitor. De belangrijkste activiteiten die Berenschot in dit verband heeft uitgevoerd zijn:

Berenschot heeft allereerst beoordeeld of de door KVB Boekwerk samengestelde groslijst van mogelijk voor de monitor te gebruiken gegevensbronnen in relatie tot de volgende thema’s: (1) titelaanbod, (2) uitgeverijen, (3) schrijvers, (4) vertalers, (5) verkooppunten/boekhandels, (6) de consumentenmarkt voor boeken en (7) de lezer, volledig is.
Samen met medewerkers van de KVB Boekwerk heeft Berenschot vervolgens op basis van voornoemde groslijst beoordeeld welke gegevensbron primair voor elk van de zeven genoemde thema’s zou moeten worden benut om hierover in de monitor valide informatie beschikbaar te kunnen stellen. Deze beoordeling heeft allereerst plaats gevonden op de vraag naar de mate waarin in een bepaalde bron gegevens zijn opgenomen over de totale populatie (bijvoorbeeld alle in Nederland verschenen boektitels). Bronnen die gegevens bevatten over (bijna) de hele populatie hebben namelijk de voorkeur boven bestanden die gegevens bevatten over een minder groot deel van de populatie. Ten tweede is gekeken wat de basis is voor de gegevens bij een gegevensbron: registratiegegevens of enquêtegegevens. Bronnen met registratiegegevens hebben de voorkeur. Ten derde is gekeken of de bij een bron beschikbare gegevens zich lenen om nadere specificaties/analyses op uit te voeren. Tot slot is het voor een meerjarige monitor van belang dat een gekozen bron ook in de toekomst te benutten is door KVB Boekwerk. Op basis van de gezamenlijke analyse op de groslijst van beschikbare bronnen heeft KVB Boekwerk uiteindelijk besloten welke gegevensbronnen voor welk thema als primaire bron te gebruiken. Zie hiervoor in bijlage Toelichting op de werkwijze per bron de bronbeschrijving per hoofdstuk.
Berenschot heeft deelgenomen aan het startoverleg tussen KVB Boekwerk en de Koninklijke Bibliotheek (KB) over de mogelijkheden van KB om voor de monitor analyses uit te voeren op de bij haar beschikbare gegevens rondom titels, auteurs en vertalers. Op basis van deze startbijeenkomst is de KB gestart met het uitvoeren van analyses op haar gegevens. Tussenresultaten van de KB-analyses zijn ook aan Berenschot voorgelegd en beoordeeld. Op basis hiervan zijn de analyses aangescherpt en aangevuld.
Ook met het Centraal Boekhuis (CB) heeft KVB Boekwerk een startoverleg gevoerd over de mogelijkheden van CB om voor de monitor analyses uit te voeren op de bij haar beschikbare gegevens rondom uitgeverijen en verkooppunten/boekhandels en de consumentenmarkt. Berenschot heeft ook aan deze bijeenkomst deelgenomen. De tussentijdse analyseresultaten van CB zijn in een aantal bijeenkomsten met KVB Boekwerk doorgesproken, bij twee van deze bijeenkomsten was Berenschot aanwezig. Naderhand zijn ook analyseresultaten per e-mail met KVB Boekwerk gedeeld en deze zijn ook door Berenschot beoordeeld. Op basis van de beoordeling van tussentijdse analyse-uitkomsten heeft CB haar analyses kunnen aanscherpen en verdiepen.
Het benutten van het GfK panel door KVB Boekwerk als bron voor de thema’s uitgeverijen en de consumentenmarkt voor boeken heeft Berenschot op afstand gevolgd. Dit was mogelijk omdat Berenschot methodologisch al bekend was met het soort onderzoek dat GfK op basis van kassa-aanslagen uitvoert. Belangrijk daarbij is verder dat het benutte bestand al primair opgebouwd is als onderzoeksbestand en de contactpersonen van GfK waarmee KVB Boekwerk contact heeft, onderzoekers zijn. Berenschot heeft wel alle uitkomsten van analyses tussentijds kunnen beoordelen en is in de gelegenheid gesteld methodologische vragen te stellen. KVB Boekwerk zorgde dan telkens dat GfK deze beantwoordden.
De hiervoor beschreven betrokkenheid van Berenschot bij het benutten van de gegevens van GfK voor de monitor geldt ook de manier waarop KVB Boekwerk de onderzoeksgegevens van de Stichting Marktonderzoek Boekenvak (SMB) door KVB Boekwerk zijn benut.
Tot slot heeft Berenschot in een aantal ronden de conceptteksten voor het eerste monitorrapport beoordeeld op leesbaarheid en juist gebruik/presentatie van door KVB Boekwerk bij de primaire gegevensbronnen verzamelde gegevens.

Oordeel over werkwijze KVB Boekwerk bij opzetten monitor

Door de nauwe betrokkenheid van Berenschot bij het ontwikkelproces van de monitor voor het boekenvak hebben wij ons ook een beeld kunnen vormen van hoe KVB Boekwerk in meer algemene zin invulling heeft gegeven aan haar opdracht. De insteek van KVB Boekwerk is naar ons oordeel gedurende het gehele proces zo geweest dat met de op te zetten monitor uiteindelijk een zo breed, valide en betrouwbaar mogelijk beeld beschikbaar moet komen van het boekenvak in haar volle breedte. Er is niet op voorhand gestuurd om bepaalde gegevens over of ontwikkelingen in het boekenvak uit te sluiten. In het eerste monitorrapport zijn echter toch niet alle vooraf door KVB Boekwerk gewenste gegevens of analyses over het boekenvak opgenomen. Dit valt echter steeds terug te leiden tot methodologische redenen. Soms ontbraken de bronnen waaruit bepaalde gegevens of waarop bepaalde analyses valide en betrouwbaar te halen of uit te voeren zijn, Ook zou het voor sommige analyses nodig zijn geweest dat er een koppeling zou plaatsvinden tussen verschillende bronbestanden. De doorlooptijd om dit, mede vanwege allerlei vereisten aan vertrouwelijkheid van gegevens, in te regelen, was niet beschikbaar. Tot slot is de keuze van KVB Boekwerk om de monitor te baseren op meerdere bestaande gegevensbronnen, en dus niet één bestaande bron, volgens Berenschot terecht gemaakt. Bij de start van het project is namelijk op een zorgvuldige manier vastgesteld dat er geen unieke gegevensbron bestaat waaruit voor alle gewenste monitorgegevens valide en betrouwbare gegevens te destilleren zijn. Alternatief zou het opzetten van een geheel nieuwe gegevensverzameling zijn geweest over de gehele breedte van de sector. Dit zou echter zo belastend zijn geweest voor de boekensector, dat zeer sterk te betwijfelen valt dat men er aan mee zou hebben gewerkt. Overigens is het zeer gebruikelijk bij een monitor op basis van bestaande bronnen, dat hiervoor gegevens uit meerdere bronnen worden benut.

Overall oordeel gebruikte gegevensbronnen

Op basis van de methodologische klankbordfunctie van Berenschot, hebben wij ons tot slot ook een goed beeld kunnen vormen van de validiteit en de betrouwbaarheid van de in dit monitorrapport gepresenteerde gegevens. Validiteit zegt iets over de inhoud: beschrijven de gepresenteerde gegevens de uitgelichte thema’s van het boekenvak op een correcte manier? Wordt er weergegeven wat de bedoeling is? Betrouwbaarheid heeft te maken met de stabiliteit van het monitorresultaat. Indien de gebruikte bronnen later op dezelfde manier benut zouden worden, komen dan dezelfde resultaten naar voren?

Omdat KVB Boekwerk voor haar monitor uitsluitend gebruik heeft gemaakt van gegevens uit bestaande bronnen en dus niet zelf aan dataverzameling heeft gedaan, wordt de validiteit en de betrouwbaarheid van de gepresenteerde gegevens bepaald door de kwaliteit van de gebruikte gegevensbronnen en de daarop uitgevoerde nadere analyses. Berenschot is in de gelegenheid gesteld om beide (bronnen, analyses) gedurende het proces te kunnen beoordelen.

Wat betreft de gegevensbronnen, is de validiteit en betrouwbaarheid van de titelbestanden van de KB het grootst. Deze gegevensbron is gebruikt voor de hoofdstukken over het aanbod, de auteurs en de vertalers. Ons beeld is dat in deze bestanden op jaarbasis min of meer alle unieke ISBN’s zijn opgenomen die in een bepaald jaar in Nederland verschijnen en die bestemd zijn voor de markt. Gezien haar depot-/archieffunctie, hanteert KB over de jaren heen ook min of meer dezelfde werkwijze om deze titelbestanden samen te stellen. Enige beperking van de titelbestanden van KB is dat niet gefilterd kan worden op verschillende verschijningsvormen (hard copy, paperback, e-book) van hetzelfde werk, waardoor dubbeltellingen in bijvoorbeeld het aantal verschenen unieke titels niet uit te sluiten is. Omdat dit probleem elk jaar speelt, is de betrouwbaarheid op dit punt echter wel gewaarborgd.

Het GfK panel kan gezien worden als een registratiebestand van de boekverkopen in de algemene boekenmarkt (titels met A- of O-codering). Het wordt gevuld aan de hand van kassa-aanslagen bij een panel van boekverkopers. Doordat het een panel is, bevat het registratiebestand dus niet de gegevens van alle boekverkopen in de algemene boekenmarkt. Om voor de gehele markt tot uitspraken te komen over de omzet en afzet vindt er extrapolatie plaats op basis van criteria die niet goed te achterhalen zijn uit openbare rapportages. Echter, omdat het panel uit 89% van de algemene boekenmarkt bestaat en gebruik wordt gemaakt van harde waarnemingen (kassa-aanslagen), achten wij het toch een voldoende valide bron voor de gegevens die in de hoofdstukken over de uitgeverijen en de consumentenmarkt. Omdat de meetmethode (kassa-aanslagen) over de jaren heen steeds dezelfde, is de betrouwbaarheid van de gegevens uit deze bron groot. Hierop is ook van invloed dat ook over de jaren heen steeds een heel groot deel van de verkooppunten in het panel is opgenomen. Beperking van het GfK panel is wel dat wetenschappelijke titels buiten beschouwing blijven. Verder is het niet goed mogelijk gegevens over de consumentenmarkt uit deze bron een op een af te zetten tegen die onttrokken kunnen worden aan die over de consumentenmarkt uit de registraties van het CB. In tegenstelling tot gegevens die CB beschikbaar kan stelen, bevat het GfK panel ook gegevens van verkopen van boeken die gedistribueerd worden door andere distributeurs dan CB en daarmee ook van publicaties van buitenlandse uitgeverijen.

CB houdt gezien haar rol in de distributie van boeken tussen uitgeverijen en verkooppunten ervan, hierover gegevens bij. Dit doet zij voor uitgeverijen en verkooppunten die een commerciële relatie met (aansluiting op) CB hebben. Dit geldt niet voor alle in Nederland actieve uitgeverijen en verkooppunten. Het is helaas niet mogelijk om de bij CB beschikbare gegevens te extrapoleren naar alle uitgeverijen of alle verkooppunten. De informatie om zo’n extrapolatie verantwoord uit te kunnen voeren (verschillen tussen klantenbestand CB en de totale markt), is niet beschikbaar. Omdat CB in de distributie tussen uitgeverijen en verkooppunten een redelijk dominante positie heeft, kan met het gebruik van CB-gegevens volgens ons toch een redelijk valide beeld gegeven worden van een aantal kenmerken van de verkooppunten van boeken. De betrouwbaarheid van de gegevens van CB kan volgens ons over de jaren wel een probleem vormen. De inrichting van CB-registraties is gezien de rol die het speelt (logistieke dienstverlening, en archieffunctie als de KB) dynamisch en niet statisch. Doordat bijvoorbeeld een uitgeverij beslist om zich na verloop van tijd anders bij CB te laten registreren, kan het aantal uitgeverijen met terugwerkende kracht in de registraties worden aangepast. Dit geldt ook voor de verkooppunten/boekhandels. Het gevolg hiervan is dat van dag tot dag de uitkomsten van dezelfde analyses kunnen verschillen. Desalniettemin is besloten om toch de CB-gegevens te gebruiken om de verkooppunten/boekhandels te karakteriseren. Dit omdat een alternatieve, meer statische bron om dit te doen, niet beschikbaar is.

Het hoofdstuk over de lezer is niet gebaseerd op een registratiebestand, maar op de uitkomsten van een elk kwartaal door de Stichting Marktonderzoek Boekenvak (SMB) uitgevoerde enquête onder een steekproef van 1.200 lezers uit een breder onderzoekspanel. In deze enquêtes wordt onder andere gevraagd naar feitelijk en toekomstig aankoopgedrag van boeken. Enquêtes hebben niet de mogelijkheid om vragen toe te lichten, het valt dan ook niet vast te stellen dat alle respondenten de vragen op dezelfde manier hebben opgevat en daarmee beantwoord. Ook hebben we niet kunnen vaststellen dat de vraagstellingen over de jaren gelijk zijn gebleven en hoe representatief het panelbestand is waaruit elk kwartaal de steekproef voor de enquête getrokken worden. De validiteit en de betrouwbaarheid van de in dit rapport gepresenteerde gegevens over de lezer, hebben we dus niet eenduidig kunnen vaststellen.

Tot slot zou het voor de monitor van meerwaarde zijn geweest als de gegevens die onttrokken zijn aan de titelbestanden van KB, het GfK panel en de registraties van CB gekoppeld hadden kunnen worden op het niveau van aantal unieke ISBN’s dat in een jaar verschijnt. Praktisch had KB hiertoe uit haar titelbestanden per jaar een lijst met unieke ISBN’s moeten genereren, en het CB en GfK hadden deze lijst met ISBN’s in hun analyses moeten meenemen. Het voordeel van deze koppeling zou zijn geweest dat alle partijen hun analyses hadden kunnen concentreren op dezelfde set unieke ISBN’s. Door tijdgebrek en de noodzaak van zorgvuldige onderlinge afspraken, heeft de beschreven koppeling ten behoeve van het eerste monitorrapport niet kunnen plaatsvinden.