Samenvatting onderzoeksmethoden PDF

Preview

Summary

Samenvatting Onderzoeksmethoden II Hoofdstuk 2 Goed marktonderzoek 2 Wat is goed onderzoek? Goed onderzoek is een systematische, kritische en gecontroleerde procedure, aan de hand waarvan informatie wordt verzameld, die ertoe leidt de onzekerheid met betrekking tot beleidsbeslissingen te reduceren. ...

Description

Samenvatting Onderzoeksmethoden II Hoofdstuk 2

Goed marktonderzoek

2.1 Wat is goed onderzoek? Goed onderzoek is een systematische, kritische en gecontroleerde procedure, aan de hand waarvan informatie wordt verzameld, die ertoe leidt de onzekerheid met betrekking tot beleidsbeslissingen te reduceren.! Marktonderzoek behoort tot de categorie toegepast onderzoek en dit heeft als gevolg dat marktonderzoek beslissingsgericht en probleemoplossend is. Met andere woorden: het uiteindelijke doel van marktonderzoek is een beslissing vergemakkelijken en een probleem helpen op te lossen (= actionable). ! De twee belangrijke vragen waarmee rekening moet worden gehouden bij het uitvoeren van een onderzoeksproject zijn:! - Zullen de resultaten van het onderzoek de zekerheid over een te nemen beslissing verhogen?! - Verhoogt de kans dat de beslissingsnemer actie zal ondernemen op basis van de resultaten van het onderzoek?! De kenmerken van een goed onderzoek (waaraan een marktonderzoek zoveel mogelijk aan moet voldoen): ! - Het doel is goed afgebakend (er is een duidelijke probleemstelling) > zo ontstaat er geen dubbelzinnigheid over de doelstellingen, beperkingen en betekenis van het onderzoek. ! - Onderzoeksprocedures > deze moeten in voldoende detail worden beschreven. Het gevolg hiervan is dat de kwaliteit beoordeeld kan worden en herhaling van het onderzoek wordt mogelijk gemaakt.! - Juiste onderzoeksopzet > de onderzoeksopzet moet zodanig worden opgesteld dat procedures worden gebruikt die de meeste resultaten opleveren. ! - De onderzoeker moet met voldoende openheid de beperkingen en fouten rapporteren en het effect ervan op de resultaten inschatten. ! - Gegevensanalyse moet op een goede manier gebeuren en de analysemethoden moeten geschikt zijn. ! - Conclusies moeten beperkt blijven tot de conclusies die afgeleid kunnen worden uit de gegevens en de analyse. Resultaten moeten betrekking hebben op de populatie waarvoor de steekproef representatief is. ! Uiteraard is goede informatie relevant en accuraat, het is een spiegel van de realiteit en draagt dus bij tot het oplossen van het probleem. Ten slotte moet informatie beschikbaar zijn op het ogenblik dat de beslissing wordt genomen en het tijdsbestek moet relevant zijn (= juiste informatie moet op het juiste moment/ogenblik worden verzameld). ! 2.2 Het wetenschappelijk karakter van het marktonderzoek Marktonderzoek is bij voorkeur wetenschappelijk. Het is onmogelijk om in praktisch marktonderzoek alle regels van het wetenschappelijk onderzoek te volgen. Toch is het handig om de regels als norm aan te nemen. Wetenschappelijk onderzoek heeft drie belangrijke kenmerken:! 1. Theorievorming en modelopbouw! Wetenschappelijk onderzoek is gebaseerd op een logische structuur van samenhang tussen een aantal factoren, die verwacht worden een voorstelling van de realiteit te zijn (= model). Binnen de theorie en het model worden hypothesen geformuleerd. Een hypothese is een veronderstelling van de realiteit die tevens observeerbaar is. Marktonderzoek (en marketing) is een relatief jonge discipline waarin theorievorming en modelopbouw nog niet sterk ontwikkeld is, dit kan voor definitorische verwarring in de sociale wetenschappen zorgen.!

1

2. Validiteit en betrouwbaarheid (3)! Validiteit en betrouwbaarheid zijn twee kenmerken die sterk samenhangen. Validiteit is het kenmerk van een onderzoeksopzet die meet wat hij inhoudelijk beoogt te meten. Met andere woorden: er wordt gekeken of het onderzoek meet waarvoor hij opgesteld is en dus moet meten. Betrouwbaarheid is de mate waarin deze meting vrij is van toevalsmatige fouten en leidt dus tot consistente resultaten. Als een onderzoek niet betrouwbaar is, is deze direct ook niet valide. Betrouwbaarheid is noodzakelijk voor validiteit. Andersom is dit niet het geval: een onderzoek kan betrouwbaar zijn, maar niet valide. Het onderzoek geeft dan consistente resultaten, maar deze resultaten kloppen niet, dus zijn ze niet valide. Bij betrouwbaarheid gaat het om toevalsmatige fouten (random error) en bij validiteit om systematische fouten (bias).! Zowel validiteit en betrouwbaarheid hebben betrekking op meten. Meten is het proces waarbij een concept gelinkt wordt aan 1 of meer latente variabelen, en die worden gelinkt aan geobserveerde variabelen. ! Concept: een idee dat fenomenen onder een enkele term verenigt.! Latente variabelen: De vertegenwoordigers van concepten in een meetmodel 4 stappen van meten:! Stap 1 en 2: de betekenis van het concept verduidelijken aan de hand van een theoretische definitie (= legt in de simpelste en precieze termen mogelijk de betekenis van een concept uit). Een concept wordt vertegenwoordigd door een latente variabele(n).! Stap 3: de operationele definitie: beschrijft de procedures die gevolgd moeten worden om maatregelen te vormen van de latente variabale(n) dat een concept vertegenwoordigen. De maatregelen ‘measures’ zijn de geobserveerde variabelen. ! Stap 4: het meetmodel of structureel model legt de relaties tussen de latente variabelen en de geobserveerde variabelen.! $ 2 foutbronnen:! $ $ - Random fouten! $ $ - Systematische fouten! Meettheorie:! - True score theorie: -x = T + O! - True score theorie met systematische meetfouten: -x = T + S + O! 2.1 Soorten validiteit! Er kan eerst onderscheid gemaakt worden tussen interne en externe validiteit. Elk van deze heeft nog meerdere ‘deel’-validiteiten. ! 1. Interne validiteit: heeft te maken met de vraag of men meet wat hij beoogt te meten. ! $ - Face validity (validiteit op het eerste gezicht): dit is een elementaire basisvorm die in elk onderzoek moeten worden nagegaan. Hierbij wordt het meetinstrument op het eerste gezicht (m.a.w: voor het onderzoek van start gaat) door niet-experts gemeten (pre-test). ! $ - Content validity (inhoudvaliditeit): ook deze moet in elk onderzoek worden toegepast. Hierbij wordt het meetinstrument door experts gecontroleerd op inhoudelijke correctheid. Het meetinstrument moet natuurlijk alle inhoudelijke aspecten van het onderzoek kunnen meten. Dit gebeurt meestal aan de hand van literatuuronderzoek.! $ - Criterion validity (criteriumgerelateerde validiteit): hierbij wordt naar criteria gezocht die gerelateerd zijn aan het concept (van het onderzoek). Hierbij kan ook onderscheid gemaakt worden tussen twee soorten. De eerste soort is voorspellende (predictive) validiteit: als een meetinstrument erin slaagt om een toekomstig fenomeen goed te voorspellen. De tweede soort is 2

gelijktijdige (concurrent) validiteit: hier gaat het om het klasseren van een fenomeen, los van de toekomst. ! $ - Construct validity (construct validiteit): hierbij wordt door middel van vroeger onderzoek verband gelegd tussen verschillende constructen. Als je bijvoorbeeld een klanttevredenheid onderzoek opstelt, kan je door middel van vroegere onderzoeken weten dat dit verband heeft met de klantentrouw. Deze kan gekwantificeerd worden.! $ - Convergentvaliditeit: deze bestaat enkel wanneer twee of meer verschillende methoden die eenzelfde concept meten hoog correleren (grote samenhang, geen (of weinig) verschil). ! $ - Discriminantvaliditeit: in tegenstelling tot convergentvaliditeit gaat het hier om een lage correlatie tussen 2 of meer methoden die eenzelfde concept correleren (kleine samenhang, voldoende verschil). ! $ - Discriminantvaliditeit moet niet verward worden met unidimensionaliteit: hierbij gaat het om de correlatie tussen elk item en elke latente variabele! Hierbij moet deze hoog zijn tussen een item en de latente variabele dat het item moet meten (1), en moet deze laag zijn tussen een item en alle andere latente variabele (2). ! De laatste 2 (convergent- en discriminantvaliditeit) worden gemeten via de Multirait-Multimethod design > staat nergens uitgelegd???! 2. Externe validiteit: heeft te maken met het veralgemenen van de verkregen resultaten naar andere personen, tijden en situaties (m.a.w.: het ruim beschouwen van de onderzoeksresultaten).! 2.2 Soorten betrouwbaarheid! $ - Test - hertest betrouwbaarheid: hierbij wordt een onderzoek op twee verschillende momenten door eenzelfde persoon uitgevoerd. Het doel hiervan is om te kijken of op beide momenten dezelfde resultaten verkregen worden (stabiliteit ben de meting). Belangrijk hierbij is het plannen van de tijden. Als de tijd tussen de eerste en tweede test te kort is, kan de persoon de antwoorden nog herinneren. Als de tijd echter te lang is, kunnen externe factoren zijn antwoorden beïnvloeden, waardoor de stabiliteit geschaad wordt. ! $ - alternatieve vormen betrouwbaarheid: hierbij wordt dezelfde persoon twee keer getest op hetzelfde tijdsstip. Het verschil hierbij zit hem in de vragen, deze worden licht gewijzigd. De correlatie wordt berekend als de indicator van de betrouwbaarheid en stabiliteit. Het probleem hier zit in de vraagstelling, de vragen moeten hetzelfde meten maar op een andere manier gesteld worden. ! $ - Split run/split half betrouwbaarheid: een meetinstrument wordt hierbij in tweeën gesplitst tussen twee personen. 1 persoon krijgt de eerste helft van het meetinstrument en een ander persoon de tweede helft. Het probleem hier is dat het niet makkelijk is om elk meetinstrument in tweeën te splitsen. ! $ - interne consistentie betrouwbaarheid: elk onderzoek dat via schaalmethoden (hoofdstuk 10) of meerdere items een construct trachtte meten zou dit na moeten gaan. ! Deze gaat via Cronbach’s coëfficiënt alpha: de correlatie tussen deze schaal en alle andere mogelijke schalen (met eenzelfde aantal items) gewoonstrueerd uit een hypothetisch universum van items die hetzelfde construct meten. ! - 0 < α < 1! $ α = k x R/[1+(k-1)r]! $ k= aantal items! $ r= gemiddelde correlatie tussen de items! - Is sterk afhankelijk van het aantal items!! Lineaire structurele modellen - Elk van deze methoden is niet echt correct wanneer toegepast vanuit de ‘true score’ theorie, want er wordt geen rekening gehouden met systematische fouten.! - Herdefiniëren van betrouwbaarheid en validiteit vanuit een ‘structural equations’ benadering.!

3

Li neaire structurele Rel ationships (Lisrel)! Bevat 2 verschillende componenten! - Een meetmodel: onderzoek van de re l a t i e s t u s s e n d e l a t e n t e e n geobserveerde variabelen! •x = Λ ξ + δ! met δ = s + e! -Confirmatorische factoranalyse: een ‘ rel a ti e ’ mo d el t us s en l at e nt e variabelen.!

Lisrel: Endogene variabelen en constructen! !

!

Exogene variabelen en constructen

Lisrel: Het structureel model

Naast de wetenschappelijke kenmerken (theorievorming en modelopbouw, validiteit en betrouwbaarheid, de drie toetsstenen van het wetenschappelijk onderzoek), zijn er ook operationele vereisten zoals: doelmatigheid, gebruiksgemak en interpreteerbaarheid (wenselijke secundaire karakteristieken). ! $ - Doelmatigheid: de efficiëntie van een procedure of meetinstrument. Als je bijvoorbeeld te veel vragen stelt, dan kan een vragenlijst te lang worden en kan de betrouwbaarheid afnemen, doordat de respondent minder inspanning zal vertonen.! $ - Gebruiksgemak: moeilijkheidsgraad van een (meet-)instrument. ! $ - Interpreteerbaarheid: houdt verband met de mate waarin de onderzoeker of andere personen de resultaten zelf kunnen interpreteren. ! Redenen waarom het meeste marktonderzoek niet wetenschappelijk van aard is:! - Wetenschappelijk onderzoek vereist objectiviteit van de onderzoeker. Dit is een probleem voor elke onderzoeker, maar een marktonderzoeker werkt vaak in opdracht waardoor hij zelf nauw betrokken is bij het voorwerp van onderzoek. Een marktonderzoeker kan zelf consument zijn, waardoor het lastiger is om objectief te blijven. !

4

- Het is moeilijk om bij marktonderzoek accuraat te meten. Meetinstrumenten en -

meetprocedures zijn niet erg precies, omdat het onderzoek vaak door mensen en voor mensen opgesteld wordt. ! De bestudeerde fenomenen zijn vaak erg complex. Er zijn veel variabelen die in overweging genomen moeten worden. ! Psychologische en sociologische factoren zijn moeilijk te meten, en de omgeving waarin de commerciële beleidsproblemen zich bevinden veranderen constant. ! Meeste marktonderzoek gebeurt in opdracht, waardoor er dus een budget en tijdslimiet aan vast zit. !

2.3 Wanneer onderzoek te doen en wanneer het te vermijden? Een goede reden om onderzoek uit te voeren is in het algemeen gerelateerd aan een concreet probleem waaraan het onderzoek gerelateerd is en als er een bepaalde mate van onzekerheid is over de te nemen beslissing. Het minderen van onzekerheid is een goede reden om tot onderzoek over te gaan. ! Goede redenen om onderzoek te vermijden: ! - Als van te voor bekend is dat het onderzoek veel onzorgvuldigheden en/of onzekerheden zal bevatten, dan zijn het resultaat en de conclusies grotendeels onbetrouwbaar of niet-valide (als bijvoorbeeld nodige informatie niet beschikbaar is, de doelgroep niet af te bakenen is, of de benodigde geldmiddelen er niet zijn. Het onderzoek is dan niet gerelateerd aan een concreet probleem.! - Vaak wordt onderzoek gevoerd om goede argumenten te ontdekken om iemand te overtuigen. Alhoewel dit niet altijd een verspilling is, is het alsnog een goede reden om onderzoek te vermijden. Dit soort onderzoek kan leiden tot vooroordeelbevestigende argumenten. Het gaat hier vaak om het verminderen van de eigen onzekerheid.! - Onderzoek dat als routineactiviteit gebeurt (fishing expedition) kan het beste vermeden worden. Marktonderzoek moet relevant zijn, niet interessant. Dit hangt samen met onderzoek doen om ‘bij te blijven’, omdat anderen het ook doen. Dit kan ook marktvolgersgedrag worden genoemd, en deze is vaak nutteloos en ondoelmatig. ! Slechte redenen om onderzoek te vermijden: ! - Er wordt vaak verondersteld dat er al genoeg onderzoek gedaan wordt. Dit kan leiden tot information overload (als een bedrijf teveel informatie heeft, waarmee niemand ooit iets mee aanvangt, data overkill) en data indigestion (als een bedrijf veel informatie verzamelt, maar niet tot onderzoek overgaat. Kleine kans dat de antwoorden op de problemen waarmee een bedrijf kampt, in deze secundaire bronnen staan).! - Sommigen vinden dat onderzoek enkel nuttig is voor belangrijke beslissingen, dit is echter niet waar. Sommige belangrijke beslissingen hebben geen onderzoek nodig, omdat de beslissing onafhankelijk is van de resultaten. ! - Sommige beleidsverantwoordelijkheden denken dat zijn de controle over gebeurtenissen verliezen als zij een marktonderzoek (laten) uitvoeren. Zij deinzen terug omdat soms ‘bedrijfsgeheimen’ nodig zijn, waar anderen inzage in krijgen. Er wordt dan gedacht dat er controleverlies geleden wordt. ! - Er heerst bij velen de opvatting dat marktonderzoek duur is. Dit kan kloppen als er grote hoeveelheden mensen ondervraagt moeten worden. Er zijn echter goedkope alternatieven. Als het onderzoek te duur is in verhouding met de opbrengst, is het raadzaam het onderzoek niet uit te voeren.! - Sommige beleidsverantwoordelijkheden vinden marktonderzoek een verspilling. Een groot gedeelte van het uitgevoerde onderzoek is vaak verspilling maar dit is te wijten aan een aantal redenen. ! - De beslissingsnemer neemt zich vaak niet de moeite om de kosten af te wegen aan de baten. ! - Het beleidsprobleem en onderzoeksvragen worden nooit precies omschreven. Er worden dan antwoorden gegeven op vragen die nooit gesteld zijn of er duiken pas vragen op nadat het onderzoek is gestart. ! - Vaak is de opdrachtgever slechts zeer sporadisch met het onderzoek bezig. ! Om bovenstaande problemen te vermijden is het raadzaam om een document op te stellen waarin heel duidelijk de probleemstelling en de te onderzoeken topics in worden opgenomen. Dit moet dan worden goedgekeurd door de opdrachtgevers. ! 5

- Een andere misvatting is de ‘glazen bol’-mythe. Er wordt vaak te veel verwacht van een

-

marktonderzoek. Voor sommige opdrachtgevers is marktonderzoek het laatste hulpmiddel, als er verder geen oplossing meer is. Marktonderzoek is er niet om problemen op te lossen, maar het doel is juist problemen blootleggen. Er worden ook te exacte antwoorden verwacht. Marktonderzoek is geen glazen bol. ! Soms wordt marktonderzoek ook als saai gezien, waardoor het wordt vermeden. !

Hoofdstuk 3

Onderzoeksplan

3.1 Stappen in het marktonderzoeksplan Een kenmerk van goed marktonderzoek is systematiek (= het opstellen van een onderzoeksplan, met gebruik van een aantal elkaar logisch opvolgende stappen). Dit is te zien in onderstaand figuur. Dit figuur is echter zowel volledig als onvolledig. Het figuur is onvolledig in de zin dat geen enkel onderzoek begint bij stap 1 en eindigt bij stap 10. Een onderzoeksproces is recursief (= van elk project leert men wat bij, en deze kennis wordt dan als input voor een volgend project gebruikt). Er wordt ook gesproken over een ‘onderzoekscirkel’(= een herhaling van: probleemstelling, onderzoeksopzet, conclusie en theorievorming). Dit is echter niet altijd nodig. Soms zijn secundaire bronnen voldoende, wat betekent dat er gelijk over kan worden gegaan op stap 9. Stap 1 is één van de belangrijkste stappen. Een bijzondere opdracht in dit stadium is het vertalen van het beleidsprobleem naar een onderzoeksprobleem of onderzoeksproblemen, en vervolgens deze vertalen naar een lijst met informatiebehoeften. !

6

3.2 Exploratief en Conclusief onderzoek Het onderzoeksplan valt uiteen in 2 onderdelen: exploratieve onderzoeksopzet (stap 5) en conclusieve onderzoeksopzet (stap 8). Onderzoeksopzet kan omschreven als het geheel van methoden en technieken die nodig zijn om de benodigde informatie te verzamelen en te verwerken. ! Een onderzoeksopzet bestaat uit 4 onderdelen:! 1. Het plan: hoe (via welke procedures), wat (welke informatie) en waar (welke bronnen) omtrent het verzamelen van gegevens. ! 2. Een raamwerk van de relaties die tussen de variabelen worden gelegd, en hoe die relaties geanalyseerd kunnen worden. ! 3. Vervolgens moet er een blauwdruk gemaakt worden van alle vereiste procedures (technieken en methoden) die nodig zijn om het onderzoek uit te voeren. ! 4. Ten slotte is er een gedetailleerd tijds- en kostenbudget nodig. ! Bij exploratief/verkennend onderzoek wordt het terrein afgetast. Indien de onderzoeker nog niet in staat is om een concrete hypothesen te noteren, zal hij eerst aangaan welke cruciale aspecten van het probleem voor nader onderzoek in aanmerking komen. Exploratief onderzoek is dus vooral aangewezen in het begin van het (markt)onderzoeksproject, en heeft als doel tot inzichten te leiden die het formuleren van meer precieze hypothesen mogelijk maken. Bij conclusief/ toetsend onderzoek worden de gegenereerde hypothesen getest. ! Binnen beide onderzoeksmethoden kan een verdere opdeling gemaakt worden naar feitelijk en verklarend onderzoek. Feitelijk onderzoek is een onderzoek van feiten. Bij verklarend onderzoek worden vragen beantwoord over een bepaald gedrag of een bepaald attitude. ! Vo o r b ee l d : Wa t h e e f t hi j / z i j gekocht? (=feitelijk), waarom heeft hij/zij dat gekocht?(=verklarend)

Een gemeenschappelijk kenmerk van exploratieve opzetten is dat ze meestal veel minder formeel en veel minder aan de regels gebonden zijn dan convulsieve opzetten. Een belangrijk kenmerk van een exploratieve opzet is dat er gebruikt wordt gemaakt van secundaire bronnen, deze kunnen door het bedrijf zelf of van buitenaf komen. Deze informatie is meestal niet ‘precies op maat gesneden’ voor het beleidsprobleem. Een gevolg hiervan is het afbakenen van een onderzoeksprobleem (dit is stap 3 van figuur 3.1). Na het secundair onderzoek (en het beter omschrijven van de onderzoeksvraag) wordt er een primair exploratief onderzoek geformuleerd. Er zijn hier twee basisopzetten mogelijk:! 1. Het ondervragen van bevoorrechte getuigen: deze getuigen kunnen uit verschillende ladingen komen (bijvoorbeeld bedrijfsleiders, consumenten (hier zijn verschillende categorieën in: early adopters of lead customers) inkoopmanagers en dergelijke). 2. Gevalsstudie: een vorm van exploratie onderzoek. Er wordt hier een zo compleet mogelijke beschrijving van een bepaalde realiteit gegeven, en vanwege deze reden heeft getalsstudie in principe een grote interne validiteit. Hier wordt echter nie...