Stealth learning

Om serious games goed op de kaart te krijgen is onderzoek naar de effecten belangrijk. Zeker in economische tegenwind. Daarom is elk initiatief prachtig, zeker dat van Marije van Gent, onderzoeker bij centrum voor mondiaal burgerschap NCDO. In homo ludens beschrijft ze een onderzoek waarbij de effecten van de game 'On the ground reporter - Uganda'.

Honderden jongere spelers hebben meegedaan in het onderzoek, en hoewel door anonimiteit niet alle statistische verbanden konden worden gelegd, zijn er toch een paar heldere conclusies. Op sommige vlakken helpt deze game. Heb ik zelf ook ervaren door 'm te spelen trouwens: alleen al de reizen en straatbeelden dompelen je al helemaal onder.

Door de oogharen heenkijkend komt dit onderzoek tot soortgelijke conclusies als het meta-onderzoek van Tracy Sitzmann. Zij analyseerde een brede range onderzoeken en concludeerde dat games effectieve leermiddelen kunnen zijn, zeker als het aankomt op kennis en retentie ervan. 

Kennis? In eerste instantie vond ik dat heel gek: ik verwachtte vooral resultaten rond houding en motivatie. Games bieden mij vaak nieuwe inzichten en zetten me vaak op het verkeerde been. Als ontwerper ervaar ik vaak dat een game een uitstekende starter kan zijn van een verandertraject. Om spelers te verleiden zich bloot te geven en 'bewust onbekwaam' te maken. 

Bij nader inzicht is de conclusie toch wel logisch. Marije van Gent beschrijft het ook: op het vlak van houding is er niet zoveel effect omdat de spelers precies weten waar ze aan beginnen. De spash-screen en communicatie eromheen is zeer expliciet over het doel. Dat is te waarderen, maar wie niet geïnteresseerd is in Afrika zal niet aan de game beginnen. En andersom: 'preaching to the converted' dus. Jongeren die het spel willen gaan spelen hebben vooraf al meer inzicht in de voedselcrisis dan jongeren die niet geïnteresseerd zijn in de game.



Om aan te komen bij wie het echt nodig heeft is het slim om een metafoor of zelfs een dekmantel te gebruiken. Bij Bright Alley noemen we dat 'Stealth Learning': pas bij de clou in de game blijkt dan het leerdoel. Op dat moment heeft de speler al het natuurlijke gedrag laten zien, zonder sociaal wenselijkheid of weerzin.

Het is vaak even schrikken als de gevolgen van de eigen keuzes zichtbaar worden. Het gebeurt regelmatig dat medewerkers van bijvoorbeeld KPMG, gemeente Amsterdam of NS schaterlachen als ze merken dat Bright Alley achter zo'n 'stealth' oplossing zit die ze soms al jaren geleden hebben ervaren. Een veilige voedingsbodem om te gaan leren over 'low interest' onderwerpen als integriteit, compliance, veiligheid of duurzaamheid. Op onze nieuwe website staat een voorbeeld rond Akzo Nobel.

Gibbon

In de vooraankondiging leek het bijna te mooi om waar te zijn. Online leren via een leerpad dat een expert uitzet langs bestaande online leerbronnen. Uiteraard met allerlei sociale interactie eromheen. MOOC meets Pinterest. Deze nieuwe service heet Gibbon en komt uit Leiden.

De vormgeving is helemaal van nu, met veel wit en schuivende panels. Er is al aardig wat inhoud beschikbaar gezet, afgelopen maanden. Het werkt soepel, hoewel het aanklikken van de knop 'Learned' me nog niet intuïtief overkwam. Er is enige gamification bedacht, maar dat blijft nog erg eendimensionaal beperkt tot punten. En badges, misschien: "Along the way we might reward you with some badges".

Je kunt bijna net zo makkelijk een learning flow volgen als er zelf eentje maken, met lekkere browser plugins. De combinatie met andere, bestaande platforms wordt nog niet echt gezocht, behalve dat je via Twitter en Facebook studenten kunt werven.

Wat ik zelf direct merk bij het doorlopen van een flow is dat het vooral toch veel leeswerk is. Van prima kwaliteit, maar toch lezen. Ontwikkelaar Petar Radosevic licht desgevraagd toe dat nog gewerkt wordt aan het versteken van de functionaliteit rond video's.

Bij mij blijft het echter kriebelen: zeker ook voor online leren is interactie cruciaal. Feedbackloops via peers (bijvoorbeeld MOOCs) of ingeblikt (bijvoorbeeld e-learning) helpen om actief met de stof bezig te zijn en te oefenen met toepassen en gedrag. Zou zoiets ook laagdrempelig toe te voegen zijn, of verliest dit initiatief dan zijn charme en laagdrempeligheid?

Save the world!

"Oh ja, e-learning. Onze secretaresse klikt die modules hier op de afdeling altijd door." Het gaat me aan het hart als ik dit soort ervaringen hoor over online leren. Mensen die leren, zeker online leren, als een last in plaats van een ondersteuning. ik ga ervan uit dat ze daar alle reden toe hebben door de akelige modules die ze keer op keer moeten doorlopen, zonder het waarom goed te begrijpen. Het tradionele 'foie gras' leren. Nee, geef mijn portie dan inderdaad maar aan fikkie.

Zo zonde van de tijd  voor de lerende, of moet ik zeggen 'lerende'. Zonde van de moeite van de ontwikkelaar en zonde van het budget van de opdrachtgever. Zonde vooral omdat het zoveel beter kan, omdat het cynisme kweekt waar prachtige mogelijkheden liggen. Niet gesomberd, er zat inspirerende voorbeelden en frisse blikken.








Je ziet het er misschien niet aan af, maar Cathy Moore vind ik een superheld op dit vlak. Door haar focus op doen in plaats van kennis. Door het simpele action mapping in plaats van eindeloze taxonomie. Door de ervaring in plaats van informatie centraal te stellen. En door haar credo 'save the world from boring training'. Ze meent het.

Maslow onttroond

Voor leren en gedragsverandering zijn talloze modellen ontwikkeld, sommige zelfs op basis van enige research. Sinds een paar jaar gebruiken we bij Bright Alley een heel simpel model, dat vooral praktisch en herkenbaar is. Het bekende model van vier stadia van leren: onbewust bekwaam - bewust onbekwaam - bewust bekwaam - onbewust bekwaam. En misschien van de vierde fase wel weer doorlerend naar de eerste fase.

Zo'n eenvoudige praatkaart stimuleert inspirerende gespreken over 'leerbereidheid', scope en visie op leren. Het model staat aardig prominent als basis onder onze praatkaart.

Eroverheen geplot staan verschillende leerinterventies die we adviseren of ontwikkelen. De drie interventies prikkelen, leren en borgen laten deelnemers respectievelijk groeien naar nieuwe fases. Zelf leek het me zinnig om ook het onderscheid tussen limbisch systeem (onbewust, onderwater, systeem 1) en de neocortex (bewust, talig, systeem 2) ermee te verweven.

Collega Wesselien ontwikkelde een vrolijke variant die meer visueel en 'plakkend' was.

In dit geval vind ik de bruikbaarheid en herkenbaarheid belangrijker dan de research erachter, maar ik was toch wel benieuwd naar de bron. Van Maslow bleek dit model al snel niet afkomstig te zijn. Wel van een (on)zekere Noel Burch.

Wat ik pas recent ontdekte, is dat dit model ook als inspiratiebron dient voor interactieontwerpers en UX designers. Mooie basis onder leer-ervaring dus!

Way of Life

Lekker om op de fiets een file auto's in te halen. Op eentje stond het prikkelende 'Waterpolo is a way of life'. Stampend op de pedalen moest ik daar toch eens verder over denken. Hoe bedoelen die waterpolofans dat? Ze zijn zo gepassioneerd dat ze fietsen, eten, werken op een waterpolo-achtige manier? Gaan ze watertrappen als ze voor een stoplicht staan te wachten? Had die bestuurder de waterpolo-zender opstaan op de radio? Zegt hij 's avonds thuis: 'Schat, geef het zout eens aan', op een Waterpolo-achtige wijze? Ik ontdek er zelfs een campagne/shop/merk waarvan dat slechtoffer in de file stond.


Maar goed, hand in eigen boezem. In Delft als industrieel ontwerper opgeleid heb ik ooit rondgebazuind: "Alles is ontwerpen." Daar zijn volgens mij geen bumperstickers van, en da's maar goed ook. Design thinking heb ik nog steeds hoog, maar het is ook maar een bril die je op je neus zet natuurlijk.

Nee, als ik een credo moest kiezen zou er misschien toch staan "learning is the way of life". Of misschien playing? Dat zegt niet alleen iets over mijn werkleven, maar ook over hoe ik in het 'echte' leven sta. Tot en met het aangeven van het zoutvaatje toe. Benieuwd hoe fietsers me zouden inhalen met zo'n bumpersticker...

ING managementgame

De frequentie van bloggen valt terug, deels door getwitter, deels door druktes op het werk- en thuisfront. Daarom misschien wel makkelijk om eens een koekje van eigen deeg te bekijken, een project waarbij ik zelf betrokken ben geweest vanuit Bright Alley. Een managementgame voor ING die afgelopen week vertaald in Frans, Engels en Nederlands werd opgeleverd.

Binnen ING wilde het bedrijfsonderdeel ‘Operations&IT Banking’ zich beter en laagdrempelig profileren. ING-medewerkers moeten een duidelijker beeld krijgen van de dagelijkse praktijk van deze divisie: welke strategische en praktische dilemma’s komen om de hoek kijken bij het besturen van een IT-organisatie van een financiële instelling? Met de vraag voor een educatief spel wendde ING zich tot
Bright Alley.









In korte tijd (anderhalve maand) ontwikkelde Bright Alley een managementgame waarmee teams tijdens een voorlichtingsbijeenkomst de strijd met elkaar aangaan. Elk team wordt aangesteld als Chief Information Officer van de ‘Lion Bank’ en bepaalt aan welke projecten het jaarlijkse budget gespendeerd wordt. Wie opbrengst, risico en klanttevredenheid op langere termijn optimaliseert, wint het spel.









In het online spel lichten fictieve projectleiders hun project toe en reageren als de deelnemer een ander project dreigt te kiezen. Zo worden deelnemers uitgedaagd de projecten met elkaar in verband te brengen, worstelen ze met de dilemma’s van de Lion Bank en worden de deelnemers bij elke spelronde geconfronteerd met onverwachte incidenten.









Om de teams op weg te helpen, adviseren drie ‘stakeholders’ vanuit het perspectief van omzet, klanttevredenheid en risico. Meters en grafieken maken de langetermijn- consequenties van de gemaakte keuzes duidelijk. Bovendien ervaren de deelnemers de consequenties van hun keuzes via persoonlijke feedback van betrokkenen.









Naast hun eigen resultaten zien de teams een ranglijst met tussenscores van elkaar live voorbijkomen. Na vijf speelrondes ontvangt elk team een eigen rapportage met de valkuilen en leerervaringen, en wordt via een centrale ranglijst duidelijk wie de winnaar van het spel is.









Het spel biedt ING de volgende voordelen:
- Een centrale spelleider kan het spel eenvoudig beheren en laagdrempelig aanpassen.
- Bright Alley heeft het spel zó ontwikkeld dat het inzetbaar is op bijeenkomsten, bij afdelingscompetities en individuele leertrajecten.
- De game vormt een motiverende en hoogwaardige tool die ING flexibel en wereldwijd kan inzetten.

Post Mortem

Verfrissend om na een enerverend spel te reflecteren in een 'post mortem'. Bijvoorbeeld over de (leer)doelen en het gebruikte model. Zo had Molleindustria een prachtig nawoord bij Oligarchy. Bij het spel en gebruik(ers).












Van een eerder besproken begrotingsspel uit de verenigde staten is nu ook een uitgebreide evaluatie verschenen. Centraal staat hierbij niet zozeer de inhoud van 'Budget Hero', als wel de gebruiker: wordt de doelgroep goed bereikt, wat zijn de eigenschappen precies, hoe lang wordt gespeeld, wat zijn de uitkomsten en ervaringen?

David Rejeski is heel open over de gegevens. Best gemakkelijk om zo open te zijn over iets succesvol, natuurlijk:) Hij geeft inzicht in de ontwikkelingskosten (2 ton), de eigenschappen van de spelers (jong en politiek licht linksig) en hoe intensief het spel is gebruikt. Veel spelers, maar vooral verbazingwekkend weinig afhakers, gezien de saaiheid van het onderwerp.

Ook de door de spelers gemaakte keuzes passeren de revue. Welke doelen (badges) stelden de spelers centraal, en met welke ingrepen hebben ze die proberen te bereiken? Minder investeren in onderwijs, terugtrekken uit Iraq, en/of de BTW omhoog?












Interessant, maar het smaakt naar meer. Waarom niet, in het verlengde van de traditionele Kieswijzer, een simulatiespel spelen, en de gestelde doelen en keuzes onder water vertalen in een stemadvies? Of, nog een stapje verder, direct in een stem! Dat bespaart ons de stembusgang en oppervlakkige keuzes, gebaseerd op loze verkiezingsbeloften, lekkere kontjes, een kostbare campagne, mannetjesmakers en spindoctors.

Karmapunten

Mijn activiteiten voor de Rotterdamse Blijbrigade staan de laatste maanden op een laag pitje: ik laat het even aan de andere brigadiers over om blijdschap te verspreiden met onverwachte ludieke acties.












Rond dit soort kleine sociale acties wordt momenteel een veelbelovende Alternate Reality Game ontwikkeld. Akoha bevindt zich in de testfase, en wordt druk getest, maar heeft toch al flink wat airplay op de grote TV-stations, bij events en awards. Het spel werkt met opdrachten die van de een naar de ander gaan, en die naast blijdschap ook 'karma-punten' opleveren. Dat zorgt voor structuur, kader en een lief soort competitie in het spel. Er zijn allerlei video's, maar een stripje op de site legt het allemaal uit.












Naast internet zijn fysieke ontmoetingen essentieel, en die blijft, in dit Beta-stadium, vooral tot Canada en de VS beperkt. Voor niets gaat trouwens de zon op. Er zit zeker ook een commercieel aspect aan het spel. Kaartdecks kunnen binnen enkele weken gekocht worden.

Flow

Ik ben nog een beetje aan het bijkomen van een fascinerende TED-presentatie van David Perry. De indrukwekkende voorbeelden van de evolutie van game graphics zijn slechte een opmaat voor de kernvraag: "Will videogames become better than life?". In een prikkelende, persoonlijke docu brengt Michael Highland onder woorden (en beelden) welke impact games op z'n persoonlijke belevingswereld heeft, en op de maatschappij zal hebben.












Centraal in het verhaal staan de begrippen fun en flow, in een overtreffende trap. De fun en flow van een game die wij met Bright Alley maakten zijn laatst onderzocht, in het kader van een MBA-onderzoek. Twee managers bij Rabo, Erik Beekes en Johan Hutten, zetten een onderzoek uit naar het gebruik en effect van serious games binnen hun bedrijf. Een van de games die ze onderzochten was 'Rabo Mobiel', met een vrij eenvoudige spelvorm.










De belangrijkste uitkomsten van het onderzoek luiden in mijn eigen woorden:
- Rabo Mobiel en andere games vergroten kennis en beinvloeden attitude
- De lol en leerzaamheid van games zijn ONafhankelijk van leerstijl of leeftijd
- De beleving ('flow') tijdens het spelen beinvloedt het uiteindelijke (leer)effect sterk
- Het verleiden (en niet verplichten) tot deelname verhoogt het uiteindelijke effect

Jammer genoeg is het onderzoek beperkt gebleven tot het meten van de mening van de spelers. Honderden enquêtes geven een prima beeld, maar in termen van de classificatie van Kirkpatrick blijft dat niveau 1, terwijl het nog gissen blijft naar de hogere niveaus kennis (2), gedrag (3) en resultaat (4). Interesse in het hele onderzoek? Mail dan even.

Recommender Systems

Leuk om even stil te staan bij de ontwikkelingen van de sociale leeromgevingen. Naast alle goeds en hoopvols, zie ik ook een ondergewaardeerd ingredient: het automatisch, persoonlijk filteren van de informatiestroom. In het Engels recommender system. Al jarenlang wordt op allerlei sites bijgehouden wie wat hoe waardeert, om zo wat structuur en vooral filtering aan te brengen in de informatieberg. Het meest gebruikte voorbeeld is Amazon, met al z'n recensies en tips. Zelf vind ik tweakers.net fascinerend met het oog op de verschillende generaties moderators, moderators van moderators, etcetera.











In veel sociale leeromgevingen volg je wel personen, projecten of onderwerpen, het filteren is nog erg rudimentair op dit vlak. Je loopt zeker niet snel tegen onverwachte, maar daarom juist frisse, complemetaire en waardevolle zaken aan, behalve als je veel tijd in steekt in het rondgrazen. Terwijl juist het zeven van goudklompjes kennis uit die woestijn van informatie zo cruciaal is.

Afgelopen weken heb ik twee sites getest die op het vlak van recommender systems een stuk verder zijn. Allereerst het nieuwe intiatief van Ilse media: Goeie vraag. De site heet misleidend "Stel je vraag aan heel Nederland!"









Maar dat is nou juist wat er NIET gebeurt, er wordt zwaar gefilterd. Je meldt je aan als vragensteller of beantwoorder met een mailadres. Dat wordt vervolgens (als je niet uitkijkt) intensief gebruikt. Niet alleen om de reacties op je vraag of antwoord te vermelden, maar ook om je te wijzen op nieuwe mogelijk interessante zaken. Het systeem leert van je acties, of ze nu expliciet zijn (bijvoorbeeld het beoordelen van antwoorden op jouw vraag) of meer impliciet (bijvoorbeeld het doorklikken op een selectie van vragen die je wordt voorgelegd).

Wat verder toch ook in deze aanlooptijd wel aardig blijkt te werken is het waarderen, en vooral het behalen van punten en daaraan gekoppelde levels. Ik wilde bijvoorbeeld meteen stemmen op anderen, maar kreeg de melding 'Sorry, je moet niveau 2 zijn om te stemmen'. Het is in die zin wel wat geavanceerder dan het voorbeeld Google Answers dat van 2003 tot 2006 de weg bereidde voor veel expertsites als deze.

Ik heb zelf twee vragen voorgelegd, een luchtige ('waarom hebben varkens krulstaartjes?') en een inhoudelijk serieuze ('kan die populier worden geknot?'). Opvallend dat de antwoorden in dezelfde smaak zijn als de vraag: op de eerste vraag komen hilarische antwoorden, wat de site 'fun' maakt, bijvoorbeeld "Het kan zijn dat dit een soort bumper is. Als een ander varken ertegenaan loopt, dan veert dat mee." De tweede vraag is helemaal de andere pool, en leidt snel tot een serie meningen. Inhoudelijk relevant en interessant, maar helaas zeer tegenstrijdig. Zoals het hoort moet ik zelf de knoop (boom) doorhakken.










Meer verfrissend vind ik toch Hunch. Net gelanceerd door de oprichtster van Flickr, dus belast met hoge verwachtingen. Het is een frisse, strakke site die eigenlijk andersom werkt dan de reguliere expertsites hierboven. 'Alle' antwoorden zijn al geschreven, nu jouw vraag nog. Als je aangeeft over welk onderwerp je twijfelt en glij je via een beslisboom naar een antwoord.









Hoewel de praktijk natuurlijk (nog) iets minder rooskleurig is, is het toch verbluffend hoe geavanceerd het systeem in elkaar zit. De vragen en beslisbomen worden door gebruikers gemaakt, handmatig bijgeschaafd, en ook automatisch bijgeslepen, door de waardering van de antwoorden. De antwoorden bestaan uit een range aan opties, allemaal met voors en tegens beschreven, ook uiteraard weer door de gebruikers zelf. In de termen van Hunch ben je letterlijk een 'teacher'.

Bijzonder is de serie vragen die je als bezoeker krijgt voorgelegd om een profiel te vormen. Het lijkt een serie volstrekt willekeurige stellingen, bijvoorbeeld "Which of these lettuces would you usually prefer on a salad?", met sappige plaatjes erbij. Toen ik wat vragen serieus had ingevuld, bleek dat het systeem toch al snel voor mij relevante thema's kon filteren. Nou ja, op die ene na dan: 'Which breakup phrase should I use?' Het lukt zo snel, omdat ik lijk op anderen die voor mij een dergelijk profiel hadden, en die daarmee kennelijk ook dezelfde thema's interessant vonden.









Toen ik de ambitieuze en brede opzet hoorde, deed me denken aan het Chinese orakel I-tsjing. Een orakel is het nog net niet, maar het kan zeker groeien en geslepen worden tot een groeidiamant. De enige achillishiel, ook hierbij weer, blijft het initiatief en ambitieniveau van de bezoekers. Dat wordt gestimuleerd, onder andere met allerlei medailles. Ik heb 317 "banjo's" verdiend...