5. Delfoi-manageri

Toni Stubin & Hannu Linturi

Delfoin laukaisee liikkeelle kehitystarve tai tutkimusongelma, jonka kuvaus määrittää prosessin seuraavat vaiheet. Delfoi-managerin eli tutkijan tehtävä on ensi vaiheessa jäsentää, rajata ja linjata tutkimuskysymykset yhdessä mahdollisen tutkimuksen tilaajan kanssa. Manageri vastaa tutkittavan tai kehitettävän ilmiön määrityksestä, joka onnistuneena energisoi koko tutkimusprosessin. Sen jälkeen on kaksi rinnakkaista tehtävää, joita tässä jutussa tarkastellaan. Toinen on asiantuntijapaneelin valitseminen ja toinen niiden kysymysten tai tulevaisuusväitteiden rakentelu, joista Delfoi-paneelin toiminta käynnistetään. Managerin tehtävät toki jatkuvat niidenkin jälkeen, mutta niitä - prosessin fasilitointi, aineiston analyysi ja raportointi - käsitellään tulevissa blogeissa. 

Paneelin kokoaminen

Kun tutkimus- tai kehittämiskysymys on määritelty, manageri aloittaa paneelin valitsemisen. Tavoitteena on löytää osallistujat, joiden asiantuntemus ja asianosaisuus kattavat tutkittavan ilmiön olennaiset puolet. Taiten valitussa paneelissa on edustus kaikille varteenotettaville tulevaisuusvaihtoehdoille, joita aiheesta voi syntyä. Englanninkielisessä metodikirjallisuudessa käytetään paneelin luokittelussa usein termejä cognitive expertise (tiedollinen, ymmärteinen asiantuntijuus) ja social expertise (sosiaalinen, yhteyksellinen asiantuntijuus). Managerilla on oltava ainakin kohtalainen asiantuntijuus kummassakin, jotta hän pystyisi sekä valitsemaan oikean asiantuntijakokoonpanon että myös ohjaamaan paneelin toimintaa tutkimuksen aikana. Manageri on kuin kapellimestari, jonka on ymmärrettävä kunkin soittimen mahdollisuudet voidakseen johtaa orkesteria menestyksellisesti. Paneeli on sitten se varsinainen orkesteri, joka tuottaa musiikin.

Managerin tärkein yksittäinen tehtävä on kartoittaa ilmiöön liittyvät asiantuntijuudet ja asianosaisuudet ja valita sen pohjalta panelistit. Esimerkiksi Delfoi-väitöksissä paneelin kokoonpano on poikkeuksetta metodin käytön ja luotettavuuden kannalta keskeinen tekijä, jonka käsittelyssä kannattaa varautua kiperiinkin vastaväittäjän kysymyksiin. Jos jokin oleellinen asiantuntijaryhmä puuttuu tai on aliedustettuna paneelissa, tutkimuksen luotettavuus voi kyseenalaistua. Paneelia kootessa kannattaakin käyttää runsaasti aikaa ja ajatusta hyvän ja riittävän monipuolisen asiantuntijamatriisin luomiseen. Tarkemmin paneelin valintaa on käsitelty sarjan edellisessä blogissa.

Paneelin kokoamiseen liittyvä moniäänisyys antaa managerille mahdollisuuden vahvistaa paneelin osallistumista ja vuorovaikutusta. Tässä edellä mainittu sosiaalinen asiantuntijuus on tarpeen. Jos paneeliin ei muodostu elävää keskustelua, argumentointia ja dialogia, sen tulokset jäävät helposti laihoiksi. Hyvin koottuihin paneelihin modostuu luonnollisia näkökulmiin, tietämykseen ja intresseihin liittyviä jännitteitä. Niiden avulla managerille syntyy luontevia tilaisuuksia kommunikoida panelistien ja aineistojen kanssa.

Managerin fasilitoimassa paneelin vuorovaikutuksessa saattaa olla piirteitä sekä debatista että dialogista, vaikka jälkimmäinen on varsinaisesti se mihin Delfoilla pyritään. “Oikeassa oleminen ja voittaminen muodostavat debatin perusdynamiikan, joka on usein voimakkaampi kuin tarve löytää paras ratkaisu. Debatissa väittely voidaan voittaa tai hävitä, mutta dialogissa ei ole voittajia tai häviäjiä. Dialogissa ei ylipäätään ole tarkoitus olla oikeassa tai väärässä.” (Holm, Poutanen, Ståhle 2018) Määrittelystä tunnistaa vielä hyvin dialogi-sanan alkuperäisen etymologian. Kreikan kielinen etuosa “Dia” tarkoittaa “kautta” ja “logos” merkitsee “sanaa” tai “merkitystä”. Dialogissa muodostetaan merkityksiä sanojen kautta. Delfoi-menetelmänkin evoluutiota inspiroinut sokraattinen metodi on tästä mainio esimerkki.

Manageri voi asettaa itselleen neljä tavoitetta, joilla paneelista saa aidosti dialogisen. Onnistuneessa Delfoi-manageroinnissa 

  1. panelistit kokevat itsensä tasa-arvoisiksi, mikä tietysti varmistetaan anonyymillä osallistumisella.
  2. dialogia tuetaan korostamalla toisten panelistien lukemisen ja “kuuntelun” merkitystä. Kuuntelun tärkeä tuntomerkki on se, että panelistit pystyvät uudelleen arvioimaan omia näkökulmiaan.
  3. Delfoi-panelistien toivotaan olevan halukkaita omien taustaoletustensa tarkasteluun ja kyseenalaistamiseen. Panelistin sosiaalisen kompetenssin (intressi, asianosaisuus) tarkastelu valottaa tätä puolta jo panelisteja valittaessa. 
  4. dialogi edellyttää riittävää keskinäistä luottamusta kahteen asiaan: toisaalta siihen, että toisilta saatu tieto on arvokasta, ja toisaalta siihen, että osallistujiin voi ihmisinä luottaa. Jos toinen näistä ulottuvuuksista puuttuu, vuorovaikutuksen määrä ja laatu jäävät vähäisiksi. Luottamuksen rakentaminen on managerin tehtävä.

Kyselyn rakentaminen

Ennen kuin panelistit kutsutaan mukaan sähköiseen paneeliympäristöön, managerin pitää rakentaa yksi tai useampia tulevaisuuskysymyksiä. Kun kysymykset tähtäävät tulevaisuuteen – jolloin niillä ei ole totuusarvoa – ne tulee muotoilla niin, että panelistien näkemykset pääsevät jakautumaan ilman, että mitään vaihtoehtoa nostetaan toisen edelle. Tutkimuksen voi helposti “pilata” tässä vaiheessa tekemällä liian johdattelevia kysymyksiä.

Hyvät kysymykset ovat avoimia, selkeitä, kiinnostavia ja mielipiteitä jakavia. Tällainen kysymys houkuttelee paitsi vastaamaan myös perustelemaan omia vastausvalintoja. Vaikka kysymys sijoitetaan tulevaisuuteen, sen juuret aina ovat nykyhetkessä ja -kokemuksessa. Antisipaatioteoriassa aikojen kytky ilmaistaan oivaltavasti. Sen mukaan ongelma tai ilmiö viedään tulevaisuuteen tarkasteltavaksi, jotta se voidaan tuoda sieltä takaisin nykyhetkeen ratkaistavaksi.

Olennainen osa kysymysten rakentelua on löytää sopiva kysymystyyppi eri tilanteisiin. Osa kysymyksistä poikkeaa totutuista muodoista. eDelphi-alustalla on käytössä toistakymmentä kysymystyyppiä, jotka voi jakaa neljään eri ryhmään niiden tarkoituksen mukaan.

Peruskysymys-kategoriaan kuuluvat selittävät ja taustoittavat kysymyselementit. Vaihtoehdoista tekstikenttä on itse asiassa kevyt editori, jossa voi paitsi muokata tekstiä eri tavoin myös yhdistää dokumenttiin mediaa (kuva tai video) sekä linkkejä. Survey-kyselyiden kanssa identtinen on lomake, jota usein käytetään taustatietojen keräämiseen. Lomakkeeseen voi taittaa kolmenlaisia kysymyksiä: teksti, muistio tai valinta. Delfoille erityinen taustakysymys on asiantuntijuusluokittelu, jossa vastaajat itse määrittelevät oman asiantuntijuutensa laatua. Tämä ei korvaa managerin ennen tutkimuksen alkua tekemää asiantuntijamatriisia, mutta voi antaa kiinnostavaa tietoa siitä, miten panelisti itse kokee oman asiantuntemuksensa ja osallisuutensa.

Asteikkotyyppiset väitteet ovat Delfoille kaikista ominaisimpia ja yleisimpiä kysymyksiä. Niissä kysymysteesiin otetaan kantaa ns. Likert-asteikolla, jonka pituuden ja arvot manageri määrittelee. Tavallisia ovat esimerkiksi viisi- tai seitsenportainen asteikko (erittäin samaa mieltä … erittäin eri mieltä). Kysymykseen voi sisällyttää yhden tai kaksi kriteerimuuttujaa erilaisin yhdistelmin. Kriteerimuuttujat ovat olennainen osa asteikkokysymystä. Niiden perusteella arvioidaan väitteen sisältöä. Yleisimpiä arviointimuuttujia ovat todennäköisyys, toivottavuus, merkityksellisyys, tärkeys ja toteutettavuus, joista kaksi ensimmäistä muodostavat suosituimman yhdistelmän. eDelphissä on viisi skaalakysymystyyppiä, joista yksi on suunniteltu tukemaan erityisesti Live- ja online-tilanteissa tapahtuvaa äänestämistä, kommentointia ja analysointia.

Ennakointikysymykset ovat Delfoille tyypillisiä tulevaisuuteen suuntautuvia kysymystyyppejä. Niistä tärkein on aikasarjakysymys. Se sopii trendikysymyksiin, joista on numeerista historiatietoa. Aikasarjakysymyksessä manageri syöttää historiadatan - usein vuositasolla - kysymyksen pohjaksi ja panelisti puolestaan arvioi, miten kehitys jatkuu tästä eteenpäin. Kysymys näyttää aikaisemman kehityksen viivakaaviona, johon panelisti muodostaa valinnoillaan arvioimansa tulevan kehityskäyrän. Aikasarjakysymys on panelisteille mieluinen ja neutraali tulevaisuuskysymys, jossa on mahdollista ottaa kantaa sekä ylös että alas tai jopa käyräviivaiseasti, jos mittauspisteitä on kolme tai useampia. Aikajanakysymystä käytetään usein teknologiaennakoinnissa. Siinä panelisteja pyydetään arvioimaan jonkin ilmiön toteutumisen - esimerkiksi sähkölentokoneen läpimurron - ajankohtaa vuositasolla. Vastaajalle voidaan myös tarjota vaihtoehdoksi määritellä aikaikkuna, jossa ilmiö toteutuu eli merkitä aikaisin ja myöhäisin mahdollinen ajankohta.

Jäsentelykysymyksiä käytetään usein orientoimaan ja kontekstoimaan paneelia tarkasteltavaan ilmiöön. Kaikissa niissä on kyse jonkin ominaisuusjoukon luokittelusta. Järjestyskysymyksessä ominaisuudet luokitellaan jonkin kriteerin mukaan peräkkäiseksi jonoksi esimerkiksi tärkeimmästä vähiten tärkeään. Ryhmittelykysymyksessä ominaisuudet sijoitetaan managerin määrittelemiin kategorioihin, kuten nouseviin, laskeviin ja ennallaan pysyviin. Monivalintakysymys on survey-tutkimuksista tuttu kysymystyyppi, jossa valitaan listalta yksi tai useampia vaihtoehtoja.

Monet hyvän kysymyksen tuntomerkit – kuten yksiselitteisyys ja ymmärrettävyys – ovat samoja kuin tavallisissa kyselytutkimuksessa. Osa taas on tyypillisiä erityisesti Delfoi-tutkimukselle. Tällaisia laatuja ovat esimerkiksi kiinnostavuus, tunneyhteyden syntyminen, yllätyksellisyys ja kyky jakaa vastaajien näkemyksiä. Kaikkien kysymysten ei tarvitse täyttää kaikkia mahdollisia kriteereitä, mutta paneelin käynnistymisen ja syttymisen kannalta kosketukset panelistien intellektuaaliseen ja emotionaaliseen persoonaan ovat myönteisiä. Myös kyselyn dramaturgiaa kannattaa miettiä. Ensimmäiseksi kannattaa laittaa kiinnostava ja helposti vastattava “lämmittelykysymys”, joka pakottaa asiantuntijan pohtimaan vastaustaan mutta mahdollistaa myös nopean etenemisen. Saman aihealueen kysymyksiä kannattaa ryhmitellä peräkkäin, ja mielenkiintoa on hyvä herätellä sijoittamalla poleemisia kysymyksiä tasaisin välein. Kysymysten lukumäärään kannattaa kiinnittää huomiota, sillä pitkissä kysymyssarjoissa motivoituneenkin panelistin vire herpaantuu loppua kohden. Viimeisiin kysymyksiin saatetaan vielä jaksaa vastata, mutta usein kommentointihalukkuus hiipuu, mitä pitemmälle kysely etenee - ja silloin arvokasta laadullista tietoa jää saamatta. Hyvä enimmäispituus yhdelle paneelille tai paneelikierrokselle on noin kymmenen kysymystä.

Ehdoton ennakkoehto hyvälle dialogille on, että vastaajat luottavat anonyymisyyden toteutumiseen. Toinen luottamuksen laatu on tärkeä motivoitumisen kannalta eli luottamus siihen, että saa muilta panelisteilta ja prosessilta itselleen inspiraatiota, oivallusta ja ymmärrystä. Panelisti motivoituu parhaiten, kun hän tuntee saavansa paneeliin osallistumisesta myös jotain itselleen.

Helppoa kysymysten muotoilu ei ole. Kysymysten rakentaminen palkitsee sinnikkäät, jotka jaksavat hioa kysymyksiä testivastaajien kanssa. Kokeneen tutkijan erottaa aloittelijasta usein se, että jälkimmäinen ei vielä osaa katsoa yhden kierroksen yli jatkoprosessiin saati mahdollisuuksiin käyttää prosessissa paneelin rakenteeseen liittyvää dramaturgiaa. 

Nyrkkisääntö on, että tekstiä muotoiltaessa tulevaisuusväitteet kirjoitetaan indikatiivimuotoon ikään kuin väitteessä kuvatut asiat olisivat todellisuudessa tapahtuneet (esimerkiksi “Vuonna 2035 joka kolmannella suomalaisella perheellä on lentävä auto”). Panelistille pitää toistuvasti muistuttaa, että väite kuvaa tiettyä tulevaisuuden hetkeä ja siinä tapahtuvaa (kuviteltavaa) toimintaa tai ilmiötä. Panelistiasiantuntijan tehtävä on ensin ottaa kantaa asteikolla väitteen todennäköisyyteen ja toivottavuuteen ja sen jälkeen perustella vastausvalintaansa kommenttilaatikossa. Panelisteja kannattaa jokaisen kysymyksen kohdalla vielä erikseen kannustaa vastaamaan ja perustelemaan vastauksensa - sekä tietysti osallistumaan keskusteluun muiden kanssa.

eDelphi-alustalla managerilla on monia keinoja operoida kysymyksiä ja kyselyitä. Jokainen kysymys - ja kysely - on joko näkyvissä tai piilossa. Piirre mahdollistaa sen, että Delfoi-kierroksen sisältöjä voi rytmittää ennakkosuunnitelman tai tilanteen mukaan. Paneeliin voidaan myös lisätä kysymyksiä, kun mahdollista uusia tulevaisuusväitteiden aiheita nousee esiin paneelista. Yksittäisen kysymyksen osalta optioita on muitakin. Kommentointi on mahdollista erikseen avata tai sulkea.

Samoin voi tehdä muiden vastausten näkymiselle, jossa on kaksi eri ominaisuutta. Kustakin kysymyksestä voidaan avata näkymä summatiiviseen näkymään (diagrammi, joka näyttää panelistien vastausten jakautumisen) ja toisaalta kaikkiin kommentteihin, mikä avaa panelistille mahdollisuuden myös kommentoida muiden panelistien kommentteja. Keskusteluketjujen syntyminen dialogisoi Delfoi-prosessin ja on jokaisen Delfoi-managerin palkinto onnistuneesta prosessista. Yleensä kannattavinta on mahdollistaa kommentointi jokaisen kysymyksen kohdalla ja myös näyttää kaikkien kommentit.

Tavallinen kysymyksen teon ansa on tuottaa suostuttelevia piilomerkityksiä. Usein manageri itse edustaa tarkasteltavan ilmiön asiantuntija- ja intressitahoa, mikä voi vaikuttaa kysymysten aihepiirin valintaan ja suuntaan, tai jopa itse kysymyksen muotoiluun. Negatiivisia teesejä vältellään hyvästä syystä (vastaaja sekoittaa helposti vastauksen suunnan, kun kysytään kielteisesti), samoin jollekin intressisuunnalle kallistuvia provokatiivisia väitteitä. Kärkeviä kysymyksiä itsessään ei tarvitse pelätä, koska vastaajalla on useimmiten käytössään asteikko, jolla hän voi suhteuttaa väitteen haluamakseen. Kärkevä teesi on omiaan herättämään kiinnostusta ja motivaatiota. Panelistien tulevaisuustoleranssia voi lisätä ennakkoinformoinnilla, jolla avataan vastaajien mieliä vaihtoehtojen pohdiskelulle ja keskusteluille muiden kanssa. Kysymyksiin voi lisätä runsaastikin taustatietoa ajattelun tueksi.

Käytännön tehtäviä on kysymyksiin vastaamisen ohjeistaminen sekä ennen kyselykierrosta että sen aikana. Sopivassa vaiheessa manageri avaa vastaukset reaaliaikaisina paneelin keskusteltavaksi. Panelisti puolestaan voi missä tahansa prosessin vaiheessa tarkistaa tai muuttaa vastauksiaan kuten myös pyrkiä vaikuttamaan muiden panelistien vastaamiseen. Vastaukset ja kommentit ovat kaikissa vaiheissa anonyymejä, jottei vastaajan asemalla tai roolilla ole vaikutusta mielipiteiden muotoutumiseen. Manageri tekee myös valinnan - jo ennen tutkimukseen ryhtymistä - siitä, ohjaako hän panelisteja ja prosessia kohti konsensusta vai tuottamaan argumentteja erilaisten tulevaisuuksien puolesta ja vastaan. Tämä riippuu paljon tutkimuksen tavoitteesta: toimintasuunnitelmaa laadittaessa konsensus voi olla hyvä tavoite, kun taas skenaarioiden luomisessa erilaiset argumentit antavat tavallisesti parasta aineistoa.

Ensimmäisen kierroksen tulosten perusteella manageri laatii toisen kierroksen kyselylomakkeen, joka syventää, laajentaa tai fokusoi edellisen kierroksen aiheen käsittelyä ja argumentointia. Useimmiten Delfoi-kierroksia toteutetaan kahdesta neljään. Kierrosten välissä ja luonnollisesti tutkimusprosessin lopuksi manageri analysoi ja raportoi tutkimustulokset ja/tai kehittämisehdotukset, jotka kehittämishankkeissa usein muodostavat perustan päätöksenteolle. 

Mahdollinen on myös niin sanottu kierrokseton eli tosiaika-Delfoi, jossa vastaajat voivat paneeliin aukioloaikana käydä vastaamassa, osallistumassa keskusteluihin ja tarvittaessa myös muuttamassa vastauksiaan, mutta uusia kierroksia ei järjestetä. Tosiaika-Delfoissa managerin on ylläpidettävä panelistien mielenkiintoa palata kyselyn pariin myös ensimmäisen vastauskerran jälkeen. Tämän voi tehdä esimerkiksi lähettämällä panelisteille viestejä, joissa kerrotaan paneelin kulusta ja nostetaan esiin kiinnostavia havaintoja esimerkiksi vastausten jakautumisesta siihen mennessä ja kiinnostavista argumenteista.

Delfoi-kierrostamista ja aineiston analyysia käsitellään seuraavissa blogijutuissa! 

Kirjallisuutta

  1. Airaksinen Tiina, Halinen Irmeli, Linturi Hannu (2016) Futuribles of Learning 2030  – Delphi supports the reform of the core curricula in Finland. European Journal of Futures Research. Special topic: Education 2030 and beyond. Internet https://link.springer.com/article/10.1007/s40309-016-0096-y. 
  2. Bell, Wendell (1997, 2003) Foundations of futures studies, Vol I-II, New Brunswick: Transaction Books.
  3. The Delphi Technique: Past, present and future prospects. Technological Forecasting and Social Change, Volume 78, Issue 9, Pages 1487-1720 (November 2011)
  4. Dimitrow, Maarit (2016) Development and Validation of a Drug-Related Problem Risk Assessment Tool for Use by Practical Nurses Working with Community-Dwelling Aged. Helsingin yliopisto, farmasian tiedekunta. Helsinki. Verkossa https://helda.helsinki.fi/handle/10138/167914
  5. Gordon, T.J. (2008) The Real-Time Delphi Method. The Millennium Project. Futures Research Methodology – V3.0. Verkossa http://www.millennium-project.org/FRMv3_0/05-Real-Time_Delphi.pdf .
  6. Holm, Ruurik, Poutanen, Petro, Stähle, Pirjo (2018) Mikä tekee dialogin: Dialogisen vuorovaikutuksen tunnuspiirteet ja edellytykset. Sitra-artikkelit 26.11.2019. Verkossa https://www.sitra.fi/artikkelit/mika-tekee-dialogin-dialogisen-vuorovaikutuksen-tunnuspiirteet-ja-edellytykset/ .
  7. Kauppi, Antti (2020) Uudistavan oppimisen lähtökohtia (video). Internetissä https://youtu.be/ErtiB1ow5tc .
  8. Kauppi, Antti ja Linturi, Hannu (2018) Kansalaisfoorumin viisi tulevaisuutta. Internetissä https://metodix.fi/2018/11/30/kansalaisfoorumin-viisi-tulevaisuutta/ .
  9. Korhonen-Yrjänheikki, Kati (2011) Future of the Finnish Engineering Education – A Collaborative Stakeholder Approach. ISBN 978-852-5633-48-1. TEK. Miktor. Helsinki. Verkossa  http://www.tek.fi/ci/pdf/julkaisut/KKY_dissertation_web.pdf.
  10. Kuusi, Osmo (2000) Delfoi-metodi. Internetissä https://metodix.fi/2014/05/19/kuusi-delfoi-metodi/ .
  11. Kuusi, Osmo (1999) Expertise in the Future Use of Generic Technologies. Epistemic and Methodological Considerations Concerning Delphi Studies. Interneissä http://bit.ly/3ayzN4e .
  12. Laakso, Kimmo (2011) Matkaviestinnän sääntely ja sen vaikutukset Suomessa 1985–2015 . Tampereen teknillinen yliopisto. Julkaisu 965. ISBN 978-952-15-2570-4. ISBN 978-15-2597-1. Tampereen yliopistopaino Oy. 2011. Verkossa http://dspace.cc.tut.fi/dpub/handle/123456789/20535.
  13. Linturi, Hannu & Rubin, Anita (2011) Toinen koulu, toinen maailma. Oppimisen tulevaisuus 2030. Turun yliopiston Tulevaisuuden tutkimuskeskus. Tutu-julkaisu 1/2011.
  14. Linturi, Hannu, Rubin, Anita, Airaksinen, Tiina (2012) Lukion tulevaisuus 2030 – Toinen koulu, toinen maailma. Otavan Opiston Osuuskunta. 978-952-6605-00-5 (pdf), ISSN-L 2242-1297, ISSN 2242-1297.
  15. Linturi, Hannu, Linturi, Jenni ja Rubin Anita (2013) eDelphi – metodievoluutiota verkossa. Metodix https://metodix.fi/2014/11/26/edelfoi-metodievoluutiota-verkossa/ .
  16. Linturi, Hannu, Rubin Anita (2014) Metodi, metafora ja tulevaisuuskartta. Futura 2/2014.
  17. Linturi, Hannu (2007) Delfoin metamorfooseja. Futura 1/2007.
  18. Linturi, Hannu (2017) OPH:n Oppimisen tulevaisuus 2030-barometri. Internetissä https://metodix.fi/2017/01/11/oppimisen-tulevaisuus-2030-blogi-2017/ (https://metodix.fi/2016/12/31/oppimisen-tulevaisuus-2030/) .
  19. Linturi, Hannu (2020) Delfoin monet tarkoitukset. Metodix  https://metodix.fi/2020/03/08/delfoin-tarkoitukset/ 
  20. Linturi, Hannu (2020) Delfoi-prosessin vaiheet. Metodix 
  21. Linturi, Hannu (2020) Delfoi-pedagogia. Internetissä https://metodix.fi/2019/11/15/delfoi-pedagogia/.
  22. Linturi, Hannu (2020) Ilmastot@komo: viisi työkalua ilmastokasvatukseen. Internetissä https://metodix.fi/2019/12/01/ilmastotakomo/ .Rand (2020) Delphi Method https://www.rand.org/topics/delphi-method.html 
  23. Myllylä, Yrjö (2007) Logistic and Social Future of the Murmansk Region until 2020. Joensuun yliopisto, Yhteiskunta- ja aluetieteiden laitos. Joensuu. Verkossa http://joypub.joensuu.fi/publications/dissertations/myllyla_murmanskin/myllyla.pdf.
  24. Paaso, Aila (2010) Osaava ammatillinen opettaja 2020. Tutkimus ammatillisen opettajan tulevaisuuden työnkuvasta. Rovaniemi: Lapin yliopisto 2010, Acta Universitatis Lapponiensis 174. ISBN 978-952-484-348-5. ISSN 0788-7604.
  25. Rubin, Anita (2007) Pehmeä systeemimetodologia. Internetissä https://metodix.fi/2014/05/19/rubin-pehmea-systeemimetodologia/ .
  26. Soini-Salomaa, Kristiina (2013) Käsi- ja taideteollisuusalan ammatillisia tulevaisuudenkuvia. HY. Käyttäytymistieteellinen tiedekunta. Helsinki. Verkossa https://helda.helsinki.fi/handle/10138/41734 
  27. Sunell, Otto (2016) Turvallisuuskulttuuri julkisen hallinnon organisaatiossa vuoteen 2025 tultaessa: Nykytilan kartoitus ja neljä skenaariota. Tampereen teknillinen yliopisto. Tampere.  Verkossa https://tutcris.tut.fi/portal/en/publications/turvallisuuskulttuuri-julkisen-hallinnon-organisaatiossa-vuoteen-2025-tultaessa(d16cf10d-2d88-4bcb-8dad-62349f74bf36).html .
  28. Tapio, Petri (2002) The limits to traffic volume growth : The content and procedure of administrative futures studies on Finnish transport CO2 policy. Internetissä https://helda.helsinki.fi/handle/10138/22446 .
  29. Tapio, P. (2002) Disaggregative policy Delphi Using cluster analysis as a tool for systematic scenario formation. Technological Forecasting and Social Change.
  30. Turoff, Murray (2002) The Delphi Method, Techniques and Applications. Internetissä  https://web.njit.edu/~turoff/pubs/delphibook/delphibook.pdf .
  31. Valtonen, Vesa (2010) Turvallisuustoimijoiden yhteistyö. Maanpuolustuskorkeakoulu, taktiikan laitos. Julkaisusarja 1, Helsinki. Verkossa http://www.doria.fi/handle/10024/74154 .