Tenta: Delkurs 4
Vad är utvärdering, varför görs det och hur?
Utvärdering är en systematisk undersökning för att bedöma värdet eller effekterna av en verksamhet, policy eller projekt.
Syfte:
Lärande: Förbättra verksamheten genom insikter.
Ansvarstagande: Visa resultat för finansiärer eller intressenter.
Beslutsfattande: Underlag för framtida beslut.
Vad är en enkät?
Ett strukturerat frågeformulär för att samla in data från en specifik målgrupp.
Viktiga aspekter:
- Tydligt syfte och målgrupp.
- Klara, icke-ledande frågor.
- Blandning av slutna frågor (enkla att analysera) och öppna frågor (fördjupade svar).
Problem som kan uppstå:
Bortfall: Låg svarsfrekvens.
Bias: Ledande frågor eller felaktigt urval.
Missförstånd: Oklara frågor.
Exempel: En arbetsmiljöenkät kan innehålla frågor som mäter trivsel, stressnivå och ledarskapskvalitet.
Statistik
Definition: Verktyg för att samla in, analysera och presentera data.
Beskrivande statistik: Summerar data med hjälp av medelvärde, median, standardavvikelse.
Analytisk statistik: Testar hypoteser, t.ex. regressionsanalys.
Kritisk granskning:
Fråga vem som har gjort statistiken och varför.
Titta på urval, metod, och presentation (finns det t.ex. missvisande diagram?).
Kopplingen mellan utvärdering, enkät och statistik
-En utvärdering använder enkäter för att samla data.
- Statistik analyserar enkätresultaten för att dra slutsatser.
Exempel: Vid en utvärdering av en utbildning används enkäter för att samla studenternas åsikter, och resultaten analyseras statistiskt för att identifiera förbättringsmöjligheter.
Utvärderingsprocessen – de fem faserna
Planering: Definiera syfte och mål.
Datainsamling: Välj metod (enkäter, intervjuer, etc.).
Analys: Tillämpa statistik och kvalitativa analyser.
Rapportering: Kommunicera resultat till intressenter.
Uppföljning: Använd insikterna för förbättring.
Utvärderingsmodeller
Formativ utvärdering: Under processens gång, för lärande.
Summativ utvärdering: Efter processens slut, för att bedöma resultat.
Lärande utvärdering: Betonar utveckling och kontinuerlig förbättring.
Styrkor och begränsningar:
Formativ utvärdering kan förbättra processen men kräver mer resurser.
Summativ är användbar för slutbedömning men fångar inte förbättringsmöjligheter under vägen.
Lärande utvärdering
Kännetecken:
1. Tidig start och löpande genomförande.
2. Närhet till deltagarna.
3. Fokus på återkoppling och omedelbar nytta.
4. Underlag för utveckling och allmän debatt.
Hur det drivs av lärande:
Forum för återkoppling och gemensam analys (Per-Erik Ellström).
Beakta kontextuella faktorer som ledningsstöd och vanor.
Utvärderarens roll (Interna och Externa)
Intern utvärderare:
Fördelar: Känner till organisationen väl.
Nackdelar: Kan vara partisk.
Extern utvärderare:
Fördelar: Objektivitet och ny insyn.
Nackdelar: Långsam inlärning om organisationens kontext.
Kirkpatrick-modellen
Kirkpatrick-modellen är en fyrstegsmodell som används för att utvärdera effekterna av utbildningar och träningsprogram.
Den är uppbyggd av av 4 faser:
1. Reaktion: Här mäter man hur stimulerande och relevant deltagarna fann utbildningen/lärandet/träningen var. Mäts ofta med en utvärdering konstruerat av frågor, som fokuserar på deltagarens upplevelse.
2. Lärandet: Mäter om deltagaren fått med sig den avsedda inlärningen av färdighet/självförtroende/attityd. Deltagren testas i detta för att kunna analysera resultat av lärandet.
3. Beteende: Här utvärderar man om deltagarna applicerar lärdomar i dag-till-dags arbete. Kan även mäta organisationens arbetskultur för att stimulera önskat förändrat beteende.
4. Resultat: Jämför slutresultatet med de uppsatta målen vid start. Mäter även positiva och negativa utkomster.
1. Reaktion (kirk)
Efter utbildningen fyller deltagarna i en enkät där de bedömer kursens innehåll, relevans och tränarens prestation.
Exempelresultat: 90 % av deltagarna säger att de uppskattade utbildningen och fann den engagerande.
2. Lärande (kirk)
Deltagarna testas före och efter utbildningen för att mäta förbättring i kunskap.
Exempelresultat: I genomsnitt förbättrar deltagarna sitt resultat på ett ledarskapsquiz med 25 %.
3. Beteende (kirk)
Tre månader senare observerar man om ledarna implementerar nya färdigheter, som att ge konstruktiv feedback.
Exempelresultat: 70 % av deltagarna rapporterar att de regelbundet använder de nya teknikerna för att leda sina team.
4. Resultat (kirk)
Man analyserar om utbildningen påverkat organisatoriska mål, som medarbetarnas engagemang eller produktivitet.
Exempelresultat: Medarbetarundersökningar visar en 15 % ökning i arbetsglädje, och produktiviteten i teamen ökar med 10 %.
Validitet
När vi mäter det som i sammanhanget är relevant. Det vill säga besvarar vår empiri den frågan vi har ställt, är frågorna valida i sammanhanget? Det handlar egentligen om att använda rätt sak, rätt fråga, vid rätt tillfälle.
Reliabilitet
Avser huruvida vi mäter på ett tillförlitligt sätt.
Pilotstudie
Är en mindre, förberedande undersökning som görs för att testa metoder, procedurer och genomförbarhet innan en större studie genomförs. Syftet är att identifiera och lösa problem samt samla in preliminära data.
Summativ bedömning:
Är en typ av utvärdering som används för att sammanfatta och bedöma en persons prestation eller kunskaper vid slutet av en viss period, kurs eller aktivitet. Den används främst för att ge ett helhetsomdöme, ofta i form av ett betyg, certifiering eller annan dokumentation.
Formativ bedömning
Är en typ av utvärdering som används kontinuerligt under en lärandeprocess för att ge återkoppling och stödja utveckling. Syftet är att identifiera styrkor och förbättringsområden för att främja lärande och justera undervisningen eller aktiviteten.
Exempel:
Feedback på inlämningsuppgifter under arbetets gång.
Diskussioner eller reflektioner om framsteg.
Självbedömningar och kamratbedömningar.
Till skillnad från summativ bedömning fokuserar formativ bedömning på processen snarare än slutresultatet och hjälper både läraren och den lärande att anpassa sitt arbete för att nå målen.
Nominalskala
Kategorisk skala: Data grupperas i kategorier som inte har någon inbördes ordning.
Ordinalskala
Ordnad skala: Data kan rangordnas, men skillnaderna mellan nivåerna är inte kvantitativa eller jämförbara.
Exempel: Betyg (A, B, C, D, F), smärtnivå (ingen, mild, måttlig, svår), attityder (instämmer helt, instämmer delvis, instämmer inte).
Intervallskala
Data har lika stora avstånd mellan värden, men ingen absolut nollpunkt (där "inget" av egenskapen existerar).
Exempel: Temperatur i Celsius eller Fahrenheit, kalenderår.
Statistik: Medelvärde, standardavvikelse, korrelation.
Kvotskala
Beskrivning: Data har en absolut nollpunkt, vilket innebär att det går att säga att något är "dubbelt så mycket" som något annat.
Exempel: Längd, vikt, ålder, temperatur i Kelvin.
Skalnivå
Skalnivå är ett begrepp inom statistik som beskriver hur data är strukturerad och vilka typer av operationer eller analyser som är lämpliga att utföra på dem. Skalnivåerna hjälper till att avgöra hur vi kan tolka data och vilken typ av statistiska metoder som är lämpliga att använda. Det finns fyra huvudsakliga skalnivåer:
Centralmått
Centralmått inom statistik är värden som beskriver en typisk eller central tendens i en datamängd. De används för att sammanfatta data genom att visa var "mitten" eller det mest representativa värdet ligger. Vanliga centralmått är:
Medelvärde: Det aritmetiska genomsnittet, beräknat som summan av alla värden dividerat med antalet värden.
Median: Det mittersta värdet när data är sorterad i storleksordning (eller medelvärdet av de två mittersta vid jämnt antal observationer).
Typvärde (Mod): Typvärde, även kallat modalvärde, är ett lägesmått inom statistiken som representerar det värde som förekommer flest gånger i en datamängd. Det används för att identifiera det mest typiska eller vanligaste värdet i en uppsättning data. En datamängd kan ha ett, flera eller inga typvärden beroende på hur ofta de olika värdena förekommer.
Typvärdet är särskilt användbart när man arbetar med kategoriska data eller när man vill identifiera det mest frekventa värdet i en fördelning. Det är ett av de tre vanligaste lägesmåtten, tillsammans med medelvärde och median.
Extern bortfall
Individer som inte deltar i studien alls.
Exempel: Personer som inte svarar på enkäten eller vägrar delta.
Internt bortfall
Saknade svar eller data från individer som deltar i studien.
Exempel: Frågor i en enkät som lämnas obesvarade.
Bortfall: Avhopp
När deltagare som påbörjat en studie slutar innan den är avslutad.
Exempel: Deltagare som lämnar en långsiktig undersökning eller klinisk studie.
Bias
Är en systematisk avvikelse som gör att resultat eller bedömningar inte speglar verkligheten korrekt. Det kan uppstå i olika sammanhang, exempelvis i forskning, dataanalys eller beslutsfattande, och påverkar hur information samlas in, tolkas eller används.
Urvalsbias: När urvalet inte representerar hela populationen.
B
ekräftelsebias: Tendensen att söka eller tolka information som bekräftar egna förutfattade idéer.
Observationsbias: När observationer påverkas av forskarens förväntningar.
Mätbias: Fel som uppstår vid insamling av data på grund av oprecisa verktyg eller metoder.
Planeringsprocess under utvärdering (5 faser)
1. Förberedelse och behovsanalys
2. Planering av utvärdering
3. Genomförandet och datainsamling
4. Analys och tolkning
5. Rapportering och uppföljning (eventuella felkällor)
Analytisk statistik (Infernentiell statistik)
Analytisk statistik syftar till att dra slutsatser, göra förutsägelser och testa hypoteser baserat på insamlad data. Det handlar om att använda statistiska metoder för att analysera data och dra slutsatser om en större population eller framtida händelser.
Kännetecken:
Hypotesprövning: En central del av analytisk statistik är att testa hypoteser. Detta innebär att man formulerar en hypotes (t.ex. om det finns ett samband mellan två variabler) och använder data för att avgöra om hypotesen kan accepteras eller förkastas.
Estimering: Genom analytisk statistik kan man använda stickprov för att uppskatta egenskaper (parametrar) hos en population, t.ex. medelvärden, andelar eller regression.
Generaliserbarhet: Analytisk statistik syftar till att dra slutsatser om en större population baserat på data från ett urval, vilket kräver att man kan generalisera resultaten.
Signifikansnivå: När man testar hypoteser används ofta en signifikansnivå (t.ex. p-värde) för att avgöra om resultatet är statistiskt signifikant eller inte.
Sannolikhetsbaserad: Den analytiska statistiken använder sannolikhetsmodeller för att dra slutsatser. Den fokuserar på att förstå osäkerheten och variationen i data.
Exempel på analytisk statistik:
T-test för att jämföra medelvärden mellan två grupper.
Regressionsanalys för att modellera relationen mellan variabler.
Korrelation för att undersöka sambandet mellan två variabler.
Deskriptiv statistik
Deskriptiv statistik syftar till att sammanfatta och beskriva de viktigaste egenskaperna hos en uppsättning data. Det handlar om att presentera data på ett överskådligt och förståeligt sätt utan att göra några slutsatser om en större population.
Kännetecken:
Sammanfattning av data: Deskriptiv statistik sammanfattar data med hjälp av olika mått och diagram för att ge en snabb översikt av datamängden.
Centralmått: Deskriptiv statistik använder centrala mått som medelvärde, median och typvärde för att beskriva det "typiska" värdet i datan.
Spridningsmått: Den mäter hur spridd eller koncentrerad datan är med hjälp av mått som standardavvikelse, varians, range och kvartiler.
Visualisering: Deskriptiv statistik inkluderar ofta grafiska representationer som histogram, stapeldiagram, cirkel diagram eller boxplot för att visualisera data.
Inga slutsatser om populationen: Den beskriver endast datan i det aktuella urvalet utan att göra några generaliseringar om hela populationen.
Exempel på deskriptiv statistik:
Medelvärde: Genomsnittet av en datamängd.
Standardavvikelse: Mått på hur mycket data sprider sig från medelvärdet.
Histogram: En graf som visar frekvensen av olika värden i en datamängd.
Skillnader mellan deskriptiv och analytisk statistik
Analytisk statistik (inferentiell statistik) används för att dra slutsatser om en större population baserat på ett stickprov. Den involverar hypotesprövning, sannolikhet och estimering.
Deskriptiv statistik handlar om att sammanfatta och beskriva data på ett överskådligt sätt utan att göra generaliseringar. Den fokuserar på att presentera centrala mått, spridning och visualisering.
Båda typerna av statistik är viktiga och kompletterar varandra i statistiska analyser och beslut.
Diagram som lämpar sig för: Kvalitativa variabler med begränsade antal värden
För kvalitativa variabler med ett begränsat antal värden (t.ex. kön, färger, typer av produkter) passar följande diagram:
Stapeldiagram: Ett stapeldiagram används för att visa frekvenser eller proportioner av de olika kategorierna för kvalitativa variabler. Varje kategori representeras av en stapel, och höjden på stapeln motsvarar antalet observationer i den kategorin.
Cirkeldiagram (eller pajdiagram): Detta diagram visar fördelningen av olika kategorier som en del av ett helt. Varje kategori representeras som en "skiva" i cirkeln, vilket gör det lätt att visualisera förhållandet mellan olika kategorier.
Diagram som lämpar sig för: Att åskådliggöra spridningen
För att åskådliggöra spridningen av data (t.ex. variation eller spridning runt ett medelvärde) används följande diagram:
Boxplot (eller låddiagram): Boxplot är ett bra val för att visa spridningen av data, inklusive medianen, kvartilerna, samt eventuella extrema värden (outliers). Det ger en visuell översikt av datans fördelning och spridning.
Histogram: Ett histogram kan också användas för att visa spridningen av kvantitativa data genom att dela upp data i intervall och visa hur många observationer som faller inom varje intervall.
Spridningsdiagram (eller scatter plot): Om du vill visa sambandet mellan två variabler och även spridningen för dessa, används ett spridningsdiagram. Det visar varje datapunkt som ett punktsymbol i ett tvådimensionellt koordinatsystem.