Logo: to the web site of the Swedish Defence University

I denna rapport presenterades den pedagogiska utveckling som genomförts inom metodkurser i ämnet Ledarskap under påfrestande förhållanden, och analyser av examinationers validitet och reliabilitet. Analys av kursvärderingar för tidigare metodundervisning, kursplaner och litteratur låg till grund för planeringen av Beteendevetenskaplig metod I och II. En pedagogisk modell för metodundervisningen utarbetades utifrån studenternas förkunskaper, behov och attityder, i planeringen didaktiserades även vissa kritiska aspekter utav ämnesinnehållet. De nya metodkurserna utvärderades med en ny kursvärdering, Raschanalys och statistisk analys av data från examinationer. Hela rapporten är strukturerad utifrån en för detta ändamål utarbetad processmodell som beskriver stegen i arbetsprocessen.

Resultatet visar att den pedagogiska utvecklingen bidrog till att studenterna klarade examinerande moment och var nöjda med hur läraktiviteter fungerat. Men problemen att behålla och befästa metodkunskaper över tid, och möjliga risker för ytinlärning, kvarstår. Raschanalysen visade att bedömningskriterierna för akademiskt skrivande kunde urskilja mellan Godkända respektive Väl Godkända studenter, även om reliabiliteten i övrigt var obefintlig, och att organisering av text utgjorde det enskilt viktigaste bedömningskriteriet. Inget bedömningskriterium uppvisade olika funktionssätt beroende på kön – vilket innebär att bedömningen av akademiskt skrivande ej missgynnar kvinnliga eller manliga studenter. Den statistiska analysen visade att metodkunskaper hade ett genomslag i bedömningen och avgjorde betyget på hemtentorna. Den statistiska styrkan var genomgående väldigt låg på grund av litet studentunderlag.

Fortsatta utvecklingsområden är definitioner av tekniska begrepp, utarbetning av illustrativa exempel och modernisering av undervisningen samt införande av flippat klassrum. Statistiskt tänkande betonas framför att studenter drillas i att mekaniskt tillämpa en bestämd uppsättning statistiska modeller. En utbildningsprogression baserad på inbäddning skulle kunna utarbetas för att förbättra ramfaktorerna. Det är även viktigt  att inte betona kvalitetssäkring och kontroll framför pedagogisk utveckling i utformningen av kursvärderingar.

Fortsatt datainsamling och psykometrisk analys av examinationer kan bidra med information användbar för att utveckla bedömningspraktiker, urvals- och antagningsprocesser samt undervisning och examination.

This report was a presentation of the pedagogical development conducted within method courses in the subject Leadership under demanding conditions, and analyses of examinations validity and reliability. Analysis of course evaluations for previous method teaching, syllabuses and literature consisted the basis for the planning of the courses Behavioral Science Methods I and II. A pedagogical model for methods teaching was developed based on the students’ prior knowledge, needs and attitudes; in the planning, some critical aspects of the subject content were also didactically analyzed. The new method courses were evaluated through a new course evaluation, Rasch analysis and statistical analysis of data from the examinations. The whole report is structured based on a process model developed for this purpose and which describes the steps in the work process.

Results indicates that the pedagogical development contributed to students passing the examinations and being satisfied with the learning activities. However, the problem of retaining and consolidating methodological knowledge over time, and a possible risk for surface learning, remains. The Rasch analysis revealed that the assessment criteria for academic writing could distinguish between the grades Passed and Passed with distinction, although the reliability otherwise was non-existent, and that organizing the text was the single most important assessment criterion. None of the assessment criteria showed Differential Item Functioning (DIF) depending on gender, which means that the assessment of academic writing does not disadvantage female or male students. The statistical analysis revealed that methodological knowledge had an impact on the assessment and determined the grade on the exams. The statistical power was consistently very low due to a small student base.

Continued development areas are definition of technical concepts, elaboration of illustrative examples and modernization of teaching and implementing flipped classroom. Statistical thinking is emphasized rather than students being exercised in mechanically applying a specific set of statistical models. An educational progression based on embedding could be developed to improve the framework factors. It is also important to not emphasize quality assurance and control before pedagogical development in the design of course evaluations.

Continued data collection and psychometric analysis of examinations can contribute information useful for developing assessment practices, selection and admission processes as well as teaching and examination.