Seit geraumer Zeit beklagen Handwerks- sowie Industrie- und Handelskammern fehlende grundlegende mathematische Kompetenzen bei Schülerinnen und Schülern in Fort- und Weiterbildung. Das Projekt Mathe- Meister hat sich in diesem Zusammenhang dieser Problematik im Bereich der Meisterausbildung in einer Vielzahl von Gewerken und Berufen angenommen und ein internetbasiertes Self-Assessment für den beruflichen Weiterbildungssektor entwickelt. Diese Dissertation widmet sich als Teilprojekt von Mathe-Meister der Entwicklung von Distraktoren – also den im Multiple-Choice-Test angebotenen Antwortauswahlen zu jedem Item. Diese speziell entwickelten und validierten Testitems und Distraktoren verfügen über ein diagnostisches Potential, welches die Grundlage für ein diagnostisches Feedback innerhalb einer webbasierten Testauswertung bildet. Diese Fehleranalyse wurde auf der Grundlage von schriftlichem Material mit offenem Antwortdesign entwickelt, muss aber schlussendlich im Rahmen einer internetbasierten Selbsttest-Umgebung automatisiert erfolgen. Hierfür entwickelt die Verfasserin eine Konzeption und zeigt, wie diese in der Mathe-Meister-Testumgebung lauffähig realisiert werden kann.Weitere wichtige Inhalte und Begriffe dieser Arbeit sind u. a. die Testentwicklung, Online-Tests und Self-Assessments, Fehleranalyse und Diagnostik, Fehlermuster und typisches Antwortverhalten, rationale und empirische Aufgabenanalysen oder Triangulation auf methodischer und inhaltlicher Ebene. Aufgrund dieses breiten Themenfeldes werden in der Arbeit Fragestellungen aus Medienpädagogik, Psychologie, Mathematik, Mathematikdidaktik und übergreifend aus dem Projektmanagement angesprochen.