Construction and validation of the HeiQ: an operation-oriented figural matrices test
Figural matrices tests are among the most popular and well-investigated tests used to assess inductive reasoning abilities. Solving these tests requires the selection of a target that completes a figural matrix among distractors. Despite their generally good psychometric properties, previous matrice...
Saved in:
| Main Authors: | , , |
|---|---|
| Format: | Article (Journal) |
| Language: | English |
| Published: |
18 April 2023
|
| In: |
Journal of Intelligence
Year: 2023, Volume: 11, Issue: 4, Pages: 1-22 |
| ISSN: | 2079-3200 |
| DOI: | 10.3390/jintelligence11040073 |
| Online Access: | Verlag, kostenfrei, Volltext: https://doi.org/10.3390/jintelligence11040073 Verlag, kostenfrei, Volltext: https://www.mdpi.com/2079-3200/11/4/73 
|
| Author Notes: | Vanessa S. Pallentin, Daniel Danner and Jan Rummel |
| Summary: | Figural matrices tests are among the most popular and well-investigated tests used to assess inductive reasoning abilities. Solving these tests requires the selection of a target that completes a figural matrix among distractors. Despite their generally good psychometric properties, previous matrices tests have limitations associated with distractor construction that prevent them from realizing their full potential. Most tests allow participants to identify the correct response by eliminating distractors based on superficial features. The goal of this study was to develop a novel figural matrices test which is less prone to the use of response elimination strategies, and to test its psychometric properties. The new test consists of 48 items and was validated with N = 767 participants. Measurement models implied that the test is Rasch scalable, inferring a uniform underlying ability. The test showed good to very good reliability (retest-correlation: r = 0.88; Cronbach’s alpha: α = 0.93; split-half reliability: r = 0.88) and good construct validity (r = 0.81 with the Raven Progressive Matrices Test, r = 0.73 with global intelligence scores of the Intelligence Structure Test 2000R, and r = 0.58 with the global score of the Berlin Intelligence Structure Test). It even superseded the Raven Progressive Matrices Tests in criterion-related validity (correlation with final year high school grades (r = −0.49 p < .001)). We conclude that this novel test has excellent psychometric properties and can be a valuable tool for researchers interested in reasoning assessment. Tests mit figuralen Matrizen gehören zu den beliebtesten und am besten untersuchten Verfahren zur Erfassung induktiven Schlussfolgerns. Bei der Bearbeitung dieser Tests muss aus einer Reihe von Distraktoren dasjenige Element ausgewählt werden, das eine figurale Matrix vervollständigt. Trotz ihrer im Allgemeinen guten psychometrischen Eigenschaften weisen bisherige Matrizentests Einschränkungen bei der Konstruktion der Distraktoren auf, die eine volle Ausschöpfung ihres Potenzials verhindern. Bei den meisten Tests können die Teilnehmenden die richtige Antwort finden, indem sie Distraktoren anhand oberflächlicher Merkmale ausschließen. Ziel der vorliegenden Studie war die Entwicklung eines neuartigen Tests mit figuralen Matrizen, der weniger anfällig für Strategien des Antwortausschlusses ist, sowie die Überprüfung seiner psychometrischen Eigenschaften. Der neue Test umfasst 48 Aufgaben und wurde an einer Stichprobe von N = 767 Personen validiert. Messmodelle deuteten darauf hin, dass der Test Rasch-skalierbar ist, was auf eine einheitliche zugrundeliegende Fähigkeit schließen lässt. Der Test zeigte eine gute bis sehr gute Reliabilität (Retest-Korrelation: r = 0,88; Cronbachs Alpha: α = 0,93; Split-Half-Reliabilität: r = 0,88) sowie eine gute Konstruktvalidität (r = 0,81 im Vergleich zu den Raven Progressive Matrices, r = 0,73 zu den Gesamtwerten des Intelligenz-Struktur-Tests 2000R und r = 0,58 zum Gesamtwert des Berliner Intelligenzstrukturtests). Hinsichtlich der kriteriumsbezogenen Validität (Korrelation mit den Abschlussnoten der gymnasialen Oberstufe: r = −0,49; p < 0,001) übertraf er sogar die Raven Progressive Matrices. Wir kommen zu dem Schluss, dass dieser neuartige Test hervorragende psychometrische Eigenschaften aufweist und ein wertvolles Instrument für Forschende im Bereich der Erfassung von Schlussfolgerungsfähigkeiten darstellt. [Mit KI übersetzt, DE-Frei160] |
|---|---|
| Item Description: | Gesehen am 09.06.2023 |
| Physical Description: | Online Resource |
| ISSN: | 2079-3200 |
| DOI: | 10.3390/jintelligence11040073 |