From 4b4cb806baec456b4e7fa80d80d2f029c4e0f537 Mon Sep 17 00:00:00 2001 From: feger <marc.feger@hhu.de> Date: Thu, 5 Dec 2019 10:50:43 +0100 Subject: [PATCH] =?UTF-8?q?Add=20Begr=C3=BCndung?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- "Begr\303\274ndung.txt" | 10 ++++++++++ 1 file changed, 10 insertions(+) create mode 100644 "Begr\303\274ndung.txt" diff --git "a/Begr\303\274ndung.txt" "b/Begr\303\274ndung.txt" new file mode 100644 index 0000000..4a6b062 --- /dev/null +++ "b/Begr\303\274ndung.txt" @@ -0,0 +1,10 @@ +Ich habe mich für Krippendorff's Alpha entschieden, da es anders als Bennett S, Scott's Pi, Cohen's Kappa usw. nicht +von dem Joint Probability of Agreement abhängt. +Da wir in unserem Datensatz nur 4 Kategorien zur Annotation zur Verfügung haben wäre der Einsatz eines der oben genannten +IA-A-Maße nicht sinnvoll. Eine Schwäche der Joint Probability of Agreement ist es, dass es das Level der Übereinstummung +für eine kleine Anzahl an Kategorien überbewertet. Da wir in unseren Szenario mit nur 4 Kategorien arbeiten kann davon ausgegangen +werden, dass diese geringe Anzahl an Kategorien dazu beitragen würde, dass Joint Probability of Agreement nicht adäquat die +Übereinstimmung wiedergibt. +Hingegen arbeitet Krippendorff's Alpha ohne die Joint Probability of Agreement. Zudem ist es unabhängig und betrachtet die +Zusammenhänge durch den Einsatz der Coincidence-Matrix genauer. +Daher habe ich mich für die Implementierung von Krippendorff's Alpha entschieden. \ No newline at end of file -- GitLab