DIP-SumEval: A Data Set of Human Summary Evaluations
Datum
2019-11Beschreibung
This repository contains the summaries and evaluations from the paper 'A Dataset for the Analysis of Text Quality Dimensions in Summarization Evaluation' presented at LREC 2020. In total, the data set contains over 400 automatically generated summaries for 49 topics of an data set for multi-document summarization, 1274 judgements according to 11 text and summary quality criteria on a Likert-scale (1 to 5) performed by 26 trained annotators, and 43218 pairwise judgements according to 6 criteria performed by 64 crowd-workers.
If you want to use the data please cite the paper http://www.ke.tu-darmstadt.de/bibtex/publications/show/3200
Schlagwort
Automatic Text Summarization;Text Quality;Summarization Evaluation;Summarization Data SetDFG-Fächer
1.14-03 Angewandte Sprachwissenschaften, Computerlinguistik4.43-04 Künstliche Intelligenz und Maschinelle Lernverfahren
4.43-05 Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
Zugehörige Drittmittelprojekte
DFG | GRK1994 | Prof. Roth / AIPHESVerknüpfte Ressourcen
- Ist Anhang zu: http://www.ke.tu-darmstadt.de/bibtex/publications/show/3200
- Ist Originalform von: https://github.com/keelm/DIP-SumEval
Sammlungen
Die folgenden Lizenzbestimmungen sind mit dieser Ressource verbunden:
Solange nicht anders angezeigt, wird die Lizenz wie folgt beschrieben: Creative Commons Attribution 4.0