English Dataset For Automatic Forum Extraction

Abstract

Tento článek popisuje proces sbírání a tvorby anglického datasetu pro trénování algoritmů pro automatickou extrakci informací z diskuzních fór. Dataset se skládá z ručně označených příspěvků skládajících se z jména uživatele, data publikování, textu příspěvku a citací/reakcí. Dataset obsahuje 79 rozdílných webových serverů s minimálně 500 stránek z každého. Každá webová stránka se skládá z struktury HTML tagů. Také jsou popsány prvotní experimenty se základními architekturami neuronových sítí a SVM.

This paper describes the process of collecting, maintaining and exploiting an English dataset of web discussions. The dataset consists of many web discussions with hand-annotated posts in the context of a tree structure of a web page. Each post consists of username, date, text, and citations used by its author. The dataset contains 79 different websites with at least 500 pages from each. Each web page consists of a tree structure of HTML tags with texts taken from selected web pages. In the paper, we also describe algorithms trained on the dataset. The algorithms employ basic architectures (such as a bag of words with an SVM classifier and an LSTM network) to set a baseline for the dataset.