Linear transformations for cross-lingual semantic textual similarity

Abstract

Cross-lingual semantic textual similarity systems estimate the degree of the meaning similarity between two sentences, each in a different language. State-of-the-art algorithms usually employ machine translation and combine vast amount of features, making the approach strongly supervised, resource rich, and difficult to use for poorly-resourced languages. In this paper, we study linear transformations, which project monolingual semantic spaces into a shared space using bilingual dictionaries. We propose a novel transformation, which builds on the best ideas from prior works. We experiment with unsupervised techniques for sentence similarity based only on semantic spaces and we show they can be significantly improved by the word weighting. Our transformation outperforms other methods and together with word weighting leads to very promising results on several datasets in different languages.

Systémy pro kroslinguální sémantickou podobnost textů odhadují stupeň podobnosti významů mezi dvěma větami v různých jazycích. Nejnovější algoritmy obvykle používají strojový překlad a kombinují obrovské množství nejrůznějších nástrojů. To způsobuje, že tento přístup je silně supervizovaný, náročný na zdroje, a obtížný pro použití na okrajových jazycích. V tomto článku studujeme lineární transformace, které převádí monolinguální sémantické prostory do sdíleného prostoru pomocí bilinguálních slovníků. Představujeme novou transformaci, která je založena na nejlepších publikovaných přístupech. Experimentujeme s nesupervizovanými technikami pro podobnost vět založených výhradně na sémantických prostorech a ukazujeme, že tento přístup může být dále vylepšen pomocí vážení slov. Naše transformace překonává ostatní metody a společně s vážením slov vede k velmi slibným výsledkům na několika datasetech v různých jazycích.