Kernel Least Squares Transformations for Cross-Lingual Semantic Spaces

Abstract

The rapid development in the field of natural language processing (NLP) and the increasing complexity of linguistic tasks demand the use of efficient and effective methods. Cross-lingual linear transformations between semantic spaces play a crucial role in this domain. However, compared to more advanced models such as transformers, linear transformations often fall short, especially in terms of accuracy. It is thus necessary to employ innovative approaches that not only enhance performance but also maintain low computational complexity.In this study, we propose Kernel Least Squares (KLS) for linear transformation between semantic spaces. In our comprehensive analysis involving three intrinsic and two extrinsic experiments across six languages from three different language families and a comparative evaluation with nine different linear transformation methods, we demonstrate the superior performance of KLS. Our results show that the proposed method significantly improves word translation accuracy, thereby standing out as the most efficient method for transforming only the source semantic space.Rychlý rozvoj v oblasti zpracování přirozeného jazyka (NLP) a rostoucí složitost jazykových úloh vyžadují použití účinných a efektivních metod. Klíčovou roli v této oblasti hrají mezi-jazyčné lineární transformace mezi sémantickými prostory Ve srovnání s pokročilejšími modely, jako jsou transformátory, však lineární transformace často zaostávají, zejména pokud jde o přesnost. Je proto nezbytné využívat inovativní přístupy, které nejen zvyšují výkon, ale také zachovávají nízkou výpočetní náročnost.V této studii navrhujeme metodu Kernel Least Squares (KLS) pro lineární transformaci mezi sémantickými prostory. V naší komplexní analýze zahrnující tři vnitřní a dva vnější experimenty v šesti jazycích ze tří různých jazykových rodin a srovnávací hodnocení s devíti různými metodami lineární transformace prokazujeme vynikající výkon KLS. Naše výsledky ukazují, že navrhovaná metoda výrazně zlepšuje přesnost překladu slov, čímž vyniká jako nejefektivnější metoda pro transformaci pouze zdrojového sémantického prostoru.