NWB Query Engines: Tools to Search Data Stored in Neurodata Without Borders Format

Abstract

Formát Neurodata Without Borders (NWB) je současnou technologií pro ukládání neurofyziologických dat spolu s asociovanými metadaty. Data ukládána v tomto formátu jsou organizována do samostatných HDF5 souborů, přičemž každý soubor obvykle obsahuje data pocházející z jednoho měření. Ačkoliv NWB formát poskytuje strukturovanou metodu pro ukládání dat, dosud chybí nástroje, které by umožnil prohledávání kolekce NWB souborů za účelem nalezení dat relevantních pro konkrétní aplikační záměr. V tomto článku popisujeme tři nástroje umožňující takovéto prohledávání. Nástroje mají různé vlastnosti vhodné pro různé účely. První nástroj, nazvaný NWB Query Engine, je napsaný v Javě. Umožňuje prohledávání úplného obsahu NWB souborů. Byl navržen pro první verzi NWB (NWB 1) a podporuje většinu (ale ne všechny) vlastnosti poslední verze (NWB 2). Pro některá hledání se jedná o nejrychlejší nástroj. Druhý nástroj, zvaný „search_nwb“ je napsaný v jazyce Python a také umožňuje prohledávání úplného obsahu NWB souborů. Pracuje jak s NWB 1 tak NWB2. Totéž platí pro třetí nástroj. Třetí nástroj, zvaný „nwbindexer“ umožňuje prohledávání kolekce NWB souborů ve dvou krocích. V prvním kroku je spuštěna utilita, která vytvoří SQLite databázi obsahující metadata z kolekce NWB souborů. Tato databáze je prohledávána v druhém kroku druhou utilitou. Jakmile je vytvořen index, tento dvou krokový proces umožňuje rychlejší prohledávání než v případě ostatních nástrojů, ale oproti tomu neumožní úplné prohledávání. Všechny tři nástroje používají jednoduchý dotazovací jazyk, který byl vyvinut pro tento projekt. Je poskytnut software integrující všechny tři nástroje do webového rozhraní, což umožňuje prohledávání NWB souborů prostřednictvím webových formulářů.