HopsFS har utvecklats gemensamt av forskare på RISE SICS och KTH, Kungliga Tekniska Högskolan i Stockholm, i samarbete med forskare på Spotify och Oracle, som en mer skalbar och tillförlitlig ersättare för filsystemet HDFS i den populära Big-Data-plattformen Apache Hadoop. Apache Hadoop används idag över hela världen och av ledande företag som Yahoo, Facebook och Spotify. I den vetenskapliga artikeln som presenteras beskrivs hur HopsFS nu kan arbeta med upp till 1,2 miljoner operationer per sekund på en arbetslast från Spotify, vilket är 16 gånger snabbare än i vanliga Hadoop.
Skalbar distribuerad metadatabas.
Unikt för HopsFS är att använda en skalbar distribuerad databas för metadata, den information som systemet har om filerna, med hjälp av öppen-källkod-databasen MySQL Cluster från Oracle. I Hadoops HDFS hanteras metadata av en enda virtuell maskin i Java, vilket begränsar dess storlek till ett par hundra gigabyte. I HopsFS lagras detta i ett MySQL-kluster som kan skalas upp till många tiotals maskiner och hundra gånger större mängder metadata.
– Denna typ av forskning kräver tillgång till mycket stora beräkningsresurser för testning och utvärdering och där har vi unika möjligheter genom forskningsdatacentret SICS ICE i Luleå, säger Jim Dowling, docent i distribuerade system vid KTH och forskare vid RISE SICS.
Ett avknoppningsföretag, Logical Clocks AB, med grundare från RISE SICS och KTH, har bildats för att kommersialisera den nya teknologin
Stöder innovationsprocesser.
Om RISE ska sägas att det är en sammanslagning av Innventia, SP och Swedish ICT med syftet att skapa en starkare forsknings- och innovationspartner. RISE har 2 200 medarbetare som driver och stöder alla typer av innovationsprocesser. Man erbjuder ett 100-tal test- och demonstrationsmiljöer för framtidssäkra produkter, tekniker och tjänster. RISE Research Institutes of Sweden ägs av svenska staten.
RISE SICS är en forskningsorganisation med cirka 200 högt kvalificerade forskare (94 Ph.D.) inom ett brett forskningsspektrum, bl a cloud technology, big data analytics, internet of things, interaktion, säkerhet, optimeringsteknologi, mobila tjänster och systems of systems. Forskningen genomförs i nära samarbete med industrin och det internationella forskningssamhället.
