Annons

Svenskt genombrott inom Big Data: KTH- och RISE SICS-lösning med 16 gånger bättre prestanda än Hadoop

I dagarna presenterade forskare från RISE SICS och KTH nästa generations skalbara plattform för lagring och bearbetning av mycket stora datamängder, på den internationella toppkonferensen UNENIX FAST i Santa Clara. Den nya plattformen HopsFS arbetar mer än 16 gånger snabbare med en stor realistisk arbetslast från Spotify jämfört med standardplattformen Hadoop, som idag används av ledande företag över hela världen. Den uppseendeväckande prestandan kunde visas genom storskaliga tester på ett kluster i RISE SICS eget datacenter SICS ICE. – HopsFS erbjuder beräkningsmöjligheter av helt andra dimensioner än tidigare. Tack vare HopsFS kan vi nu på SICS ICE erbjuda världens mest skalbara Hadoop-as-a-Service till alla forskare och företag i Sverige, säger Tor Björn Minde, VD på RISE SICS North AB som driver forskningsdatacentret.

HopsFS har utvecklats gemensamt av forskare på RISE SICS och KTH, Kungliga Tekniska Högskolan i Stockholm, i samarbete med forskare på Spotify och Oracle, som en mer skalbar och tillförlitlig ersättare för filsystemet HDFS i den populära Big-Data-plattformen Apache Hadoop. Apache Hadoop används idag över hela världen och av ledande företag som Yahoo, Facebook och Spotify. I den vetenskapliga artikeln som presenteras beskrivs hur HopsFS nu kan arbeta med upp till 1,2 miljoner operationer per sekund på en arbetslast från Spotify, vilket är 16 gånger snabbare än i vanliga Hadoop.

Skalbar distribuerad metadatabas.
Unikt för HopsFS är att använda en skalbar distribuerad databas för metadata, den information som systemet har om filerna, med hjälp av öppen-källkod-databasen MySQL Cluster från Oracle. I Hadoops HDFS hanteras metadata av en enda virtuell maskin i Java, vilket begränsar dess storlek till ett par hundra gigabyte. I HopsFS lagras detta i ett MySQL-kluster som kan skalas upp till många tiotals maskiner och hundra gånger större mängder metadata.

– Denna typ av forskning kräver tillgång till mycket stora beräkningsresurser för testning och utvärdering och där har vi unika möjligheter genom forskningsdatacentret SICS ICE i Luleå, säger Jim Dowling, docent i distribuerade system vid KTH och forskare vid RISE SICS.

Ett avknoppningsföretag, Logical Clocks AB, med grundare från RISE SICS och KTH, har bildats för att kommersialisera den nya teknologin

Stöder innovationsprocesser.
Om RISE ska sägas att det är en sammanslagning av Innventia, SP och Swedish ICT med syftet att skapa en starkare forsknings- och innovationspartner. RISE har 2 200 medarbetare som driver och stöder alla typer av innovationsprocesser. Man erbjuder ett 100-tal test- och demonstrationsmiljöer för framtidssäkra produkter, tekniker och tjänster. RISE Research Institutes of Sweden ägs av svenska staten.

RISE SICS är en forskningsorganisation med cirka 200 högt kvalificerade forskare (94 Ph.D.) inom ett brett forskningsspektrum, bl a cloud technology, big data analytics, internet of things, interaktion, säkerhet, optimeringsteknologi, mobila tjänster och systems of systems. Forskningen genomförs i nära samarbete med industrin och det internationella forskningssamhället.

Print Friendly, PDF & Email

Success Stories

Industriellt

Success Stories

Intressant på PLM TV News

PLM TV News

PLM TV News

PLM TV News

PLM TV News

PLM TV News

Aktuell ANALYS

Aktuell Analys

Aktuell Analys

3D-printing

Block title