Skip to main content

Hive on Spark mit Jedox nutzen

With the release of Hive 1.1 in January 2015, Apache has now combined Spark, an open-source, cluster-computing project for processing large amounts of data, with Hive.

Für einige Anwendungsfälle ist es daher bis zu 100-mal schneller als Map-Reduce. Das betrifft insbesondere Anwendungen mit vielen Reduce-Schritten wie sie z.B. bei der Übersetzung von komplexen Queries oder im Business Intelligence-Umfeld an der Tagesordnung sind.

Bislang war es nicht möglich, Spark in der Business Intelligence-Plattform von Jedox zu nutzen und so bei Auswertungen von den Performancegewinnen zu profitieren. Im Rahmen dieses Research Papers haben wir erstmals den Einsatz von Hive on Spark zusammen mit Jedox getestet, ohne dass Anpassungen an den Queries oder in Jedox vorgenommen werden mussten. Die Anleitung dazu sowie die Messergebnisse finden sich in dem Paper.

Download

Back