Microsoft entwickelt neues Big Data Framework namens REEF
Kommentare

Microsoft hat eine Big-Data-Technologie entwickelt, die auf dem neuen YARN Ressourcen-Manager von Hadoop sitzt. Das kündigte Microsoft Technical Fellow und CTO of Information Services Raghu Ramakrishnan

Microsoft hat eine Big-Data-Technologie entwickelt, die auf dem neuen YARN Ressourcen-Manager von Hadoop sitzt. Das kündigte Microsoft Technical Fellow und CTO of Information Services Raghu Ramakrishnan am Montag auf der International Conference for Knowledge Mining and Data Discovery in Chicago an.

Mit Hilfe des Frameworks namens REEF (kurz für Retainable Evaluator Execution Framework) können Nutzer Jobs erstellen, die ihren Status auch nach Abschluss behalten und die ihre Daten von praktisch überall ziehen können. Dabei besteht das Framework aus zwei Teilen: Evaluators sind YARN-Container, die REEF Services enthalten, Activities bestehen aus User Code, der im Evaluator läuft.

YARN ist seit kurzem Teil des Hadoop-Projektes und ermöglicht, mehrere Typen von Jobs in einem einzigen Cluster zu verwalten. Aber einige Typen haben spezielle Anforderungen was Datenbewegungen, Task Monitoring und die Iteration vorheriger Ergebnisse anbelangt. Genau hier soll REEF ansetzen, wie genau beschrieb Ramakrishnan allerdings nicht.

In etwa einem Monat möchte Microsoft sein neues Framework Open Source bereit stellen.

Unsere Redaktion empfiehlt:

Relevante Beiträge

Meinungen zu diesem Beitrag

X
- Gib Deinen Standort ein -
- or -