Microsoft a .NET Foundation vydali verzi 1.0 .NET pro Apache Spark, balíček s otevřeným zdrojovým kódem, který přináší vývoj .NET do analytického stroje Spark pro zpracování rozsáhlých dat.
Oznámeno 27. října, .NET pro Apache Spark 1.0 má podporu pro .NET aplikace cílené na .NET Standard 2.0 nebo novější. Uživatelé mohou přistupovat k API Spark DataFrame, psát Spark SQL a vytvářet uživatelsky definované funkce UDF).
Rozhraní .NET pro Apache Spark je k dispozici na stránce GitHub .NET Foundation nebo z NuGet. Mezi další možnosti .NET pro Apache Spark 1.0 patří:
- Rámec rozšíření API pro přidání podpory pro další knihovny Spark včetně funkcí Linux Foundation Delta Lake, Microsoft OSS Hyperspace, ML.NET a Apache Spark MLlib.
- Programy .NET pro Apache Spark, které nejsou UDF, vykazují stejnou rychlost jako jiné aplikace než UDF založené na Scale a PySpark. Pokud aplikace zahrnují UDF, jsou programy .NET pro Apache Spark alespoň tak rychlé jako programy PySpark nebo mohou být rychlejší.
- .NET pro Apache Spark je integrován do Azure Synapse a Azure HDInsight. Lze jej také použít v jiných cloudových nabídkách Apache Spark, včetně Azure Databricks.
První veřejná verze projektu byla oznámena v dubnu 2019. Řízení vývoje .NET pro Apache Spark byla zvýšenou poptávkou po snazším způsobu vytváření aplikací pro velká data namísto učení Scala nebo Pythonu. Projekt je provozován v rámci .NET Foundation a byl podán jako návrh na vylepšení projektu Spark, který je třeba zvážit pro přímé zahrnutí do projektu Apache Spark.
Do budoucna společnost Microsoft řeší překážky, včetně nastavení předpokladů a závislostí a hledání kvalitní dokumentace, s příklady, jako jsou komunitní příspěvky „připravené ke spuštění“ Docker obrázků a aktualizace .NET pro dokumentaci Apache Spark. Další prioritou je podpora možností nasazení, včetně integrace s kanály vývoje / CI / CD a publikování úloh přímo ze sady Visual Studio.
