Microsoft og .NET Foundation har frigivet version 1.0 af .NET til Apache Spark, en open source-pakke, der bringer. NET-udvikling til Spark analytics-motoren til databehandling i stor skala.
Annonceret 27. oktober. .NET til Apache Spark 1.0 har understøttelse af. NET-applikationer målrettet mod. NET Standard 2.0 eller nyere. Brugere kan få adgang til Spark DataFrame API'er, skrive Spark SQL og oprette brugerdefinerede funktioner UDF'er).
.NET til Apache Spark-rammen er tilgængelig på .NET Foundation's GitHub-side eller fra NuGet. Andre muligheder for .NET til Apache Spark 1.0 inkluderer:
- En API-udvidelsesramme til tilføjelse af understøttelse af yderligere Spark-biblioteker, herunder Linux Foundation Delta Lake, Microsoft OSS Hyperspace, ML.NET og Apache Spark MLlib-funktionalitet.
- .NET til Apache Spark-programmer, der ikke er UDF'er, har samme hastighed som Scala- og PySpark-baserede ikke-UDF-applikationer. Hvis applikationer inkluderer UDF'er, er .NET til Apache Spark-programmer mindst lige så hurtige som PySpark-programmer eller måske hurtigere.
- .NET til Apache Spark er indbygget i Azure Synapse og Azure HDInsight. Det kan også bruges i andre Apache Spark cloud-tilbud, herunder Azure Databricks.
Den første offentlige version af projektet blev annonceret i april 2019. At drive udviklingen af .NET til Apache Spark var øget efterspørgsel efter en lettere måde at opbygge big data-applikationer på i stedet for at skulle lære Scala eller Python. Projektet drives under .NET Foundation og er blevet arkiveret som et forslag til forbedring af Spark Project, der skal overvejes at blive inkluderet i Apache Spark-projektet direkte.
Ser vi fremad, adresserer Microsoft forhindringer, herunder opsætning af forudsætninger og afhængigheder og finde kvalitetsdokumentation med eksempler som fællesskabsbidragte "ready-to-run" Docker-billeder og opdateringer til .NET til Apache Spark-dokumentation. En anden prioritet er at støtte implementeringsmuligheder, herunder integration med CI / CD devops pipelines og udgivelsesjob direkte fra Visual Studio.
