Sissejuhatus Azure Databricksisse — Apache Sparkil põhinev suurandmete analüütika Microsoft Azure'is
Kasutab selle esitluse kaanepilti stiilieeskujuna slaididele, mis luuakse sinu enda sisust. Või vali allpool mõni leht ja kasuta selle paigutust eeskujuna.
Kiirnavigatsioon
Sildid
Jaga slaide
Sissejuhatus Azure Databricksisse — Apache Sparkil põhinev suurandmete analüütika Microsoft Azure'is
Iga slaidilehe üksikasjalik vaade, sealhulgas paigutus, põhisisu ja visuaalsed elemendid.
Tiitelslaid James Serralt, Microsofti suurandmete evangelistilt
Pealkiri vasakul, öise linna foto paremal, kuldne nooleaktsent
James Serra biograafia — Microsofti suurandmete evangelist, 30 aastat IT-kogemust, MCSE sertifikaadid, PASS-i esineja, endine SQL Server MVP, autor
Bullet-loend koos portreefoto ja MVP märgiga
Teemad: suurandmete arhitektuurid, miks andmejärved, ülalt-alla vs alt-üles lähenemine, andmejärve definitsioon, Hadoop andmejärvena, kaasaegne andmeladu, föderatiivsed päringud, lahendus pilves, SMP vs MPP
Lihtne täpploend
Hübriidarhitektuur: kohapealne (hoone ikoon) ja pilv (pilve ikoon), mis mõlemad toetavad operatiivandmebaase, andmeladusid ja andmejärvi. Andmetüübid: LOB, CRM, graafid, pildid, sotsiaalmeedia, IoT
Kaheveeruline paigutus hübriidnoolega kohapealse ja pilve vahel
SQL Server (on-prem) ↔ Hübriidne ↔ Azure Data Services. SQL Server: turuliider, #1 TPC-H, T-SQL mis tahes andmete puhul. Azure: 70% kiirem kui Aurora, 2x suurem globaalne ulatus kui Redshiftil, piiranguteta analüütika 99,9% SLA-ga
Sama hübriidne paigutus, kus on esile tõstetud konkurentsieeliseid näitavad mõõdikud
Azure'i suurandmete peatüki jaotise eraldaja
Valge tekst sinisel taustal
Spekter kontrollist kasutusmugavuseni: Azure Marketplace (IaaS, mis tahes Hadoop) → Azure HDInsight (haldusteenusega klastrid) → Azure Databricks (sujuv Spark) → Azure Data Lake Analytics (töö-kui-teenus). Salvestusruum: Azure Data Lake Store ja Azure Storage
Maatriksdiagramm kontrolli ja kasutusmugavuse telgedega
Terviklik ahel: Andmehõive (Data Factory, Kafka, Event Hub/IoT Hub) → Salvestamine (Blobs, Data Lake) → Ettevalmistus ja treenimine (Databricks, HDInsight, ML) → Modelleerimine ja serveerimine (Cosmos DB, SQL Database, SQL DW, Analysis Services) → Intelligentsus (ennustavad rakendused, aruanded, töölauad)
Viieetapiline horisontaalne ahel koos Azure'i teenuste ikoonidega
Azure Databricksi süvaanalüüsi jaotise eraldaja
Valge tekst sinisel taustal
Avatud lähtekoodiga mootor, mis on loodud kiiruse, kasutusmugavuse ja keeruka analüütika jaoks. 100x kiirem kui Hadoop mälusisesel töötlusel. Suurim OSS-projekt enam kui 1000 kaastöölisega. Laiendatav: Scala, Java, Python, Spark SQL, GraphX, Streaming, MLlib
Bullet-loend koos Apache Sparki logoga
Kiire, lihtne ja koostööpõhine Sparki-põhine analüütika, mis on optimeeritud Azure'i jaoks. Parim Databricksilt + parim Microsoftilt. Viis põhifunktsiooni: koostöö Apache Sparki asutajatega, ühe klõpsuga seadistamine, interaktiivne tööruum, natiivne Azure'i integratsioon (Power BI, SQL DW, Cosmos DB), ettevõtte tasemel turvalisus (AD, vastavus, SLA-d)
Pealkiri koos valemiga (Databricks + Microsoft) ja viis ikoonidega tähistatud funktsiooni
Ühtne raamistik: Spark SQL (interaktiivsed päringud), Spark MLLib (masinõpe), Spark Streaming (voogedastuse töötlemine), GraphX (graafide arvutamine) — kõik Spark Core Engine'il koos Yarni, Mesose või eraldiseisva planeerijaga
Kihiline arhitektuuriskeem nelja mooduliga põhimootori peal
Võrdlustestide tulemused: 5x kiirem kui tavaline Spark AWS-is (11 674 vs 53 783 sek), 8x kiirem kui Presto AWS-is (35,3 vs 293 sek), 3x kiirem kui kohapealne Impala Cloudera kaudu (1 149 264 vs 3 331 440 sek)
Kolm horisontaalset tulpdiagrammi kõrvuti
Ühtne järjepidev API (RDD-d), kombineeritavad töötlustüübid, välistab andmete liigutamise mootorite vahel. Ahel: sisendvood → Spark Streaming → Spark ML → Spark SQL → NoSQL DB
Vasakul loend, paremal vertikaalne ahelskeem
Kolm sammast: suurendage produktiivsust (käivitamine ühe klõpsuga, Power BI, koostöö, natiivne Azure'i integratsioon), ehitage kõige nõuetele vastavamas pilves (AD turvalisus, peenhäälestatud juurdepääs, vastavus), skaleerige piiranguteta (massiivne mastaap, kiireim Sparki mootor)
Kolme veeruga paigutus koos paksus kirjas päistega
Täielik platvormi skeem: Andmeallikad (IoT, pilvesalvestus, Hadoop, andmealaod) → Azure Databricks (koostööpõhine tööruum + tootmistööde ja töövoogude juurutamine + optimeeritud käitusmootor) → väljundid (ML-mudelid, BI-tööriistad, andmete eksport, andmealaod)
Kolmekihiline platvormi skeem koos sisendite/väljunditega
Alustage sekunditega (üks klõps), interaktiivne uurimine (R, Python, Scala, SQL märkmikud), reaalajas koostöö koos versiooniajalooga (GitHub, Bitbucket), sisseehitatud visualisatsioonid (matplotlib, ggplot, D3), PowerBI töölauad
Funktsioonide kirjeldused vasakul, platvormi arhitektuuriskeem paremal (tööruumi kiht esile tõstetud)
Tööde planeerija, märkmiku töövood (mitmeetapilised ahelad), märkmike käivitamine vastupidavate Sparki töödena, teavitused ja auditi logid, natiivne integratsioon Azure SQL DW, Cosmos DB, Data Lake Store, Blob Storage ja Event Hub teenustega
Funktsioonide kirjeldused vasakul, platvormi skeem paremal (tööde kiht esile tõstetud)
DBIO moodul optimeeritud I/O jõudluse jaoks, täielikult hallatav platvorm Azure'is eemaldab keerukuse, serverivaba ja elastne pilveteenus, toimimine massiivses globaalses mastaabis
Funktsioonide kirjeldused vasakul, platvormi skeem paremal (käituskiht esile tõstetud)
Viis põhikomponenti: klastrid, teegid, tööruumid, tööd, märkmikud — kõik ühendatud keskse Azure Databricksi jaoturiga
Tähtskeem, kus keskel on Azure Databricks ja ümber viis sinist kasti
Juhtprogramm (Driver) (SparkContext) → Cluster Manager → Töösõlmed (Worker nodes) (Cache + Task) → andmeallikad (HDFS, SQL, NoSQL). Driver käivitab peafunktsiooni, worker-sõlmed loevad/kirjutavad andmeid, puhverdavad need RDD-dena ja teostavad arvutusi avaliku pilve virtuaalmasinates.
Hierarhiline arhitektuuriskeem paremal, loetelu vasakul
Azure Active Directory integratsioon: puudub vajadus eraldi kasutajahalduseks, AAD kasutajad töötavad otse Databricksis, delegeeritud SSO autentimine, AAD-põhine pääsuhaldus märkmikele, klastritele, töödele ja andmetele.
Loetelu vasakul, AAD autentimisvoo skeem paremal
Autoscaling (min/max worker-sõlmed, automaatne skaleerimine vastavalt koormusele) ja Auto Termination (jõudeaja piirang, automaatne väljalülitus). Eelised: ei mingit sõlmede arvu ennustamist, käsitsi seadistamist ega ressursside raiskamist – tasumine toimub vaid kasutuse eest.
Kirjeldav tekst vasakul, Azure Portali klastri loomise ekraanipilt paremal
Tööd (Jobs) edastavad Sparki rakenduse koodi klastrites täitmiseks. Võimalik käivitada märkmikke (Notebooks) või JAR-faile. Põhjalikud graafilise liidese tööriistad loomiseks, haldamiseks ja seireks.
Kirjeldav tekst vasakul, kalendri/kella ikoon paremal
Tööruumid võimaldavad korraldada ja jagada märkmikke, teeke ja töölaudu. Hierarhiline kaustastruktuur, privaatsed kataloogid igale kasutajale ja täpne pääsuhaldus turvaliseks koostööks.
Loetelu vasakul, kaks Azure Portali tööruumi ekraanipilti paremal
Märkmikud Sparki rakenduste kirjutamiseks ja käivitamiseks otse klastrites. Toetavad detailset õiguste haldust, sobides ideaalselt prototüüpimiseks ja iteratiivseks arenduseks. Sisaldavad koodi, andmeid, visualiseeringuid, kommentaare ja märkmeid.
Loetelu vasakul, märkmiku ekraanipilt koos graafikuga paremal
Teegid hoiavad tööruumides Pythoni, R-i ja Java/Scala teeke. Pärast importimist on need muutumatud. Kohandatavad Init-skriptide abil ja hallatavad Library API kaudu. Toetatud allikad: PyPI, Maven, JAR, R CRAN.
Loetelu vasakul, kolm Azure Portali teegi loomise ekraanipilti paremal
Sisseehitatud visualiseerimisvõimalused: tulp-, hajuvus-, kaart-, joon-, ala- ja sektordiagrammid, kvantiilid, histogrammid, karpdiagrammid, Q-Q graafikud ja pöördtabelid. Kõik märkmikud toetavad Databricksi visualiseeringuid keelest sõltumata. Matplotlib renderdatakse piltidena. PySpark SQL koodinäide koos USA osariikide kaardi visualiseeringuga.
Loetelu vasakul, PySparki kood + kaardi visualiseering paremal, graafiku tüübi menüü all
Hajutatud failisüsteem Azure Blob Storage'i peal. Võimaldab haakida Azure Storage'i salvestuskonteinereid, puhverdada andmeid lokaalselt SSD-l, on kättesaadav Pythoni/Scala/CLI/dbutilsi kaudu ning andmed säilivad ka pärast klastri seiskamist. Sparki klastritesse eelinstalleeritud.
Loetelu vasakul, DBFS-i arhitektuuriskeem paremal
Hajutatud SQL-päringumootor struktureeritud andmete jaoks. Päringud välistesse andmebaasidesse, failidesse ja Hive'i tabelitesse. Toetab SQL-i ja HiveQL-i. Liidesed Pythoni, Scala ja Java jaoks. Sisseehitatud struktureeritud voogedastus. Kasutab Catalysti optimisaatorit ja Tungsteni täitmismootorit.
Loetelu vasakul, Spark SQL-i arhitektuuriskeem paremal
Andmebaasid kui tabelite kogumid, mis on defineeritud graafilise liidese, API-de või märkmike kaudu. Databricks kasutab Hive'i metastore'i. Toetab partitsioneeritud tabeleid ja partitsioonide kärpimist (partition pruning) jõudluse parandamiseks.
Loetelu vasakul, Azure Portali andmebaaside/tabelite kasutajaliides paremal
Paralleelsed masinõppe algoritmid: MMLSpark, Spark ML, Deep Learning, SparkR. Mudelite valik ristvalideerimise teel. DataFrame-põhine API (alates Spark 2.0). MLlib on eelinstalleeritud. Kolmandate osapoolte tugi: H2O, SciKit-learn, XGBoost.
Loetelu vasakul, Spark ML-i konveieri (pipeline) skeem paremal
Ühtne voogedastuse ja hulgitöötluse (batch) API olekupõhiseks andmetöötluseks (exactly-once). Töötab Spark SQL-i ja DataFrame API-ga. Inkrementaalsed ja pidevad uuendused. Toetab sündmusaja aknaid, voo ja hulgiprotsessi ühendamist ning dublikaatide eemaldamist. Allikad: Kafka, failid (JSON, CSV, Parquet).
Loetelu vasakul, kaks skeemi paremal (piiritlemata tabel + inkrementaalne täitmine)
Structured Streaming integreerub Apache Kafkaga HDInsightis. Ettevõtte tasemel voogedastuse andmehõive. Täiendavaid lüüse pole vaja. Kafka ja Databricksi klastrid peavad asuma samas Azure'i virtuaalvõrgus (VNet).
Tekst ülal, integratsiooni arhitektuuriskeem all
API-d graafide ja graaf-paralleelsete arvutuste jaoks. Ühendab ETL-i, uuriva analüüsi ja iteratiivsed graafarvutused. Algoritmid: PageRank, Connected Components, Label Propagation, SVD++, Triangle Count. Ainult Scala ja RDD API-d.
Kolmeosaline paigutus: funktsioonid, algoritmide loend, PageRanki jõudlustestide graafikud
Lihtsalt kasutatav liides, mis on ehitatud REST API-le. Kaks alam-CLI-d: Workspace CLI ja DBFS CLI. Rakendab DBFS API-t ja Workspace API-t
Hierarhiline diagramm: Databricks CLI → Workspace CLI + DBFS CLI
Seitse API-t: Cluster API (klastrite loomine/muutmine/kustutamine), DBFS API, Groups API, Instance Profile API, Job API, Library API, Workspace API (märkmike import/eksport)
Vasakul lehterdiagramm, mis viitab paremal asuvale API tabelile
Jaotise eraldaja kasutusjuhtude arhitektuuride jaoks
Valge tekst sinisel taustal
Arhitektuur: Struktureerimata andmed (logid, failid, meedia) → Data Factory → Azure Storage → Azure Databricks (Spark) → Azure SQL Data Warehouse. Struktureeritud andmed (ärirakendused) → Data Factory → Polybase → SQL DW → Analüütilised töölauad
Viieetapiline ahel kahe andmeallika vooga
Arhitektuur: Struktureerimata → Data Factory → Azure Storage → Azure Databricks (Spark MLlib, SparkR, SparklyR) → Azure Cosmos DB → Veebi- ja mobiilirakendused. Struktureeritud → Polybase → SQL DW → Analüütilised töölauad
Viieetapiline ahel masinõppele (ML) suunatud töötlemise ja Cosmos DB väljundiga
Arhitektuur: Struktureerimata andmed → Azure HDInsight (Kafka) → Azure Databricks (Spark) ↔ Azure Storage → Polybase → Azure SQL Data Warehouse → Analüütilised töölauad
Viieetapiline ahel koos Kafka voogedastuse andmehõivega
Jaotise eraldaja hinnakujunduse ja võrdluse peatüki jaoks
Valge tekst sinisel taustal
Kolmeveeruline võrdlus: Azure HDInsight (Hadoop/HDP, PaaS, Rangeri turvalisus, hind võrreldes AWS EMR-iga), Azure Databricks (Spark, SaaS, AD turvalisus, hind võrreldes Databricksiga AWS-is), kolmandate osapoolte pakkumised (Cloudera/MapR/Hortonworks, IaaS, tarnija hinnakiri)
Kolmeveerulised võrdluskaardid
Üksikasjalik võrdlus: Azure HDInsight (Hortonworks, suurandmete mootorid, VNET, Ranger, OMS, Data Factory orkestreerimine, 27 regiooni), Azure Databricks (Spark-keskne, ühtne mootor, AAD OAuth, RBAC, automaatne skaleerimine, serverivaba, SQL DW integratsioon), Azure ML (Microsofti enda ML, Python/R, eksperimenteerimine, mudelihaldus, IDE integratsioon)
Kolmeveeruline üksikasjalik funktsioonide võrdlus
Jaotise eraldaja reaalajas demo jaoks
Valge tekst sinisel taustal
Azure Portali ekraanipilt, mis näitab Azure Databricksi (eelvaade) teenuse lehte Marketplace > Data + Analytics jaotises. Ühtse analüütikaplatvormi kirjeldus, Databricksi tööala (workspace) UI eelvaade
Täislaiuses Azure Portali ekraanipilt
Azure Portal: Azure Databricks Service'i loomise vorm koos tööala nime, tellimuse (subscription), ressursirühma ja asukoha (West US) väljadega
Täislaiuses ekraanipilt Azure Portali loomisvormist
Azure Portali töölaud, mis näitab juurutatud ressursse, sealhulgas Databricks Service'it, koos Quickstart-õpetustega VM-ide, App Service'i, Functionsi ja SQL Database'i jaoks
Täislaiuses Azure'i töölaua ekraanipilt
Azure Portali ressursi ülevaate leht koos nupuga "Launch Workspace", hallatava ressursirühma andmete, tellimuse info ja kiirkäivituspaneelidega: dokumentatsioon, alustamine, andmete import, märkmik, administraatori juhend
Täislaiuses ressursi üksikasjade lehe ekraanipilt
Databricksi tööala avaleht, mis näitab esiletõstetud märkmikke (Apache Spark Intro, Data Scientists, Structured Streaming), uusi üksusi (Notebook, Job, Cluster, Table, Library), dokumentatsiooni linke ja hiljuti avatud faile
Täislaiuses Databricksi tööala ekraanipilt
Jaotise eraldaja alustamisjuhiste jaoks
Valge tekst sinisel taustal
Kolm sammu: Registreeruge eelvaateks, kaasake Microsofti eksperdid töötubadeks, uurige lähemalt aadressil azure.com/databricks
Vasakul kolm ikoonidega tähistatud sammu, paremal foto ärikohtumisest
Lõpuslaid küsimuste ja vastuste jaoks koos kontaktandmetega: James Serra, Big Data Evangelist — e-post, Twitter @JamesSerra, LinkedIn, blogi JamesSerra.com
Suur Q&A tekst koos oranži küsimärgi ikooniga, kontaktandmed allosas
Levinud küsimused selle slaidi ja esitluse sisu kohta.
Azure Databricks on kiire, lihtne ja koostööle suunatud Apache Sparkil põhinev analüütikaplatvorm, mis on optimeeritud Azure'i jaoks ja loodud SaaS-teenusena. HDInsight on hallatud Hadoop (Hortonworks) distributsioon, mis toetab mitmeid mootoreid (Spark, Hive, Kafka, HBase). Databricks on parim Sparkile keskendunud töövoogude jaoks koos märkmike ja koostöövõimalustega, samas kui HDInsight sobib klientidele, kes vajavad muid Hadoopi tehnoloogiaid peale Sparki.
Selle esitluse koostas James Serra, Microsofti suurandmete evangelist, kellel on üle 30 aasta IT-kogemust, mitmed Microsofti sertifikaadid (MCSE) ja kes on SQL Server 2012 aruandlust käsitleva raamatu autor. Ta on endine SQL Server MVP ja sagedane esineja PASS-konverentsidel.
Esitlus hõlmab kõiki peamisi Sparki komponente: Spark SQL (hajutatud päringumootor), Spark MLlib (masinõpe), Spark Structured Streaming (reaalajaline töötlemine) ja GraphX (graafiarvutused), lisaks Sparki põhiarhitektuuri koos RDD-de, Driver/Worker mudeli ja klastrihaldusega.
Jah, see sisaldab jõudlustestide andmeid, mis näitavad, et Databricks Spark on 5 korda kiirem kui tavaline Apache Spark AWS-is, 8 korda kiirem kui Apache Presto AWS-is ja 3 korda kiirem kui kohapealne Impala Cloudera kaudu, viidates avalikele võrdlusuuringutele.
Esitletakse kolme täielikku Azure'i etalonarhitektuuri: kaasaegne suurandmete ladu (Modern Big Data Warehouse — pakk-töötlus ETL koos SQL DW-ga), suurandmete täiustatud analüütika (Advanced Analytics — masinõpe koos Cosmos DB-ga veebi/mobiili jaoks) ja suurandmete reaalajaline analüütika (Kafka voogedastus koos Sparki töötlemisega).
Jah, esitlus käsitleb Azure Databricksi platvormi arhitektuuri, põhikomponente (klastrid, märkmikud, tööd, tööruumid, teegid), turvalisust koos AAD integratsiooniga, DBFS-i, Spark SQL-i, MLlib-i, Streamingut ja REST API-sid — kõik need on Azure'i andmeinseneri sertifikaatide võtmeteemad.
Jah, see sisaldab samm-sammulisi Azure Portali ekraanitõmmiseid, mis demonstreerivad: Azure Databricksi leidmist Marketplace'ist, tööruumi loomist, ressursside juurutamist, tööruumi käivitamist ja Databricksi avalehel navigeerimist koos näidismärkmikega.
Esitlus koosneb 53 slaidist, mis hõlmavad: Azure'i andmevaldkonna ülevaadet, suurandmete lahenduste võrdlust, Apache Sparki aluseid, Azure Databricksi platvormi üksikasju, tööruumi funktsioone, kolme etalonarhitektuuri, hinnastamise ja toote väljavaateid, reaalajas demo läbimängu ja esimesi samme alustamiseks.
Create Your Own Slides
Turn your ideas into professional presentations in seconds with 2slides AI.
Võta eeskuju professionaalsetest disainidest, vali oma stiil ja genereeri slaidid täiusliku tekstirenderdusega. Nano Banana jõul – alusta oma esitluse loomist kohe.
Sinu AI-agent slaidide loomiseks. Säästa aega ja sära kiiremini nutika esitluste loomisega.
© 2026 2slides. Kõik õigused kaitstud.