Kynning á Azure Databricks — Stórgagnagreining knúin af Apache Spark á Microsoft Azure
Notar forsíðu þessarar kynningar sem stílfyrirmynd fyrir glærur úr þínu eigin efni. Eða veldu hvaða síðu sem er hér fyrir neðan og notaðu uppsetningu hennar sem fyrirmynd.
Flýtileiðsögn
Merki
Deila glærunum
Kynning á Azure Databricks — Stórgagnagreining knúin af Apache Spark á Microsoft Azure
Ítarleg sýn á hverja glærusíðu, þar á meðal útlit, lykilefni og sjónræna þætti.
Titilglæra eftir James Serra, Big Data Evangelist hjá Microsoft
Titill til vinstri með ljósmynd af borgarnótt til hægri, gullin ör sem áhersla
Ferilskrá James Serra — Microsoft Big Data Evangelist, 30 ára reynsla í UT, MCSE vottanir, PASS fyrirlesari, fyrrum SQL Server MVP, höfundur
Punktalisti með andlitsmynd og MVP-merki
Viðfangsefni: Arkitektúr stórgagna, hvers vegna gagnalón, ofan-frá vs neðan-frá, skilgreining á gagnalóni, Hadoop sem gagnalón, nútímaleg gagnahús, sameinuð fyrirspurnagerð, lausnir í skýinu, SMP vs MPP
Einfaldur punktalisti
Blendingarkitektúr (hybrid): staðnet (byggingartákn) og ský (skýjatákn) sem bæði styðja rekstrargagnagrunna, gagnahús og gagnalón. Gagnagerðir: LOB, CRM, netgögn, myndir, samfélagsmiðlar, IoT
Tveir dálkar með blendinga-ör á milli staðnets og skýs
SQL Server (innanhúss) ↔ Hybrid ↔ Azure Data Services. SQL Server: leiðandi í iðnaði, #1 í TPC-H, T-SQL yfir öll gögn. Azure: 70% hraðara en Aurora, 2x meiri alþjóðleg útbreiðsla en Redshift, No Limits Analytics 99,9% SLA
Sama hybrid-uppsetning þar sem samkeppnismælikvarðar eru dregnir fram
Kaflaskil fyrir Azure stórgagnahlutann
Hvítur texti á bláum bakgrunni
Rófið frá stjórnun til notendavænni: Azure Marketplace (IaaS, hvaða Hadoop sem er) → Azure HDInsight (stýrðir klasar) → Azure Databricks (Spark án núnings) → Azure Data Lake Analytics (vinnsla sem þjónusta). Geymsla: Azure Data Lake Store og Azure Storage
Fylkismynd með ásum fyrir stjórnun vs. notendavænni
Heildarferli: Inntaka (Data Factory, Kafka, Event Hub/IoT Hub) → Geymsla (Blobs, Data Lake) → Undirbúningur og þjálfun (Databricks, HDInsight, ML) → Líkön og miðlun (Cosmos DB, SQL Database, SQL DW, Analysis Services) → Greind (Forspáröpp, skýrslur, mælaborð)
Lárétt fimm fasa ferlimynd með Azure þjónustutáknum
Kaflaskil fyrir ítargreiningu á Azure Databricks
Hvítur texti á bláum bakgrunni
Opinn hugbúnaður hannaður fyrir hraða, notendavænt viðmót og flókna greiningu. 100x hraðari en Hadoop í vinnsluminni. Stærsta OSS verkefnið með yfir 1000 þátttakendur. Stækkanlegt: Scala, Java, Python, Spark SQL, GraphX, Streaming, MLlib
Punktalisti með Apache Spark lógóinu
Hröð, einföld og samvinnumiðuð Spark-greining sem er bestuð fyrir Azure. Það besta úr Databricks + það besta frá Microsoft. Fimm lykileiginleikar: Samstarf við stofnendur Apache Spark, uppsetning með einum smelli, gagnvirkt vinnusvæði, innbyggð Azure samþætting (Power BI, SQL DW, Cosmos DB), öryggi á fyrirtækjastigi (AD, reglufylgni, SLA)
Titill með formúlu (Databricks + Microsoft) og fimm eiginleikar með táknum
Samræmd umgjörð: Spark SQL (gagnvirkar fyrirspurnir), Spark MLLib (vélnám), Spark Streaming (straumvinnsla), GraphX (netvinnslur) — allt ofan á Spark Core vél með Yarn, Mesos eða sjálfstæðri röðun (Standalone Scheduler)
Lagskipt arkitektúrsmynd með fjórum einingum ofan á kjarnavél
Samanburðarmælingar: 5x hraðara en hefðbundið Spark á AWS (11.674 vs. 53.783 sek.), 8x hraðara en Presto á AWS (35,3 vs 293 sek), 3x hraðara en Impala innanhúss í gegnum Cloudera (1.149.264 vs 3.331.440 sek)
Þrjú lárétt súlurit hlið við hlið
Eitt samræmt API (RDD), hægt að blanda saman vinnslugerðum, útilokar gagnaflutning milli véla. Ferli: Inntaksstraumar → Spark Streaming → Spark ML → Spark SQL → NoSQL gagnagrunnur
Punktalisti vinstra megin, lóðrétt ferlimynd hægra megin
Þrjár stoðir: Aukin framleiðni (ræsing með einum smelli, Power BI, samvinna, innbyggð Azure samþætting), byggt á öruggasta skýinu (AD öryggi, nákvæmar aðgangsstýringar, reglufylgni), stærðargráða án takmarkana (gríðarleg afköst, hraðasta Spark vélin)
Þriggja dálka uppsetning með feitletruðum fyrirsögnum
Heildarmynd af vettvangi: Gagnaveitur (IoT, skýjageymsla, Hadoop, gagnavöruhús) → Azure Databricks (samvinnusvæði + keyrsla á framleiðsluverkum og vinnuflæði + bestuð keyrsluvél) → Úttak (vélnámslíkön, BI tól, gagnaútflutningur, gagnavöruhús)
Þriggja laga mynd af vettvangi með inntaki og úttaki
Byrjaðu á nokkrum sekúndum (einn smellur), gagnvirk könnun (R, Python, Scala, SQL vinnubækur), rauntíma samvinna með breytingasögu (GitHub, Bitbucket), innbyggð myndgerð (matplotlib, ggplot, D3), PowerBI mælaborð
Lýsing á eiginleikum vinstra megin, arkitektúrsmynd hægra megin (vinnusvæðislag dregið fram)
Verkaröðun, vinnuflæði vinnubóka (fjölþrepa ferli), keyrsla vinnubóka sem seig Spark-verk, tilkynningar og atburðaskráning, innbyggð samþætting við Azure SQL DW, Cosmos DB, Data Lake Store, Blob Storage, Event Hub
Lýsing á eiginleikum vinstra megin, vettvangsmynd hægra megin (verkalag dregið fram)
DBIO eining fyrir bestu I/O afköst, fullstýrður vettvangur á Azure sem fjarlægir flækjustig, netþjónslaus og teygjanleg skýjaþjónusta, starfrækt á gríðarlegum mælikvarða á heimsvísu
Lýsing á eiginleikum vinstra megin, vettvangsmynd hægra megin (keyrslulag dregið fram)
Fimm kjarnaþættir: Klasar, söfn, vinnusvæði, verk, vinnubækur — allt tengt við miðlæga Azure Databricks gátt
Miðlæg skýringarmynd með Azure Databricks í miðjunni og fimm bláum kössum
Driver Program (SparkContext) → Cluster Manager → Worker Nodes (Cache + Task) → Data Sources (HDFS, SQL, NoSQL). Driver keyrir aðalföll, worker-hnútar lesa/skrifa gögn, vista í flýtiminni sem RDD og keyra á sýndarvélum í opinberum skýjalausnum
Stigveldi arkitektúrs til hægri, punktalisti til vinstri
Azure Active Directory samþætting: engin sérstök notendastýring, AAD notendur virka beint í Databricks, framseld SSO auðkenning, AAD-byggð aðgangsstýring fyrir vinnubækur (notebooks), klasa, verk og gögn
Punktalisti til vinstri, flæðirit fyrir AAD auðkenningu til hægri
Sjálfvirk skölun (lágmarks/hámarks fjöldi hnúta, sjálfvirk skölun við álag) og sjálfvirk stöðvun (tímamörk í aðgerðaleysi, sjálfvirk slökkvun). Kostir: engin þörf á að giska á fjölda hnúta, engar handvirkar breytingar, engin auðlindasóun, greitt aðeins fyrir notkun
Lýsingartexti til vinstri, skjáskot af klasagerð í Azure Portal til hægri
Verk senda Spark forritskóða til keyrslu á klösum. Keyra vinnubækur eða JAR-skrár. Alhliða GUI-tól til að búa til, stýra og vaka yfir verkum
Lýsingartexti til vinstri, dagatal/klukku tákn til hægri
Vinnusvæði skipuleggja og deila vinnubókum, söfnum (libraries) og mælaborðum. Stigveldi möppuskipulags, einkamöppur fyrir hvern notanda, nákvæm aðgangsstýring fyrir örugga samvinnu
Punktalisti til vinstri, tvö skjáskot af vinnusvæðum í Azure Portal til hægri
Vinnubækur (notebooks) til að skrifa og keyra Spark forrit beint á klösum. Styðja nákvæmar aðgangsheimildir, tilvalið fyrir frumgerðir og ítrekaða þróun. Samanstendur af kóða, gögnum, myndrænni framsetningu, athugasemdum og glósum
Punktalisti til vinstri, skjáskot af vinnubók með línuriti til hægri
Söfn geyma Python, R, Java/Scala forritasöfn innan vinnusvæða. Óbreytanleg eftir innflutning. Sérsniðin með Init Scripts. Stýranleg með Library API. Styður PyPI, Maven, JAR og R CRAN heimildir
Punktalisti til vinstri, þrjú skjáskot af gerð safna í Azure Portal til hægri
Innbyggð myndræn framsetning: Súlurit, punktarit, kort, línurit, svæðisrit, kökurit, hlutfallarit, tíðnirit, kassarit, Q-Q rit, Pivot. Allar vinnubækur styðja Databricks myndsetningu óháð forritunarmáli. Matplotlib birtist sem myndir. Dæmi um PySpark SQL kóða með korti af Bandaríkjunum
Punktalisti til vinstri, PySpark kóði + kort til hægri, valmynd fyrir tegund rits fyrir neðan
Dreift skráarkerfi ofan á Azure Blob Storage. Tengdu Azure Storage geymslur, vistaðu staðbundið á SSD, aðgengilegt í Python/Scala/CLI/dbutils, gögn varðveitast eftir að klasa er lokað, foruppsett á Spark klösum
Punktalisti til vinstri, arkitektúrsmynd af DBFS til hægri
Dreifð SQL fyrirspurnavél fyrir skipulögð gögn. Keyrðu fyrirspurnir á ytri gagnagrunna, skrár, Hive töflur. SQL eða HiveQL. Tengingar í Python, Scala, Java. Innbyggt skipulagt streymi (structured streaming). Notar Catalyst bestun og Tungsten keyrslu
Punktalisti til vinstri, arkitektúrsmynd af Spark SQL til hægri
Gagnagrunnar sem söfn af töflum, skilgreindir í gegnum GUI eða API/vinnubækur. Databricks notar Hive metastore. Styður skiptar töflur (partitioned tables) og skiptingarsíun fyrir betri afköst
Punktalisti til vinstri, viðmót gagnagrunna/tafla í Azure Portal til hægri
Samhliða keyrð ML reiknirit: MMLSpark, Spark ML, Deep Learning, SparkR. Líkanaval með kross-prófun (cross-validation). DataFrame-byggt API (Spark 2.0+). MLlib foruppsett. Þriðja aðila lausnir: H2O, SciKit-learn, XGBoost
Punktalisti til vinstri, skýringarmynd af Spark ML ferli til hægri
Sameinað API fyrir streymi og lotuvinnslu (batch) fyrir nákvæma stöðuháða streymisvinnslu. Keyrir á Spark SQL með DataFrame API. Stigvaxandi, samfelldar uppfærslur. Styður event-time glugga, samskeytingu streymis og lotuvinnslu, eyðingu tvítekninga (deduplication). Heimildir: Kafka, skrár (JSON, CSV, Parquet)
Punktalisti til vinstri, tvær skýringarmyndir til hægri (ótakmörkuð tafla + stigvaxandi keyrsla)
Structured Streaming samþættist Apache Kafka á HDInsight. Streymisinntaka á fyrirtækjastigi. Engin þörf á viðbótar gáttum. Kafka og Databricks klasar verða að vera á sama Azure Virtual Network
Texti efst, arkitektúrsmynd af samþættingu neðst
API fyrir net (graph) og samhliða netútreikninga. Sameinar ETL, könnunargreiningu og ítrekaða netútreikninga. Reiknirit: PageRank, Connected Components, Label Propagation, SVD++, Triangle Count. Aðeins Scala og RDD API
Þriggja hluta uppsetning: eiginleikar, listi yfir reiknirit, PageRank samanburðarmyndir
Einfalt viðmót byggt á REST API. Tvö undir-CLI: Workspace CLI og DBFS CLI. Innleiðir DBFS API og Workspace API
Stigveldismynd: Databricks CLI → Workspace CLI + DBFS CLI
Sjö API-viðmót: Cluster API (búa til/breyta/eyða klösum), DBFS API, Groups API, Instance Profile API, Job API, Library API, Workspace API (flytja inn/út vinnubækur)
Trektarmynd vinstra megin sem vísar á API-töflu hægra megin
Kaflaskil fyrir arkitektúr notkunartilfella
Hvítur texti á bláum bakgrunni
Arkitektúr: Óskipulögð gögn (annálar, skrár, miðlar) → Data Factory → Azure Storage → Azure Databricks (Spark) → Azure SQL Data Warehouse. Skipulögð gögn (viðskiptaforrit) → Data Factory → Polybase → SQL DW → Greiningarmælaborð
Fimm fasa ferli með tveimur gagnastraumum
Arkitektúr: Óskipulögð gögn → Data Factory → Azure Storage → Azure Databricks (Spark MLlib, SparkR, SparklyR) → Azure Cosmos DB → Vef- og farsímaforrit. Skipulögð gögn → Polybase → SQL DW → Greiningarmælaborð
Fimm fasa ferli með áherslu á vélnám og Cosmos DB gagnamiðlun
Arkitektúr: Óskipulögð gögn → Azure HDInsight (Kafka) → Azure Databricks (Spark) ↔ Azure Storage → Polybase → Azure SQL Data Warehouse → Greiningarmælaborð
Fimm fasa ferli með Kafka streymisinntöku
Kaflaskil fyrir kafla um verðlagningu og samanburð
Hvítur texti á bláum bakgrunni
Þriggja dálka samanburður: Azure HDInsight (Hadoop/HDP, PaaS, Ranger öryggi, verð miðað við AWS EMR), Azure Databricks (Spark, SaaS, AD öryggi, verð miðað við Databricks á AWS), lausnir þriðja aðila (Cloudera/MapR/Hortonworks, IaaS, verðlagning birgja)
Samanburðarspjöld í þremur dálkum
Ítarlegur samanburður: Azure HDInsight (Hortonworks, stórdatavélar, VNET, Ranger, OMS, Data Factory stýring, 27 svæði), Azure Databricks (Spark-fyrst, ein vél, AAD OAuth, RBAC, sjálfvirk skölun, netþjónslaus (serverless), SQL DW samþætting), Azure ML (eigin ML-lausn, Python/R, tilraunir, líkanastjórnun, IDE samþætting)
Ítarlegur samanburður á eiginleikum í þremur dálkum
Kaflaskil fyrir beina kynningu
Hvítur texti á bláum bakgrunni
Skjámynd úr Azure Portal sem sýnir Azure Databricks (forskoðun) þjónustusíðuna í Marketplace > Data + Analytics. Lýsing á sameinuðum greiningarvettvangi, forskoðun á Databricks vinnusvæði
Skjámynd úr Azure Portal í fullri breidd
Azure Portal: Eyðublað til að búa til Azure Databricks þjónustu með reitum fyrir nafn vinnusvæðis, áskrift, auðlindahóp og staðsetningu (West US)
Skjámynd í fullri breidd af eyðublaði í Azure Portal
Azure Portal stjórnborð sem sýnir innleiddar auðlindir, þar á meðal Databricks þjónustu, ásamt Quickstart leiðbeiningum fyrir VM, App Service, Functions og SQL Database
Skjámynd í fullri breidd af Azure stjórnborði
Yfirlitssíða auðlinda í Azure Portal með „Launch Workspace“ hnappi, upplýsingum um stýrðan auðlindahóp, áskriftarupplýsingum og flýtivísunum: Skjölun, Byrjaðu hér, Flytja inn gögn, Glósubók, Leiðbeiningar fyrir stjórnendur
Skjámynd í fullri breidd af ítarsíðu auðlindar
Upphafssíða Databricks vinnusvæðis sem sýnir valdar glósubækur (Apache Spark Intro, Data Scientists, Structured Streaming), nýja hluti (Glósubók, Verk, Klasi, Tafla, Safn), tengla í skjölun og nýlega opnað
Skjámynd í fullri breidd af Databricks vinnusvæði
Kaflaskil fyrir leiðbeiningar um hvernig skuli byrja
Hvítur texti á bláum bakgrunni
Þrjú skref: Skráðu þig í forskoðun, fáðu sérfræðinga Microsoft í vinnustofur, lærðu meira á azure.com/databricks
Þrjú skref með táknum vinstra megin, mynd af viðskiptafundi hægra megin
Loka-glæra fyrir spurningar og svör með tengiliðaupplýsingum: James Serra, Big Data Evangelist — netfang, Twitter @JamesSerra, LinkedIn, blogg á JamesSerra.com
Stór texti fyrir spurningar og svör með appelsínugulu spurningarmerki, tengiliðaupplýsingar neðst
Algengar spurningar um þessa glæru og undirliggjandi kynningarefni.
Azure Databricks er hröð, einföld og samvinnumiðuð greiningarlausn byggð á Apache Spark, fínstillt fyrir Azure og hönnuð sem SaaS-þjónusta. HDInsight er stýrð Hadoop-dreifing (Hortonworks) sem styður margar vélar (Spark, Hive, Kafka, HBase). Databricks hentar best fyrir verkefni sem einblína á Spark með vinnubókum (notebooks) og samvinnu, á meðan HDInsight hentar viðskiptavinum sem þurfa aðra Hadoop-tækni en Spark.
Þessi kynning var gerð af James Serra, sérfræðingi í stórgögnum (Big Data Evangelist) hjá Microsoft. Hann hefur yfir 30 ára reynslu af upplýsingatækni, fjölmargar Microsoft-vottanir (MCSE) og er höfundur bókar um SQL Server 2012 skýrslugjöf. Hann er fyrrum SQL Server MVP og tíður fyrirlesari á PASS-ráðstefnum.
Kynningin fer yfir alla helstu Spark-hluta: Spark SQL (dreifð fyrirspurnavél), Spark MLlib (vélanám), Spark Structured Streaming (rauntímavinnsla) og GraphX (netgreining), auk grunnarkitektúrs Spark með RDD, Driver/Worker-líkani og stjórnun klasa (cluster management).
Já, hún inniheldur samanburðargögn (benchmarks) sem sýna að Databricks Spark er fimm sinnum hraðara en hefðbundið Apache Spark á AWS, átta sinnum hraðara en Apache Presto á AWS og þrisvar sinnum hraðara en Impala á staðneti (on-premises) í gegnum Cloudera, með vísan í opinberar mælingar.
Kynntir eru þrír heildstæðir Azure-viðmiðunararkitektúrar: Nútímalegt stórgagnahús (lotuvinnsla/batch ETL með SQL DW), háþróuð greining á stórgögnum (vélanám með Cosmos DB fyrir vef/farsíma) og rauntímagreining á stórgögnum (Kafka-streymi með Spark-vinnslu).
Já, kynningin nær yfir arkitektúr Azure Databricks vettvangsins, grunneiningar (klasa, vinnubækur, verk, vinnusvæði, söfn), öryggi með AAD-samþættingu, DBFS, Spark SQL, MLlib, Streaming og REST API — allt lykilatriði fyrir Azure gagnaverkfræðivottanir.
Já, hún inniheldur skref-fyrir-skref skjáskot úr Azure Portal sem sýna hvernig á að finna Azure Databricks í Marketplace, stofna vinnusvæði, innleiða auðlindir, ræsa vinnusvæðið og vafra um heimasíðu Databricks með völdum vinnubókum.
Kynningin samanstendur af 53 glærum sem fjalla um: yfirlit yfir Azure-gagnaumhverfið, samanburð á stórgagnalausnum, grundvöll Apache Spark, nánari lýsingu á Azure Databricks, eiginleika vinnusvæða, þrjá viðmiðunararkitektúra, verð og vöruleiðbeiningar, sýnikennslu og fyrstu skref.
Create Your Own Slides
Turn your ideas into professional presentations in seconds with 2slides AI.
Sæktu innblástur í faglega hönnun, veldu þinn stíl og búðu til glærur með fullkominni textabirtingu. Knúið af Nano Banana—byrjaðu að búa til kynninguna þína núna.
Þinn AI-þjónn fyrir glærur. Sparaðu tíma, skín hraðar með snjallri kynningargerð.
© 2026 2slides. Allur réttur áskilinn.