Data Warehouse Design: The Good, the Bad, the Ugly: The Good, The Bad, The Ugly

Hyvän Business Intelligence (BI) -toiminnon avulla organisaatiosi voi kysyä luotettavista lähteistä saatuja tietoja ja käyttää vastauksia saadakseen kilpailuetua toimialallasi. Ensimmäinen askel tehokkaan BI:n saavuttamiseksi on hyvin suunniteltu tietovarasto. Tietovaraston suunnittelu on prosessi, jossa rakennetaan ratkaisu, jolla integroidaan tietoja useista lähteistä, jotka tukevat analyyttistä raportointia ja tietojen analysointia. Huonosti suunniteltu tietovarasto voi johtaa epätarkkojen lähdetietojen hankkimiseen ja käyttämiseen, mikä vaikuttaa kielteisesti organisaatiosi tuottavuuteen ja kasvuun. Tässä blogikirjoituksessa tarkastellaan tietovaraston suunnitteluprosessia korkean tason näkökulmasta vaatimusten keräämisestä toteutukseen.

Tarpeiden kerääminen

Tarpeiden kerääminen on tietovaraston suunnitteluprosessin ensimmäinen vaihe. Vaatimusten keräämisvaiheen tavoitteena on määrittää kriteerit tietovaraston onnistuneelle toteutukselle. Organisaation pitkän aikavälin liiketoimintastrategian tulisi olla yhtä tärkeä kuin nykyiset liiketoiminnalliset ja tekniset vaatimukset. Käyttäjäanalyysi- ja raportointivaatimukset on määriteltävä, samoin kuin laitteisto-, kehitys-, testaus-, toteutus- ja käyttäjäkoulutusvaatimukset.

Kun liiketoiminta- ja teknisestä strategiasta on päätetty, seuraavassa vaiheessa on selvitettävä, miten organisaatio varmuuskopioi tietovaraston ja miten se toipuu, jos järjestelmä epäonnistuu. Katastrofista palautumista koskevan suunnitelman laatiminen vaatimuksia kerättäessä varmistaa, että organisaatio on valmis reagoimaan nopeasti tietovarastoon kohdistuviin suoriin ja epäsuoriin uhkiin.

Fyysisen ympäristön määrittäminen

Kun liiketoimintatarpeet on määritetty, seuraava vaihe on määrittää tietovaraston fyysinen ympäristö. Vähintään olisi oltava erilliset fyysiset sovellus- ja tietokantapalvelimet sekä erilliset ETL/ELT-, OLAP-, kuutio- ja raportointiprosessit kehitykselle, testaukselle ja tuotannolle. Erillisten fyysisten ympäristöjen rakentamisella varmistetaan, että kaikki muutokset voidaan testata ennen niiden siirtämistä tuotantoon, kehitys ja testaus voidaan suorittaa pysäyttämättä tuotantoympäristöä, ja jos tietojen eheys herää epäilyksenalaiseksi, tietotekniikkahenkilöstö voi tutkia ongelmaa vaikuttamatta negatiivisesti tuotantoympäristöön.

Tietomallinnus

Kun vaatimusten keruu ja fyysiset ympäristöt on määritelty, seuraava vaihe on määritellä, miten tietorakenteita käytetään, yhdistetään, käsitellään ja tallennetaan tietovarastossa. Tätä prosessia kutsutaan tietomallinnukseksi. Tietovaraston suunnittelun tässä vaiheessa tunnistetaan tietolähteet. Hankkeen onnistumisen kannalta on ratkaisevan tärkeää tietää, missä alkuperäiset tiedot sijaitsevat, ja yhtä tärkeää on, että tiedot ovat saatavilla. Kun tietolähteet on tunnistettu, tietovarastotiimi voi aloittaa loogisten ja fyysisten rakenteiden rakentamisen vahvistettujen vaatimusten pohjalta.

ETL

ETL-prosessi vie eniten aikaa kehittämiseen ja vie suurimman osan toteutuksesta. Tietolähteiden tunnistaminen tietomallinnusvaiheessa voi auttaa lyhentämään ETL:n kehitysaikaa. ETL:n tavoitteena on tarjota optimoitu latausnopeus laadun kärsimättä. Epäonnistuminen prosessin tässä vaiheessa voi johtaa ETL-prosessin ja koko tietovarastojärjestelmän huonoon suorituskykyyn.

OLAP-kuutioiden suunnittelu

On-Line Analytical Processing (OLAP) on vastausmoottori, joka tarjoaa infrastruktuurin ad-hoc-käyttäjäkyselyille ja moniulotteiselle analyysille. OLAP-suunnittelun määrittelyn tulisi tulla niiltä, jotka tulevat tekemään kyselyjä. Dokumentaatio, jossa määritetään OLAP-kuution ulottuvuudet ja toimenpiteet, olisi hankittava tietovaraston suunnitteluprosessin alussa. OLAP-suunnittelun kolme kriittistä elementtiä ovat:

  • Ryhmittelytoimenpiteet – numeeriset arvot, joita halutaan analysoida, kuten liikevaihto, asiakkaiden määrä, kuinka monta tuotetta asiakkaat ostavat tai keskimääräinen ostosumma.
  • Dimension – mihin toimenpiteet tallennetaan analyysia varten, kuten maantieteellinen alue, kuukausi tai vuosineljännes.
  • Granulaarisuus – alin yksityiskohtaisuustaso, jonka haluat sisällyttää OLAP-tietokokonaisuuteen.

Kehityksen aikana varmista, että OLAP-kuution prosessi on optimoitu. Tietovarasto ei yleensä ole yöllinen prioriteettiajo, ja kun tietovarasto on päivitetty, OLAP-kuution päivittämiseen jää vain vähän aikaa. Jos kumpaakaan ei päivitetä ajoissa, järjestelmän suorituskyky voi heikentyä. Ottamalla aikaa tehokkaimman OLAP-kuution generointipolun tutkimiseen voidaan vähentää tai ehkäistä suorituskykyongelmia sen jälkeen, kun tietovarasto on otettu käyttöön.

Front End Development

Tässä vaiheessa liiketoimintatarpeet on kerätty, fyysinen ympäristö on valmis, tietomallista on päätetty ja ETL-prosessi on dokumentoitu. Seuraavaksi työstetään, miten käyttäjät pääsevät käsiksi tietovarastoon. Front end -kehitys on se, miten käyttäjät pääsevät käsiksi tietoihin analysointia ja raporttien suorittamista varten. Käytettävissä on monia vaihtoehtoja, kuten etusivun rakentaminen itse tai valmiin tuotteen ostaminen. Joka tapauksessa on otettava huomioon muutamia seikkoja, jotta loppukäyttäjät saavat parhaan mahdollisen käyttökokemuksen.

Turvallinen pääsy tietoihin millä tahansa laitteella – pöytätietokoneella, kannettavalla tietokoneella, tabletilla tai puhelimella – olisi otettava ensisijaisesti huomioon. Työkalun tulisi antaa kehitystiimillesi mahdollisuus muokata taustarakennetta yritystason raportointivaatimusten muuttuessa. Sen tulisi myös tarjota graafinen käyttöliittymä (GUI), jonka avulla käyttäjät voivat muokata raporttejaan tarpeen mukaan. OLAP-moottori ja tiedot voivat olla luokkansa parhaita, mutta jos käyttäjät eivät pysty käyttämään tietoja, tietovarastosta tulee kallis ja hyödytön tietovarasto.

Raporttikehitys

Useimmille loppukäyttäjille ainoa kosketuspinta tietovarastoon on heidän tuottamansa raportit. Kuten front end development -osiossa mainittiin, käyttäjien kyky valita raporttikriteerit nopeasti ja tehokkaasti on olennainen ominaisuus tietovarastoraporttien luomisessa. Toimitusvaihtoehdot ovat toinen näkökohta. Sen lisäksi, että käyttäjät saavat raportit suojatun web-käyttöliittymän kautta, he voivat haluta tai tarvita raportteja sähköpostin liitetiedostona tai laskentataulukkona. Tietojen virtauksen ja näkyvyyden hallinta on toinen raporttien kehittämiseen liittyvä näkökohta, joka on otettava huomioon. Käyttäjäryhmien kehittämisellä, joilla on pääsy tiettyihin tietosegmentteihin, olisi varmistettava tietoturva ja -valvonta. Raportointi muuttuu ja sen pitäisi muuttua paljon alkuperäisen käyttöönoton jälkeen. Hyvin suunnitellun tietovaraston pitäisi pystyä käsittelemään uudet raportointipyynnöt ilman suurempia tai pienempiä muutoksia tietovarastojärjestelmään.

Suorituskyvyn virittäminen

Aiemmin tässä kirjoituksessa suositeltiin erillisten kehitys- ja testausympäristöjen luomista. Näin toimimalla organisaatiot voivat tarjota järjestelmän suorituskyvyn virittämistä ETL:lle, kyselyjen käsittelylle ja raporttien toimittamiselle keskeyttämättä nykyistä tuotantoympäristöä. Varmista, että kehitys- ja testausympäristöt – laitteisto ja sovellukset – jäljittelevät tuotantoympäristöä, jotta kehitystyössä luodut suorituskyvyn parannukset toimivat suorassa tuotantoympäristössä.

Testaaminen

Kun tietovarastojärjestelmä on kehitetty liiketoimintatarpeiden mukaisesti, seuraava vaihe on sen testaus. Testaus eli laadunvarmistus on vaihe, jota ei pidä ohittaa, koska sen avulla tietovarastotiimi voi paljastaa ja korjata ongelmat ennen ensimmäistä käyttöönottoa. Testausvaiheen laiminlyönti voi johtaa toteutuksen viivästymiseen tai tietovarastoprojektin lopettamiseen.

Toteutus

Aika ottaa käyttöön. Päätös siitä, asetetaanko järjestelmä kaikkien saataville kerralla vai tehdäänkö käyttöönotto porrastetusti, riippuu loppukäyttäjien määrästä ja siitä, miten he käyttävät tietovarastojärjestelmää. Toinen tärkeä osa järjestelmän käyttöönottoa, joka usein jätetään huomiotta, on loppukäyttäjien koulutus. Riippumatta siitä, kuinka ”intuitiivisena” tietovarastotiimi ja kehittäjät pitävät graafista käyttöliittymää, jos varsinaisten loppukäyttäjien mielestä työkalua on vaikea käyttää tai jos he eivät ymmärrä, mitä hyötyä tietovaraston käyttämisestä raportointiin ja analyyseihin on, he eivät ota sitä käyttöön.

Tietovarastosuunnittelun parhaiden toimintatapojen ymmärtäminen

Tietovarastosuunnittelu on aikaa vievää ja haastavaa puuhaa. Jokaisesta vaiheesta löytyy hyviä, huonoja ja rumia puolia. Jos organisaatio kuitenkin käyttää aluksi aikaa hyvien vaatimusten laatimiseen, prosessin myöhemmät vaiheet sujuvat loogisemmin ja johtavat onnistuneeseen tietovaraston käyttöönottoon.

Vastaa

Sähköpostiosoitettasi ei julkaista.