Tietovarastoprojekti on perinteiseen järjestelmäprojektiin verrattuna vaikeammin rajattavissa ja luonteeltaan iteratiivisempi. Toki BI-hankkeeseen liittyvät myös perinteiset aspektit: aikataulusta, kustannuksista, testauksista jne. huolehtiminen. Meillä on mittava kokemus erilaisista tietovarastototeutuksista. Tiedämme mitä pitää ottaa huomioon, kuinka asiat kannattaa organisoida ja miten toteuttaa ratkaisuja eri ympäristöissä. Me autamme projektinne onnistumisessa!
Suunnittelu ja arkkitehtuurit
Datatyövälineiden osaamisen lisäksi vaaditaan vankkaa toimialaosaamista sekä yritysten eri toimintojen - myynnin ja markkinoinnin, laskentatoimen, rahoituksen, logistiikan jne. tuntemusta. Meillä kaikilla on kaupallinen korkeakoulututkinto sekä laaja kokemus useilta toimialoilta ja eri yritysten toiminnoista. Meillä on näkemys miten bisneksen tahtotila muutetaan toimivaksi tekniseksi ratkaisuksi. Osaamme niin liiketoiminnan kuin IT:n kielen ja pystymme toimimaan tulkkina näiden välillä.
Toteutus
Hyvin suunniteltu on vielä kokonaan tekemättä. Meille on laaja kokemus eri toteutusteknologioista. Esimerkkinä voidaan mainita Microsoft SQL Server ja Power BI, SAP BusinessObjects, TIBCO JasperSoft, Informatica. BI-ratkaisun toteuttaminen ei ole kuitenkaan välineurheilua. Toteutuksen tärkein palanen on kokonaisuuden hallinta ja ymmärtäminen.
Modernit tietovarasto ja big data ratkaisut
Mitä oikeasti on big data sekä tämän päivän business intelligence ratkaisut. Alla käytännön esimerkkejä tämän päivän toimivista ratkaisusta. Me teemme näitä!
Raportointi pilvestä
Raportointi ja Analysointi
Data Lake -arkkitehtuuri
Amazon AWS
Pilvipohjainen tietovarasto
Tietovarastot
Reaaliaikainen tietovarasto
Tietovarastot
Master datan hallintaa
SQL Server
Data-analytiikka
Data-analytiikka
Ajankohtaista
Hitsaamon kuulumisia
2016-11
AWS Re:Invent 2016
Hitsaamo osallistui Amazon Web Services Re:Invent 2016 tapahtumaan
2016-10
Liity Hitsaamoon
Etsimme uusia kykyjä joukkoomme. Tällä hetkellä haemme nuoria valmistumassa olevia kykyjä. Oletko kiinnostunut tiedon analysoinnista ja tunnet pilvi- ja big data -teknologiat: Hadoop, Amazon AWS, Google, Azure jne. Ota yhteyttä!
2016-10
Terosta MCP
Tero on saanut Microsoft Certified Professional -sertifikaatin SQL Serveristä.
Ota yhteyttä meihin
Hitsaajat
Sähköposti: etunimi.sukunimi@hitsaamo.fi
Jali Berg
KTM Tel. +358 40 715 7472
Harri Kinnunen
KTM Tel. +358 40 570 6699
Tero Kruth
KTM Tel. +358 40 532 2137
Hitsaamon partnerit ovat business intelligence -konkareita. Kaikilla meillä on yli viidentoista vuoden kokemus tietovarastoinnista ja business intelligence -ratkaisuista. Olemme olleet toteuttamassa liiketoiminnan ohjauksen järjestelmiä useilla eri toimialoilla.
Ota yhteyttä
Tietotekniikkatoimisto Hitsaamo Oy Sinimäentie 10 B 02630 Espoo
Raportointi pilvestä
Microsoft PowerBI
Nykyaikaiset raportointiratkaisut voidaan hankkia myös suoraan pilvestä ilman erillistä raportointipalvelimen asentamista. Pilvipalvelun etuina on nopeampi käyttöönotto ilman etukäteiskustannuksia, palvelimesta ja päivityksistä huolehtii joku muu (päällä 24⁄7) sekä palvelun nopea skaalautuvuus sekä ylös- että alaspäin tarpeiden muuttuessa. Monet toimittajat tarjoavat perustoiminnallisuuden jopa ilmaiseksi, jolloin palvelun sopivuuden omiin tarpeisiin pystyy kattavasti varmistamaan. Joissakin tapauksissa kehittyneempien raporttien tekeminen vaatii kuitenkin raporttikehittimen asennusta työasemalle.
Yksi esimerkki pilvipohjaisesta raportointiratkaisusta on Microsoftin PowerBI. PowerBI on tämän hetken kuumin nimi markkinoilla ja se on ansaitusti nostanut Microsoftin BI-alustan mm. Gartnerin raportin johtotähdeksi. Jos tarvitset PowerBI asiantuntijaa, ota yhteyttä meihin!
Pilvialustat tarjoavat uudenlaisen tavan toteuttaa koko tietovarastoarkkitehtuuri. Viime aikoina paljon puhuttu konsepti on ollut data lake. Mikä on data lake ja miten se toteutetaan Amazon Web Services -alustalla.
Data lake on paikka mihin raakadata tuodaan ja tallennetaan jatkojalostusta varten. Data lake ei sisällä tietoa vakiomuotoisena, vaan voi sisältää erilaisia data lähteitä, jotka voivat olla täysin erityyppisiä, kuten peräkkäistiedostoja, rakenteellisia tiedostoja (esim. JSON, XML, erilaiset logitiedostot, …) tai täysin vapaamuotoista dataa. Usein data lake toteutetaan Hadoop-teknologiaan pohjautuen. AWS lähestyy asiaa toisin. Data lake luodaan AWS:n S3 tallennuspalveluun, joka on itsessään hajautettu ja monennettu tiedon nopeaa tallennusta ja hakua sekä luotettavuutta silmällä pitäen. S3 tallennustila on edullista, eikä tiedon muokkaukseen tarvittavia palvelinklustereita tarvitse varata etukäteen, vaan vasta sitten kun halutaan muokata. Uuden AWS Athena -palvelun avulla tietojen hyödyntäminen onnistuu data lake:sta suoraan SQL-kyselyinä. Kun halutaan tehdä monimutkaisempaa tiedon yhdistelyä tai datan manipulointia, voidaan S3 data lake:sta tehdä MapReduce-ajoja AWS Elastic MapReduce (EMR) -palvelua hyödyntämällä. EMR voi käyttää useita Hadoop ekosysteemin laajennuksia kuten Pig tai Hive tai määritellä tiedon jalostus ohjelmallisesti. Kun määrittelyt on tehty, voidaan ajo laittaa suoritukseen ja EMR varaa määritysten mukaisen palvelinkapasiteetin ajoa varten ja lopuksi vapauttaa resurssit. Maksat vain käytetystä prosessointiajasta, kätevää!
S3:n talletetut tiedot integroituvat saumattomasti muihin AWS-alustan palveluihin. Data voidaan viedä helposti AWS:n RDS-relaatiokantapalveluun, DynamoDB NoSQL-tietokantaan tai datawarehouse palveluun Amazon Redshiftiin.
Kun data lake sijaitsee pilvessä herää kysymys, miten tiedot saadaan sinne? AWS tarjoaa tähän useita eri vaihtoehtoja kuten reaaliaikaisen tiedon integroinnin menetelmät, suoraan konesaliin liitettävät dedikoidut tiedonsiirtoyhteydet tai tietojen massalataus offline-siirtona Snowballin avulla. Jos kiinnostuit AWS:n mahdollisuuksista ole yhteydessä meihin!
Hyödynnämme Amazon Web Services (AWS) sekä Microsoft Azuren tarjoamaa palveluvalikoimaa ja rakennamme koko tietovaraston pilveen. Esimerkiksi AWS tarjoaa mittavan valikoiman erilaisia tietokantavaihtoehtoja alkaen pienistä perinteisistä relaatiotietokannoista skaalautuen massiivisiin big data sekä sarakeorientoituneisiin (columnar storage) järeisiin tietovarasto tietokantaratkaisuihin. Ja maksat joustavasti vain siitä kapasiteetista mitä käytät! Myös tiedon integroinnin sekä raportoinnin ja analysoinnin ratkaisut voidaan hankkia AWS:sta samalla periaatteella.
Miten ratkaista eri sidosryhmien ajantasaisuusvaatimukset
Tiedon jalostaminen on aina tasapainottelua tiedon kattavuuden ja ajantasaisuuden välillä. Voit tietää verkkokauppasi euromääräisen myynnin välittömästi. Kuitenkin uusien asiakkaiden tapahtumat voidaan yhdistää myynteihin vasta, kun CRM-järjestelmän asiakastiedot päivittyvät seuraavan yön aikana. Tyypillisessä tietovarastoratkaisussa on korostettu kattavuutta ajantasaisuuden kustannuksella. Miksi näin? Syynä tähän on oikestaan vain, että “näin on aina tehty”. Tietovarastojen historiallinen ajatus on ollut toimia yhden totuuden lähteenä. Varastoa rakennettaessa on vältetty tilanteita, joissa johonkin liiketapahtumaan liittyvä totuus saattaisi elää ajan kuluessa.
On aika heittää vanha ajattelu roskakoriin ja hyväksyä se, että organisaation eri toimijoilla on eri käsitys siitä mikä on tiedon riittävä kattavuus ja luotettavuus. Verkkokaupasta vastaavalle riittävät myyntiluvut mainoksittain tai hakusanoittain, kunhan lukuihin voidaan reagoida nopeasti. Kun taas sisäinen laskenta voi odottaa myyntilukuja kirjanpidon tuotteittain vielä seuraavaan päivään. Uudessa mallissa tietovarasto on “loppujen lopuksi” kattava, mutta alustavat tiedot ovat niitä tarvitsevien saatavilla heti. Näin sama tietovarasto voi palvella sekä niitä, jotka kaipaavat ajantasaista tietoa että niitä, joille tietojen kattavuus on tärkeää.
Siirtyminen uuteen ajattelutapaan merkitsee muutoksia tekniselle toteutukselle, tietovarastoa ylläpitävälle organisaatiolle ja sen sidosryhmille. Hitsaamo voi auttaa organisaatiotasi muutoksen synnyttämisessä. Ota yhteyttä ja kerromme miten.
SQL Server ratkaisu tietojen puhdistamiseen ja master tietojen hallintaan
Master Data Managementilla tarkoitetaan (MDM) yrityksen ydintiedon hallintaa, tai liiketoimintakriittisen perustiedon hallintaa. MDM käsittää tiedonhallinnan prosessit, linjaukset, standardit ja välineet, joiden avulla organisaatio varmistaa yrityksen tiedon yhdenmukaisuuden, hallinnan, totuudenpitävyyden sekä vastuunjaon.
Ydintietojen verifiointia, käsittelyä ja eri järjestelmiin välitystä varten rakennetaan keskitin eli hubi. Näin ydintietoja voidaan hallita yhdessä paikassa ja välittää tieto eteenpäin toisiin järjestelmiin, joissa samaa tietoa hyödynnetään. Eri järjestelmien jakaessa yhtenäiset ydintiedot, myös tietojen yhdistely ja analysointi onnistuu paljon paremmin lopputuloksin.
MDM-ratkaisuun, kuten tietovarastointiinkin, liittyy olennaiselta osin tiedon laatu ja puhdistaminen. Katso oheisesta demokuvauksesta kuinka Microsoftin SQL Serverin työkaluja hyödynnettiin tiedon puhdistukseen ydintietojen avulla. Puhdistettava tieto koostui urheiluseurojen nimistä, joista piti päätellä kotikunta.
Data science, analytiikka, koneoppiminen, tiedon louhinta… Rakkaalla lapsella on monta nimeä. Mitä on data-analytiikka? Mihin sitä käytetään ja miten? Aihe on kaikkien huulilla, mutta mitä se on käytännössä?
Analytiikan avulla pyritään löytämään vastauksia monimutkaisiin kysymyksiin, joihin perinteisillä tiedon analysoinnin keinoilla ei kyetä vastaamaan. BI-ratkaisun fokus on menneisyydessä. BI-ratkaisulla voidaan vastata kysyksiin kuten mikä oli liikevaihto viime kuussa verrattuna edelliseen vuoteen tai mitkä olivat myydyimmät tuotteet ja mikä oli niiden kate. Analytiikka pyrkii oppimaan datasta ja ehdottamaan parhaita ratkaisuja. Analytiikan avulla vastataan kysymyksiin kuten “ketkä ovat todennäköisimmät asiakkaat, jotka ostavan tuotteen X ja minkä kanavan kautta” tai “kun asiakas on ostanut tuotteen X, niin mikä on tuote, jota hänelle seuraavaksi kannattaisi tarjota” tai “mitkä asiakkaat käyttäytyvät samankaltaisesti, mitkä ovat heidän yhdistävät tekijät”.
Data-analytiikan perusta on mallinnus, jonka tavoitteena on kartoittaa käsillä olevaa liiketoimintaongelmaa selittävät piirteet, jotka voidaan syöttää analytiikka-algoritmille. Näin saadaan liiketoimintaongelmaan ennusteita tai selittäviä tekijöitä. Analytiikka mahdollistaa monimutkaisten syy-yhteyksien ymmärtämisen. Analytiikka poikkea merkittävästi datan analysoinnista siinä, että BI välineillä tehdyt analyysit ovat sääntöpohjaisia. Esimerkiksi tyypillinen BI-analyysi voisi olla “Näytä tuotteet joiden keskimääräinen kate on 30% ja joita on myyty viimeisin kvartaalin aikana yli 1000 kpl, mutta edellisen vuoden samaan aikaan verrattuna myynti on laskenut.” Analytiikka-algoritmi sen sijaan oppii menneen datan perusteella taustalla olevan ilmiön ja antaa vastaukseksi esimerkiksi “Asiakas Yritys Oy ostaa tuotteen Hilavitkutin hintaan 10 euroa todennäköisyydellä 61,3%, mikä on 2,1 kertaa todennäköisempää kuin, että tarjous kohdistettaisiin satunnaisesti”. Analytiikka voi antaa estimaatteja taustalla olevien tekijöiden vaikuttavuudesta ennusteeseen tai valintaan, esimerkiksi “suurin vaikuttava tekijä siihen, että Yritys Oy ostaa tuotteen X on toimiala ja seuraavaksi tärkein yrityksen koko”.
Data-analytiikan käytännön toteutustapoja on useita. Perinteisiä ratkaisuja ovat laajasti käytetyt R ja Mathlab sekä ohjelmointikielistä erityisesti Python. Pilvipalvelut tarjoavat valmiita algoritmeja sekä näitä tukevia työkaluja datan esikäsittelyyn ja piirreirrotukseen. Näitä ratkaisuja ovat mm. IBM Watson, Microsoft Azure Machinen Learning sekä Amazonin AWS Machine Learning (ML). Jos olet kiinnostunut analytiikkaratkaisusta, ota meihin yhteyttä!
