Kas oled kokku puutunud andmekraapimisega (data scraping)? Või mõelnud, miks seda üldse vaja on?
Jagangi üht reaalset näidet, kuidas data scraping aitas lahendada ühe tootmisettevõtte igapäevase, ajamahuka probleemi. Lugu näitab, kuidas automatiseerimine võib muuta lihtsa, kuid korduva töö palju efektiivsemaks.
Probleem: konteinerid liiguvad, aga andmed ei liigu
Ettevõte, kellega koostööd tegin, saadab igapäevaselt oma tooteid konteinerites üle maailma. Neil oli olemas hästi üles ehitatud SQL-andmebaas, kus kajastus kogu tootmisinfo, saadetised ja kliendid.
Küll aga puudus info selle kohta, kus täpselt konteinerid parasjagu asuvad. See andmelünk muutus kriitiliseks, sest logistikameeskond pidi igal hommikul käsitsi kontrollima kümneid veebilehti ja sisestama andmeid süsteemi.
Seda seetõttu, et konteinerivedude korraldajad pakkusid oma andmeid ainult tasulise API kaudu. Kuna neid vedajaid oli palju, tähendanuks kõigi liidestamine ettevõttele märkimisväärset kuukulude kasvu.
Lahendus: automatiseeritud andmekraapimine Power Automate Desktopiga
Pärast koos kliendiga tehtud analüüsi otsustasime proovida teistsugust lähenemist: automatiseerida veebipõhine jälgimine, kasutades Microsofti Power Automate Desktopi.
Lühidalt – ehitasime robotprotsessi, mis:
- Käivitub kord päevas
- Vaatab SQL-andmebaasist aktiivsed konteinerid
- Tuvastab, kes on vedaja
- Läheb konkreetse vedaja kodulehele
- Otsib sealt konteineri asukoha (nt sadamas, teel, kohal jne)
- Salvestab info tagasi andmebaasi
Kuna konteinereid oli vahel ühe laeva peal mitu, pidi skript oskama aru saada ka grupiviisilisest infotöötlusest.
Tulemused: säästetud aeg ja rahulolev töötaja
Selle lahendusega:
- Asendasime ühe inimese igahommikuse käsitöö
- Vähendasime riski eksimustele (käsitsi andmesisestus on alati vigadele avatud)
- Ja mis kõige tähtsam – vältisime suuri igakuiseid kulusid API-põhistele lahendustele
Mida siit kaasa võtta?
See näide tõestab, et andmekraapimine ei ole ainult tehniline trikk. Õigesti kasutatuna võib see tuua reaalset kasu – säästa aega, vähendada vigu ja hoida kokku raha.
Kui ametlikud API-lahendused on kallid või puuduvad, võib data scraping olla täiesti toimiv alternatiiv. Loomulikult peab see toimuma eetiliselt ja vastavuses seadustega.
