La Data Science combina varie competenze statistiche, analitiche e di programmazione per raccogliere, analizzare e interpretare grandi set di dati, al fine di ottenere informazioni azionabili.<\/p>\n\n\n\n
SQL (Structured Query Language) \u00e8 uno strumento fondamentale nell’arsenale dello scienziato dei dati, consentendo la gestione e la manipolazione di database relazionali. La precisione, l’efficienza e la versatilit\u00e0 di SQL lo rendono indispensabile per interrogare e analizzare i dati.<\/p>\n\n\n\n
Il Ruolo delle Funzioni OLAP nella Data Science<\/strong><\/p>\n\n\n\n Le funzioni OLAP estendono le capacit\u00e0 di SQL, abilitando avanzate funzionalit\u00e0 di manipolazione e analisi dei dati.<\/p>\n\n\n\n Queste funzioni sono fondamentali per eseguire complesse query analitiche, come la sommarizzazione dei dati, l’aggregazione e l’analisi multidimensionale.<\/p>\n\n\n\n Integrando le funzioni OLAP all’interno delle query SQL, gli scienziati dei dati possono potenziare le loro capacit\u00e0 di esplorazione e analisi dei dati, scoprendo approfondimenti pi\u00f9 dettagliati in modo pi\u00f9 efficiente.<\/p>\n\n\n\n Funzioni OLAP su IBM iSeries (DB2 for i)<\/strong><\/p>\n\n\n\n La piattaforma IBM iSeries (AS\/400), con il suo database DB2 for i, supporta un’ampia suite di funzioni OLAP progettate per facilitare sofisticate analisi dei dati.<\/p>\n\n\n\n Queste funzioni possono essere categorizzate come segue:<\/p>\n\n\n\n 1 – Funzioni Aggregate<\/strong>: Essenziali per eseguire aggregazioni da basiche ad avanzate, queste funzioni aiutano a riassumere i dati, fornendo una base per ulteriori analisi:<\/p>\n\n\n\n 2 – Funzioni di Ranking<\/strong>: offrono avanzate capacit\u00e0 di classificazione, essenziali per l’analisi comparativa all’interno dei set di dati:<\/p>\n\n\n\n 3 – Funzioni di Finestra<\/strong>: Consentono l’accesso a punti dati specifici all’interno di un set di dati, facilitando complesse comparazioni e analisi senza la necessit\u00e0 di self-join:<\/p>\n\n\n\n 4 – Funzioni Aggregate Analitiche<\/strong>: Consentono l’esecuzione di aggregazioni su insiemi di righe correlati, offrendo una prospettiva analitica pi\u00f9 profonda:<\/p>\n\n\n\n 5 – Operazioni di Raggruppamento<\/strong>: Consentono un’aggregazione e un’analisi dei dati complete, supportando complesse esigenze di reporting con efficienza e flessibilit\u00e0:<\/p>\n\n\n\n 6 – Funzioni Varie<\/strong>: Migliorano le capacit\u00e0 di manipolazione dei dati, consentendo presentazioni e approfondimenti innovativi sui dati:<\/p>\n\n\n\n Considerazioni sull’Uso<\/strong><\/p>\n\n\n\n L’integrazione di SQL e funzioni OLAP sulla piattaforma IBM iSeries offre opportunit\u00e0 senza precedenti per gli scienziati dei dati di eseguire sofisticate analisi e reportistica dei dati.<\/p>\n\n\n\n Padroneggiando questi strumenti, i professionisti possono sbloccare approfondimenti pi\u00f9 dettagliati, migliorare le prestazioni e razionalizzare i flussi di lavoro di elaborazione dei dati, guidando in avanti la frontiera della Data Science all’interno delle loro organizzazioni.<\/p>\n\n\n\n Bene, cominciamo a vedere all’opera alcune OLAP Functions!<\/strong><\/p>\n\n\n Esempi di funzioni OLAP: funzioni aggregate SUM, AVG, MAX, MIN, COUNT, STDDEV, VAR<\/strong><\/strong><\/p>\n\n\n\n Di seguito sono riportati esempi di comandi SQL per IBM iSeries che dimostrano l’uso delle funzioni OLAP (Online Analytical Processing), incluse funzioni aggregate come:<\/p>\n\n\n\n Questi esempi incorporano anche le Common Table Expressions (CTE) e la clausola VALUES<\/strong> per preparare i dati di test.<\/p>\n\n\n\n Risultato<\/strong>:<\/p>\n\n\n\n Due Parole sulla Deviazione Standard e Varianza<\/strong>.<\/strong><\/p>\n\n\n\n Le OLAP (Online Analytical Processing) functions per il calcolo della deviazione standard e della varianza sono strumenti potenti nel contesto dell’analisi dei dati, specialmente quando si lavora con grandi set di dati in database o data warehouse per supportare decisioni aziendali.<\/p>\n\n\n\n Queste funzioni consentono agli analisti di comprendere meglio la distribuzione e la variabilit\u00e0 dei dati, elementi fondamentali per l’analisi statistica e la presa di decisioni basata sui dati.<\/p>\n\n\n\n Concetto Statistico<\/strong><\/p>\n\n\n\n Significato Pratico<\/strong><\/p>\n\n\n\n In sintesi, le funzioni OLAP per il calcolo della varianza e della deviazione standard sono essenziali per qualsiasi analisi avanzata dei dati, permettendo agli analisti e ai decisori di capire meglio la natura e la distribuzione dei dati all’interno dell’organizzazione. Questa comprensione pu\u00f2 guidare l’ottimizzazione dei processi, l’innovazione dei prodotti, e strategie di marketing pi\u00f9 efficaci, tra gli altri vantaggi competitivi.<\/p>\n\n\n Esempi di funzioni OLAP: Funzioni Analitiche Aggregate SUM() OVER, AVG() OVER, CUME_DIST(), PERCENT_RANK()<\/strong><\/p>\n\n\n\n Di seguito sono riportati esempi di comandi SQL per IBM iSeries (noto anche come AS\/400 o IBM i) che dimostrano l’uso delle funzioni OLAP (Online Analytical Processing), incluse le funzioni di aggregazione analitica, conosciute anche come funzioni Finestra o funzioni di Partizionamento<\/strong>, come SUM() OVER<\/strong>, AVG() OVER<\/strong>, CUME_DIST()<\/strong> e PERCENT_RANK()<\/strong>.<\/p>\n\n\n\n Questi esempi incorporano anche Espressioni di Tabelle Comuni (CTE) e la clausola VALUES<\/strong> per preparare i dati di test.<\/p>\n\n\n\n Esempio 1 OLAP Function: SUM() OVER e AVG() OVER<\/strong><\/p>\n\n\n\n Queste funzioni calcolano la somma e la media di un insieme di righe definito dalla clausola OVER (spiegata in dettaglio sotto).<\/p>\n\n\n\n Risultato<\/strong>:<\/p>\n\n\n\n In questo esempio, la CTE SalesData<\/strong> prepara dati di test con PersonId, Year<\/strong> e Amount<\/strong>. La clausola SELECT<\/strong> calcola quindi le vendite totali, la media e la Perc delle vendite per ogni venditore usando le funzioni SUM() OVER<\/strong> e AVG() OVER<\/strong>, partizionando i dati per PersonId<\/strong>.<\/p>\n\n\n\n Due parole sulle Windows Functions o Partitioning Functions<\/strong><\/p>\n\n\n\n In IBM iSeries SQL e pi\u00f9 in generale nei database SQL, le funzioni OLAP come SUM(…) OVER (…), AVG(…) OVER (…)<\/strong> e COUNT(…) OVER (…)<\/strong> fanno parte delle cosiddette funzioni Finestra<\/strong> o funzioni di Partizionamento<\/strong>.<\/p>\n\n\n\n Queste funzioni eseguono calcoli su una serie di righe che sono in qualche modo correlate alla riga corrente, consentendo analisi complesse come totali parziali, medie mobili o statistiche cumulative.<\/p>\n\n\n\n Ecco come funziona ciascuna di queste funzioni nel contesto della nostra query:<\/p>\n\n\n\n SUM(…) OVER (PARTITION BY…)<\/strong><\/p>\n\n\n\n La funzione SUM(…) OVER (PARTITION BY …)<\/strong> calcola la somma totale di una colonna per ciascuna partizione dei dati. Una partizione<\/strong> \u00e8 essenzialmente un sottoinsieme di dati in base alle colonne specificate nella clausola PARTITION BY<\/strong>. Nella nostra query, SUM(Amount) OVER (PARTITION BY PersonId) <\/strong>calcola l’importo<\/strong> totale per ogni PersonId<\/strong> nelle rispettive righe. Ci\u00f2 significa che raggruppa i dati per PersonId<\/strong> e quindi somma l’importo<\/strong> per ciascun gruppo.<\/p>\n\n\n\n AVG(…) OVER (PARTITION BY …)<\/strong><\/p>\n\n\n\n Similmente alla funzione SUM, AVG(…) OVER (PARTITION BY …)<\/strong> calcola la media di una colonna per ciascuna partizione. Nel nostro esempio, AVG(Amount) OVER (PARTITION BY PersonId)<\/strong> calcola l’importo medio per ogni PersonId<\/strong>. Questa operazione viene eseguita partizionando i dati in base a PersonId <\/strong>e calcolando l’importo<\/strong> medio per ciascuna partizione.<\/p>\n\n\n\n COUNT(…) OVER (PARTITION BY…)<\/strong><\/p>\n\n\n\n La funzione COUNT(…) OVER (PARTITION BY …)<\/strong> conta il numero di righe in ciascuna partizione. Nella query fornita, COUNT(Year) OVER (PARTITION BY PersonId)<\/strong> conta il numero di anni registrati per ogni PersonId<\/strong>. Questo ti d\u00e0 effettivamente il numero di voci (o record) per persona.<\/p>\n\n\n\n Note speciali sulla nostra query<\/strong>: SUM(Amount) OVER (PARTITION BY ‘ALL’) <\/strong>\u00e8 un utilizzo interessante che calcola l’importo totale su tutti i dati senza partizionamento<\/strong>. Il valore ‘ALL’ \u00e8 una costante che ha lo stesso valore per ogni riga, quindi non \u00e8 stata eseguita alcuna partizione (al posto di ‘ALL’ possiamo utilizzare qualsiasi valore constante<\/strong>).<\/p>\n\n\n\n Nel complesso, le funzioni finestra come SUM OVER, AVG OVER e COUNT OVER<\/strong> forniscono strumenti potenti per eseguire analisi dei dati dettagliate e sofisticate all’interno di query SQL, consentendo agli analisti di dati e agli sviluppatori di ricavare informazioni significative da set di dati complessi.<\/p>\n\n\n\n Esempio 2 OLAP Function: CUME_DIST() OVER<\/strong><\/p>\n\n\n\n Questa funzione calcola la distribuzione cumulativa (spiegata in dettaglio sotto) di un valore all’interno di un insieme di valori.<\/p>\n\n\n\n Risultato:<\/strong><\/p>\n\n\n\n Qui, la CTE ExamScores<\/strong> prepara dati di test con StudentId<\/strong> e Score<\/strong>. La clausola SELECT<\/strong> calcola la distribuzione cumulativa dei punteggi, ordinando per il valore del punteggio.<\/p>\n\n\n\n Due parole sulla Distribuzione Cumulativa<\/strong><\/p>\n\n\n\n La funzione CUME_DIST()<\/strong> in SQL calcola la distribuzione cumulativa di un valore all’interno di una sequenza di valori. \u00c8 una funzione OLAP (Online Analytical Processing) che fornisce un modo per calcolare la posizione relativa di un valore specifico all’interno di un gruppo di valori, ordinati per una certa colonna.<\/p>\n\n\n\n Il risultato \u00e8 un valore compreso tra 0 e 1, rappresentante la proporzione di righe che hanno valori minori o uguali al valore nella riga corrente.<\/p>\n\n\n\n Ecco cosa succede passo dopo passo:<\/p>\n\n\n\n Per esempio, se guardiamo un punteggio di 75:<\/p>\n\n\n\n Questo calcolo viene ripetuto per ogni punteggio nel dataset, fornendo un modo per comprendere non solo il valore assoluto dei punteggi, ma come ogni punteggio si confronta con la distribuzione di tutti i punteggi.<\/p>\n\n\n\n Il risultato di questa query fornisce una tabella con StudentId<\/strong>, il loro Score<\/strong> e la CumulativeDistribution<\/strong> di ogni punteggio, mostrando la proporzione di studenti che hanno ottenuto un punteggio fino a e inclusi quello punteggio.<\/p>\n\n\n\n Questo pu\u00f2 essere particolarmente utile nell’analisi educativa, nei sistemi di valutazione, o in qualsiasi scenario dove \u00e8 importante comprendere la distribuzione dei valori all’interno di un dataset.<\/p>\n\n\n\n Esempio 3 OLAP Function: PERCENT_RANK() OVER<\/strong><\/p>\n\n\n\n Questa funzione calcola il rango percentuale di ogni riga all’interno di una partizione di un set di risultati.<\/p>\n\n\n\n Risultato:<\/strong><\/p>\n\n\n\n <\/p>\n\n\n\n In questo esempio, la CTE EmployeeSales<\/strong> prepara dati di test con EmployeeId<\/strong> e SalesAmount<\/strong>. La clausola SELECT<\/strong> calcola il rango percentuale di ogni dipendente in base al loro importo di vendite.<\/p>\n\n\n\n Due Parole sulla Funzione PERCENT_RANK()<\/strong><\/p>\n\n\n\n La funzione PERCENT_RANK()<\/strong> in SQL calcola il rango relativo di una riga all’interno di una partizione di un insieme di risultati, escludendo il rango pi\u00f9 alto. Il valore restituito da PERCENT_RANK()<\/strong> \u00e8 la percentuale di valori che sono inferiori al valore della riga corrente.<\/p>\n\n\n\n Questa funzione fornisce un modo per comprendere come il valore di ogni riga si confronta con gli altri nel dataset, su una scala da 0 a 1, dove 0 rappresenta il primo valore nel set ordinato (dopo l’ordinamento basato sulla clausola ORDER BY<\/strong>) e i valori pi\u00f9 vicini a 1 rappresentano ranghi pi\u00f9 alti.<\/p>\n\n\n\n Ecco come funziona la funzione PERCENT_RANK()<\/strong> in questo scenario specifico:<\/p>\n\n\n\n\n
\n
\n
\n
\n
\n
\n
![\"\"](\"https:\/\/www.skillup.cloud\/wp-content\/uploads\/2024\/02\/img_512x256_20240207_1151.png\")
<\/figure><\/div>\n\n\n\n
WITH sales_data (sale_id, category, product_id, quantity_sold, sale_amount) AS (\n VALUES\n (1, 'C1', 'Pa', 10, 1000),\n (2, 'C1', 'Pb', 20, 1500),\n (3, 'C1', 'Pc', 15, 1200),\n (4, 'C1', 'Pd', 25, 2000),\n (5, 'C2', 'Pe', 30, 2600),\n (6, 'C2', 'Pf', 10, 1200),\n (7, 'C2', 'Pg', 20, 1700),\n (8, 'C2', 'Ph', 15, 1400),\n (9, 'C3', 'Pi', 10, 2000),\n (10, 'C3', 'Pj', 20, 1900),\n (11, 'C3', 'Pk', 15, 1500),\n (12, 'C3', 'Pl', 25, 2300),\n (13, 'C3', 'Pm', 30, 2800),\n (14, 'C3', 'Pn', 30, 2200)\n)\nSELECT\n category,\n SUM(sale_amount) AS total,\n AVG(sale_amount) AS average,\n MAX(sale_amount) AS \"max\",\n MIN(sale_amount) AS \"min\",\n Round(STDDEV(sale_amount)) AS stddev,\n Round(VAR(sale_amount)) AS var, COUNT(*) AS \"Count\"\nFROM sales_data\nGROUP BY category\nORDER BY 1;<\/pre>\n\n\n\n
CATEGORY<\/td> TOTAL<\/td> AVERAGE<\/td> max<\/td> min<\/td> STDDEV<\/td> VAR<\/td> Count<\/td><\/tr> C1<\/td> 5.700<\/td> 1.425<\/td> 2.000<\/td> 1.000<\/td> 377<\/td> 141.875<\/td> 4<\/td><\/tr> C2<\/td> 6.900<\/td> 1.725<\/td> 2.600<\/td> 1.200<\/td> 536<\/td> 286.875<\/td> 4<\/td><\/tr> C3<\/td> 12.700<\/td> 2.116<\/td> 2.800<\/td> 1.500<\/td> 398<\/td> 158.056<\/td> 6<\/td><\/tr><\/tbody><\/table><\/figure>\n<\/div>\n\n\n\n \n
\n
![\"\"](\"https:\/\/www.skillup.cloud\/wp-content\/uploads\/2024\/02\/img_512x256_20240207_1147.png\")
<\/figure><\/div>\n\n\nWITH SalesData (PersonId, Year, Amount) AS (\n VALUES (1, 2019, 1000), (1, 2020, 1500), (1, 2021, 800)\n , (1, 2022, 1400), (1, 2023, 1600),\n (2, 2020, 1500), (2, 2021, 800), (2, 2022, 1400)\n , (2, 2023, 1600)\n , (3, 2021, 800), (3, 2022, 1400), (3, 2023, 1600)\n)\nSELECT distinct\n PersonId\n, SUM(Amount) OVER (PARTITION BY PersonId) AS Total\n, AVG(Amount) OVER (PARTITION BY PersonId) AS Avg\n, SUM(Amount) OVER (PARTITION BY 'ALL') AS total\n, DECIMAL(100 * (SUM(Amount) OVER (PARTITION BY PersonId)) \/\n DECIMAL(SUM(Amount) OVER (PARTITION BY 'ALL'), 10, 3), 5, 3) AS Perc\n, COUNT(Year) OVER (PARTITION BY PersonId) AS CountYear\nFROM SalesData\nORDER BY 1;<\/pre>\n\n\n\n
PERSONID<\/td> TOTAL<\/td> AVG<\/td> TOTAL<\/td> PERC<\/td> COUNTYEAR<\/td><\/tr> 1<\/td> 6.300<\/td> 1.260<\/td> 15.400<\/td> 40,909<\/td> 5<\/td><\/tr> 2<\/td> 5.300<\/td> 1.325<\/td> 15.400<\/td> 34,415<\/td> 4<\/td><\/tr> 3<\/td> 3.800<\/td> 1.266<\/td> 15.400<\/td> 24,675<\/td> 3<\/td><\/tr><\/tbody><\/table><\/figure>\n<\/div>\n\n\n\n WITH ExamScores (StudentId, Score) AS (\n VALUES\n (1, 75),\n (2, 88),\n (3, 92),\n (4, 67),\n (5, 81)\n)\nSELECT\n StudentId,\n Score,\n CUME_DIST() OVER (ORDER BY Score) AS CumulativeDistribution\nFROM ExamScores\nORDER BY Score;<\/pre>\n\n\n\n
STUDENTID<\/td> SCORE<\/td> CUMULATIVEDISTRIBUTION<\/td><\/tr> 4<\/td> 67<\/td> 0,2<\/td><\/tr> 1<\/td> 75<\/td> 0,4<\/td><\/tr> 5<\/td> 81<\/td> 0,6<\/td><\/tr> 2<\/td> 88<\/td> 0,8<\/td><\/tr> 3<\/td> 92<\/td> 1<\/td><\/tr><\/tbody><\/table><\/figure>\n<\/div>\n\n\n\n \n
\n
WITH EmployeeSales (EmployeeId, SalesAmount) AS (\n VALUES\n (1, 5000),\n (2, 7600),\n (3, 9400),\n (4, 3000),\n (5, 6200)\n)\nSELECT\n EmployeeId,\n SalesAmount,\n PERCENT_RANK() OVER (ORDER BY SalesAmount) AS PercentileRank\nFROM EmployeeSales\nORDER BY SalesAmount;<\/pre>\n\n\n\n
EMPLOYEEID<\/td> SALESAMOUNT<\/td> PERCENTILERANK<\/td><\/tr> 4<\/td> 3.000<\/td> 0<\/td><\/tr> 1<\/td> 5.000<\/td> 0,25<\/td><\/tr> 5<\/td> 6.200<\/td> 0,5<\/td><\/tr> 2<\/td> 7.600<\/td> 0,75<\/td><\/tr> 3<\/td> 9.400<\/td> 1<\/td><\/tr><\/tbody><\/table><\/figure>\n<\/div>\n\n\n\n