Appunti presi leggendo "Applied Machine Learning and AI for Engineers" e "Introducing MLOps"

▶

🏍️ Il mio nuovo canale YouTube: giri in moto in POV, solo audio, tra le Dolomiti in 4K. Niente musica, niente parole — solo il motore e le Alpi. Vieni a fare un giro!

▶ Iscriviti

Ho appena finito di leggere "Applied Machine Learning and AI for Engineers" di Jeff Prosise e "Introducing MLOps" di Mark Treveil & il team di Dataiku. Questi libri sono ricchissimi di spunti, così ho preso qualche appunto e ho deciso di condividere un resoconto rapido dei punti chiave. Dalle basi del supervised e unsupervised learning al deep learning, NLP e ai fondamentali di MLOps: ecco quello che ne ho ricavato.

Spero possa essere utile!

Cos'è il Machine Learning: Unsupervised vs. Supervised Learning

Il machine learning, una branca dell'AI, consiste nell'insegnare agli algoritmi a imparare dai dati e fare previsioni. Ha trasformato molti settori permettendo ai sistemi di migliorare nel tempo senza essere esplicitamente programmati. Esistono due tipi principali:

1. Supervised Learning: il supervised learning usa dati etichettati per addestrare gli algoritmi, rendendolo ideale per compiti con esiti noti. È come insegnare a un bambino con le flashcard — si mostra un'immagine di un gatto con scritto "gatto" finché non li riconosce da solo. Pensiamo al rilevamento dello spam (apprendimento da email etichettate come spam e non) o al riconoscimento di immagini (identificazione di oggetti in foto etichettate). È indicato per i problemi con coppie input-output chiare, come prevedere il prezzo di una casa in base a caratteristiche come la superficie e la posizione.

2. Unsupervised Learning: lavora con dati non etichettati, trovando pattern e relazioni al loro interno. Immaginate di dare a un bambino un mucchio di pezzi Lego misti senza istruzioni e osservare come li ordina e li utilizza. Tecniche come il clustering (raggruppare clienti per comportamento d'acquisto) e l'association (trovare prodotti spesso acquistati insieme) sono comuni in questo ambito. È utile quando si vuole che il modello esplori i dati autonomamente, come per segmentare i clienti in gruppi diversi per il marketing mirato.

Modelli di Regressione

Regressione Lineare

La regressione lineare è come tracciare una retta attraverso un diagramma a dispersione di punti dati per prevedere i punti futuri nel modo migliore. Prevede una variabile dipendente (come i prezzi delle case) in base a una o più variabili indipendenti (come i metri quadri o il numero di camere). È una delle forme di regressione più semplici e dirette, ottima per un'analisi predittiva rapida e interpretabile. Tuttavia, la sua semplicità può essere un limite se la relazione tra le variabili non è lineare, portando all'underfitting.

Decision Trees

I decision tree suddividono i dati in rami per fare previsioni. Ogni nodo rappresenta una caratteristica e ogni ramo rappresenta una regola decisionale che porta a un esito. Pensate a come decidete quale film guardare in base a una serie di domande su genere, durata e attori. Sono facili da interpretare e gestiscono sia dati categorici che numerici. Tuttavia, possono diventare eccessivamente complessi e andare in overfitting, catturando il rumore invece del pattern sottostante. La potatura (pruning) aiuta a mitigare questo problema eliminando le suddivisioni meno importanti.

Random Forests

Le random forest migliorano l'accuratezza e la robustezza dei decision tree creando più alberi (una foresta) e unendo le loro previsioni. È come chiedere il parere a più esperti e poi farne la media. Questo riduce l'overfitting e migliora la generalizzazione, rendendole utili in vari settori, dalla finanza (per la valutazione del rischio) alla sanità (per la diagnosi di malattie). Mediando i risultati di molti alberi, le random forest forniscono una previsione più accurata e stabile rispetto a un singolo albero.

Gradient Boosting Machines

Il gradient boosting costruisce modelli in sequenza, con ogni nuovo modello che corregge gli errori del precedente. È come imparare a suonare una canzone alla chitarra, correggendo gli errori a ogni sessione di pratica. Questo processo iterativo migliora l'accuratezza, ma può essere computazionalmente intensivo e soggetto a overfitting se non adeguatamente regolarizzato. Tecniche come lo shrinkage, il subsampling e l'early stopping aiutano a controllare questo fenomeno. Il gradient boosting è potente negli scenari in cui la precisione della previsione è cruciale, come nelle previsioni finanziarie e nella modellazione della risposta al marketing.

Support Vector Machines (SVM)

Le SVM classificano i dati trovando l'iperpiano ottimale che separa meglio le classi. Immaginate di tracciare la linea più larga possibile tra due gruppi di punti su un grafico. Gestiscono relazioni sia lineari che non lineari tramite funzioni kernel, utili negli spazi ad alta dimensionalità. Le SVM sono efficaci in varie applicazioni, tra cui la categorizzazione del testo e la bioinformatica, dove aiutano a identificare i geni responsabili di malattie.

Metriche di Accuratezza per i Modelli di Regressione

La valutazione dei modelli di regressione coinvolge diverse metriche per capire quanto performino bene:

• Mean Absolute Error (MAE): misura la magnitudine media degli errori nelle previsioni, fornendo un'indicazione diretta dell'accuratezza.
• Mean Squared Error (MSE): eleva al quadrato gli errori prima di fare la media, dando più peso agli errori grandi, utile per identificare deviazioni significative.
• Root Mean Squared Error (RMSE): la radice quadrata di MSE, che fornisce la misura dell'errore nelle stesse unità della variabile target.
• R-squared: indica la proporzione della varianza nella variabile dipendente spiegata dalle variabili indipendenti, fornendo una misura di quanto bene il modello si adatta ai dati.

Modelli di Classificazione

Regressione Logistica

Usata per problemi di classificazione binaria, la regressione logistica modella la probabilità che un'istanza appartenga a una categoria, usando la funzione logistica per mantenere gli output tra 0 e 1. Pensate a come si ordinano le email in "spam" e "non spam". A differenza della regressione lineare, è progettata per prevedere probabilità, rendendola adatta ad applicazioni come il credit scoring (prevedere la probabilità di insolvenza) e la diagnosi medica (identificare la presenza di una malattia).

Metriche di Accuratezza per i Modelli di Classificazione

Le metriche di performance per i modelli di classificazione includono:

• Accuracy: il rapporto tra le istanze previste correttamente e il totale delle istanze, che dà un senso generale delle performance del modello.
• Precision: il rapporto tra previsioni positive corrette e il totale delle previsioni positive, che evidenzia l'accuratezza delle previsioni positive.
• Recall: il rapporto tra previsioni positive corrette e tutti i positivi reali, che indica la capacità del modello di identificare le istanze positive.
• F1-score: la media armonica di precision e recall, che bilancia le due metriche per una valutazione più completa.
• ROC-AUC Curve: traccia il tasso di veri positivi rispetto al tasso di falsi positivi; l'area sotto la curva (AUC) fornisce una misura unica delle performance globali del modello.

Dati Categorici

I dati categorici devono essere convertiti in formato numerico affinché i modelli di machine learning possano elaborarli. Si usano tecniche come il one-hot encoding (creazione di colonne binarie per ogni categoria) e il label encoding (assegnazione di interi unici a ogni categoria). Una gestione corretta garantisce che il modello possa sfruttare tutte le informazioni disponibili senza introdurre bias o errori.

Classificazione Binaria e Multiclasse

La classificazione binaria riguarda due classi, come spam o non spam, mentre quella multiclasse gestisce più di due classi, come la categorizzazione di articoli di giornale in politica, sport o intrattenimento. Per i problemi multiclasse si usano tecniche come one-vs-all (addestramento di classificatori binari separati per ogni classe) e softmax regression (generalizzazione della regressione logistica per gestire più classi).

Classificazione del Testo

Preparazione del Testo per la Classificazione

Trasformare il testo grezzo in un formato adatto al machine learning implica diversi passaggi:

• Pulizia: rimozione del rumore come tag HTML, punteggiatura e caratteri speciali.
• Tokenizzazione: suddivisione del testo in singole parole o token.
• Stemming e Lemmatizzazione: riduzione delle parole alle loro forme radice per assicurare che le diverse forme di una parola siano trattate allo stesso modo.
• Rimozione delle Stop Words: eliminazione delle parole comuni come "il", "è" e "e" che portano poco valore informativo.

Analisi del Sentiment

L'analisi del sentiment determina il tono emotivo di un testo, identificando se è positivo, negativo o neutro. Questa tecnica viene usata in varie applicazioni, come il monitoraggio dei social media per il sentiment del brand, l'analisi delle recensioni dei clienti per migliorare i prodotti e la valutazione dell'opinione pubblica su questioni politiche.

Naive Bayes

Naive Bayes è un classificatore probabilistico basato sul teorema di Bayes, che assume l'indipendenza tra le caratteristiche. Nonostante la sua semplicità e l'ipotesi di indipendenza spesso irrealistica, Naive Bayes ottiene buoni risultati in molti scenari reali, in particolare nelle attività di classificazione del testo come il filtraggio dello spam e la categorizzazione di documenti, grazie alla sua efficienza ed efficacia.

Sistemi di Raccomandazione

I sistemi di raccomandazione suggeriscono elementi agli utenti in base a comportamenti e preferenze passati. Esistono due approcci principali:

• Collaborative Filtering: analizza le interazioni passate tra utenti ed elementi per raccomandare nuovi elementi che utenti simili hanno apprezzato.
• Content-Based Filtering: raccomanda elementi simili a quelli che un utente ha apprezzato in passato, in base alle caratteristiche degli elementi stessi. I sistemi di raccomandazione sono onnipresenti nei servizi online, dall'e-commerce alle piattaforme di streaming, migliorando l'esperienza utente con suggerimenti personalizzati.

Support Vector Machines (SVM)

Come Funzionano le SVM

Le SVM classificano i dati trovando l'iperpiano ottimale che massimizza il margine tra le diverse classi. In parole semplici, tracciano un confine che separa al meglio i punti dati di classi diverse. Per i dati non lineari, le funzioni kernel trasformano i dati in dimensioni superiori dove è possibile trovare un separatore lineare. Le SVM sono efficaci sia per le attività di classificazione lineare che non lineare e vengono utilizzate in diverse applicazioni, dal riconoscimento della scrittura alla classificazione delle proteine in bioinformatica.

Tuning degli Iperparametri

Ottimizzare le prestazioni di una SVM implica la regolazione di iperparametri come il parametro di regolarizzazione (C) e il tipo di kernel. Il parametro di regolarizzazione controlla il compromesso tra massimizzare il margine e minimizzare l'errore di classificazione, mentre il tipo di kernel (lineare, polinomiale, radial basis function) determina la trasformazione applicata ai dati. La grid search e la cross-validation sono i metodi più comuni per il tuning degli iperparametri.

Normalizzazione dei Dati

Normalizzare i dati assicura che tutte le feature contribuiscano equamente al modello, migliorando le prestazioni delle SVM. Le feature vengono tipicamente scalate a un intervallo standard, come 0-1 o -1-1, assicurando che le feature con intervalli più ampi non dominino il processo di apprendimento.

Pipelining

Il pipelining automatizza il flusso di preprocessing dei dati e training del modello, rendendo il processo più efficiente e riproducibile. Combinando passaggi come la normalizzazione dei dati, l'estrazione di feature e il training del modello in una singola pipeline, il pipelining garantisce l'applicazione coerente dei passaggi di preprocessing e semplifica il processo di sperimentazione.

Usare le SVM per il Riconoscimento Facciale

Le SVM sono efficaci nel riconoscimento facciale, classificando le immagini in base a caratteristiche facciali estratte tramite tecniche come l'Analisi delle Componenti Principali (PCA). Trasformando le immagini facciali in uno spazio di dimensionalità ridotta, la PCA riduce la complessità preservando le caratteristiche essenziali, permettendo alle SVM di distinguere accuratamente tra individui diversi.

Analisi delle Componenti Principali (PCA)

Cos'è la PCA?

La PCA riduce la dimensionalità dei dati trasformandoli in un insieme di componenti linearmente incorrelate, preservando quanta più varianza possibile. Questa tecnica aiuta a semplificare dataset complessi, rendendoli più facili da visualizzare e analizzare. La PCA è ampiamente usata in settori come la genomica, la finanza e l'elaborazione delle immagini, dove i dati ad alta dimensionalità sono comuni.

Filtrare il Rumore

La PCA aiuta a filtrare il rumore dai dati concentrandosi sulle componenti principali che catturano la maggior parte della varianza. Ignorando le componenti con varianza bassa, che spesso rappresentano rumore, la PCA migliora il rapporto segnale-rumore, potenziando le prestazioni dei modelli di machine learning.

Anonimizzare i Dati

La PCA può anonimizzare i dati trasformandoli in componenti principali, rendendo difficile risalire alle feature originali. Questo è utile nelle applicazioni sensibili alla privacy, dove i dati devono essere protetti pur rimanendo utili per l'analisi.

Visualizzare Dati ad Alta Dimensionalità

La PCA consente la visualizzazione di dati ad alta dimensionalità in 2D o 3D, facilitando una comprensione e un'interpretazione migliori. Proiettando i dati sulle prime componenti principali, la PCA fornisce informazioni sulla struttura sottostante e sulle relazioni all'interno dei dati.

Rilevamento delle Anomalie

La PCA identifica le anomalie evidenziando i punti dati che si discostano significativamente dalle componenti principali. Questi outlier spesso rappresentano attività insolite o fraudolente, rendendo la PCA preziosa in applicazioni come il rilevamento delle frodi e il controllo della qualità.

Deep Learning

Capire le Reti Neurali

Le reti neurali, ispirate al cervello umano, sono costituite da strati interconnessi di neuroni che elaborano e apprendono dai dati. Ogni neurone riceve degli input, applica un peso e un bias, e passa il risultato attraverso una funzione di attivazione per produrre un output. Regolando pesi e bias durante il training, le reti neurali imparano a modellare relazioni e pattern complessi nei dati.

Come Addestrare le Reti Neurali

Il training delle reti neurali implica la forward propagation, dove gli input vengono passati attraverso la rete per generare previsioni, e la backpropagation, dove l'errore tra previsioni e valori reali viene calcolato e usato per aggiornare i pesi. Le tecniche di ottimizzazione come il gradient descent minimizzano questo errore regolando iterativamente i pesi per migliorare le prestazioni del modello.

Reti Neurali

Costruire NN con Keras e TensorFlow

Keras, con TensorFlow come backend, semplifica la costruzione, il training e il deployment di reti neurali. Fornisce una API di alto livello per definire e addestrare modelli, permettendo agli ingegneri di concentrarsi sulla progettazione e sulla sperimentazione delle architetture invece di occuparsi dei dettagli di basso livello.

Classificazione Binaria e Multiclasse con NN

Le reti neurali gestiscono sia la classificazione binaria che quella multiclasse regolando il layer di output e la funzione di loss. Per la classificazione binaria si usa un singolo neurone di output con funzione di attivazione sigmoid, mentre la classificazione multiclasse impiega un layer softmax che restituisce le probabilità per ogni classe.

Dropout

Il dropout è una tecnica di regolarizzazione che disattiva casualmente alcuni neuroni durante il training, riducendo l'overfitting impedendo ai neuroni di co-adattarsi eccessivamente. Questo incoraggia la rete ad apprendere caratteristiche più robuste e generalizzabili, migliorando le prestazioni su dati non visti.

Salvare e Caricare i Modelli

Salvare i modelli permette un deployment e un riutilizzo agevoli. Keras fornisce metodi per salvare sia l'architettura che i pesi di un modello, consentendo il caricamento e l'ulteriore training o inferenza senza dover riaddestrare da zero.

Callback di Keras

Le callback in Keras facilitano il monitoraggio e la regolazione durante il training, abilitando azioni come l'early stopping e la regolazione del learning rate. L'early stopping interrompe il training quando le prestazioni smettono di migliorare, mentre i learning rate schedule regolano dinamicamente il learning rate, aiutando a ottimizzare l'efficienza del training.

Reti Neurali Convoluzionali (CNN)

Capire le CNN

Le CNN sono reti neurali specializzate per l'elaborazione di dati a griglia, come le immagini. Usano layer convoluzionali per rilevare caratteristiche come bordi, texture e forme applicando filtri che scorrono sui dati di input. I layer di pooling riducono le dimensioni spaziali, riassumendo le caratteristiche e riducendo la complessità computazionale. Le CNN eccellono in attività come la classificazione delle immagini, il rilevamento di oggetti e la segmentazione delle immagini.

CNN Pre-addestrate e Transfer Learning

Le CNN pre-addestrate sfruttano modelli esistenti addestrati su grandi dataset, come ImageNet, come punto di partenza per nuovi compiti. Il transfer learning adatta questi modelli ad applicazioni specifiche perfezionandoli su nuovi dati, riducendo significativamente la quantità di dati e il tempo necessari per il training pur mantenendo un'alta accuratezza.

Data Augmentation

La data augmentation aumenta artificialmente la diversità del dataset di training attraverso tecniche come rotazione, scaling e flipping. Questo aiuta a prevenire l'overfitting esponendo il modello a una varietà più ampia di esempi, migliorando le sue capacità di generalizzazione.

Global Pooling

I layer di global pooling riducono le dimensioni delle feature map applicando un'operazione di pooling sull'intera mappa. Questa tecnica rende il modello più robusto alle variazioni spaziali e aiuta a ridurre il numero di parametri, migliorando l'efficienza computazionale.

Classificazione di Audio e Immagini

Le CNN eccellono nella classificazione di audio e immagini imparando gerarchie spaziali di caratteristiche. Nella classificazione audio, le CNN possono identificare pattern negli spettrogrammi, mentre nella classificazione delle immagini rilevano oggetti e scene in foto e video.

Rilevamento e Riconoscimento Facciale

Le CNN sono ampiamente usate nel rilevamento e riconoscimento facciale, sfruttando la loro capacità di identificare pattern complessi nelle immagini. Possono localizzare accuratamente i volti nelle immagini e distinguere tra individui diversi, alimentando applicazioni come i sistemi di sicurezza e il tagging fotografico.

Rilevamento di Oggetti con R-CNN, Mask R-CNN, YOLO

Le tecniche avanzate di rilevamento degli oggetti come R-CNN, Mask R-CNN e YOLO rilevano e classificano più oggetti nelle immagini in tempo reale. Le R-CNN generano proposte di regione e le classificano, le Mask R-CNN estendono questo approccio alla segmentazione a livello di pixel, e YOLO (You Only Look Once) ottiene un rilevamento ad alta velocità elaborando l'intera immagine in un singolo passaggio.

Natural Language Processing (NLP)

Preparazione del Testo

La preparazione del testo implica la trasformazione del testo grezzo in un formato adatto agli algoritmi di machine learning. Questo processo include:

• Pulizia: rimozione del rumore come tag HTML, punteggiatura e caratteri speciali.
• Tokenizzazione: suddivisione del testo in singole parole o token.
• Stemming e Lemmatizzazione: riduzione delle parole alle loro forme radice per assicurare che le diverse forme di una parola siano trattate allo stesso modo.
• Rimozione delle Stop Words: eliminazione delle parole comuni come "il", "è" e "e" che portano poco valore informativo.

Word Embeddings

I word embedding come Word2Vec e GloVe rappresentano le parole in uno spazio vettoriale continuo, catturando relazioni semantiche. Questi vettori densi permettono ai modelli di comprendere ed elaborare il testo in modo più efficace, abilitando applicazioni come la classificazione di documenti e l'analisi del sentiment.

Classificazione del Testo

La classificazione del testo assegna categorie al testo usando modelli come Naive Bayes, SVM o reti neurali. Questa tecnica viene usata nel rilevamento dello spam, nella categorizzazione per argomento e nell'analisi del sentiment, aiutando ad automatizzare e ottimizzare le attività basate sul testo.

Vettorizzazione del Testo

La vettorizzazione del testo converte il testo in formato numerico, usando tecniche come TF-IDF o word embedding. TF-IDF (Term Frequency-Inverse Document Frequency) pesa i termini in base alla loro frequenza e importanza, mentre i word embedding catturano le relazioni contestuali tra le parole.

Reti Neurali Ricorrenti (RNN)

Le RNN elaborano dati sequenziali mantenendo uno stato nascosto che cattura informazioni dai passi temporali precedenti. Questo le rende adatte per compiti come il language modeling, la previsione di sequenze e l'analisi di serie temporali, dove l'ordine dei punti dati è cruciale.

Neural Machine Translation

La neural machine translation usa reti neurali per tradurre testo da una lingua all'altra. Modelli come seq2seq e i transformer hanno migliorato significativamente l'accuratezza della traduzione, abilitando la traduzione in tempo reale e la comunicazione multilingue.

LSTM Encoder-Decoder

Gli LSTM encoder-decoder gestiscono le dipendenze a lungo termine nei dati sequenziali, migliorando la traduzione e la generazione del testo. Le LSTM (Long Short-Term Memory network) affrontano il problema del vanishing gradient, permettendo ai modelli di conservare informazioni su sequenze più lunghe.

Transformer Encoder-Decoder

I transformer usano meccanismi di self-attention per elaborare dati sequenziali in parallelo, migliorando prestazioni e scalabilità. Hanno rivoluzionato il NLP permettendo ai modelli di comprendere il contesto e le relazioni nel testo in modo più efficace, portando a progressi nella traduzione, nella sintesi e nel question answering.

BERT

BERT (Bidirectional Encoder Representations from Transformers) pre-addestra i transformer su grandi corpus di testo, ottenendo prestazioni allo stato dell'arte in vari compiti di NLP. Comprendendo il contesto da entrambe le direzioni, BERT fornisce rappresentazioni del testo sfumate e accurate, potenziando applicazioni come i motori di ricerca e l'AI conversazionale.

Usare i Servizi Cloud AI

I servizi cloud AI come AWS, Azure e Google Cloud offrono soluzioni scalabili e gestite per il deployment e l'integrazione di modelli AI. Queste piattaforme forniscono strumenti per il training, il testing e il deployment dei modelli, accelerando lo sviluppo e riducendo l'overhead infrastrutturale. Permettono alle aziende di sfruttare capacità AI avanzate senza una vasta expertise interna, facilitando l'innovazione e l'efficienza nei vari settori.

Cos'è MLOps?

MLOps applica i principi DevOps ai flussi di lavoro di machine learning, ottimizzando il deployment, il monitoraggio e la gestione dei modelli ML in produzione. È fondamentale per garantire la consegna affidabile, scalabile e continua di valore. Pensatelo come il manuale operativo per mantenere i modelli ML in funzione in modo fluido ed efficiente nelle applicazioni reali.

MLOps a Scala

Man mano che le iniziative ML si scalano, MLOps fornisce l'infrastruttura e i processi per gestire volumi di dati crescenti, complessità dei modelli e frequenze di deployment. Garantisce operazioni fluide ed efficienti per sistemi su larga scala come i motori di raccomandazione. Ad esempio, un sistema di raccomandazione per l'e-commerce deve elaborare milioni di transazioni e interazioni utente al giorno, e i framework MLOps supportano tali esigenze di scalabilità.

Le Persone di MLOps

Un MLOps di successo richiede la collaborazione tra:

• Subject Matter Expert: forniscono insight specifici del dominio per guidare lo sviluppo del modello e garantirne la rilevanza rispetto agli obiettivi di business.
• Data Scientist: sviluppano e addestrano i modelli, concentrandosi su feature engineering, selezione e valutazione. Sperimentano con diversi algoritmi e regolano gli iperparametri per ottenere prestazioni ottimali.
• Data Engineer: gestiscono le pipeline di dati, assicurando che i dati siano accessibili, puliti e pronti per il training del modello. Gestiscono i processi ETL (Extract, Transform, Load) e garantiscono la qualità e la coerenza dei dati.
• Software Engineer: integrano i modelli nelle applicazioni e assicurano che funzionino efficientemente negli ambienti di produzione. Lavorano anche su API e interfacce che consentono un'interazione fluida con i modelli.
• DevOps: automatizzano i processi di deployment e gestiscono l'infrastruttura necessaria per il deployment dei modelli. Garantiscono che il sistema sia robusto, scalabile e in grado di gestire l'integrazione e il deployment continui.
• Auditor: garantiscono la conformità alle normative e agli standard, mantenendo trasparenza e responsabilità. Conducono audit periodici per verificare che i modelli e le pratiche sui dati rispettino le linee guida legali ed etiche.
• Architetti: progettano l'architettura complessiva del sistema per supportare flussi di lavoro di machine learning scalabili e affidabili. Assicurano che tutti i componenti funzionino armoniosamente e che l'infrastruttura possa supportare le prestazioni e la scalabilità richieste.

Caratteristiche di MLOps

MLOps gestisce il ciclo di vita ML con:

Model Development

Si allinea agli obiettivi di business, all'analisi dei dati, al feature engineering, al training del modello e alla garanzia della riproducibilità. Questo implica identificare il problema che il modello mira a risolvere, definire le metriche di successo e usare il controllo di versione per codice e dati per documentare approfonditamente gli esperimenti.

Produzione e Deployment

Si concentra sui tipi di deployment (batch, real-time, ecc.), monitoraggio, gestione del ciclo di vita e governance per garantire che i modelli siano sviluppati e distribuiti in modo responsabile. Ogni tipo di deployment ha esigenze specifiche in termini di latenza, throughput e allocazione delle risorse.

Preparazione per la Produzione

Comporta la configurazione di ambienti runtime che corrispondano alle impostazioni di produzione, la valutazione dei rischi (prestazioni, sicurezza, considerazioni etiche), la quality assurance (unit testing, integration testing), la sicurezza (protezione dei modelli dagli attacchi avversariali) e le strategie di mitigazione del rischio (misure di ridondanza, modelli di fallback).

Deployment in Produzione

Usa pipeline CI/CD per automatizzare il processo di deployment, gestisce gli artifact ML (modelli addestrati, feature set), sceglie le strategie di deployment (blue-green, canary), containerizza i modelli per garantire consistenza e scala i deployment per gestire carichi e domanda crescenti.

Monitoraggio e Feedback Loop

Mantiene le prestazioni del modello attraverso il riaddestramento regolare, il rilevamento del degrado del modello e la valutazione della ground truth e del drift degli input. Questo assicura che i modelli si adattino ai nuovi dati e mantengano l'accuratezza nel tempo.

Governance

Garantisce il rispetto delle normative e delle pratiche di AI responsabile, promuovendo trasparenza, responsabilità ed equità lungo tutto il ciclo di vita del modello. Questo implica condurre audit sui bias, garantire la spiegabilità e mantenere elevati standard etici.

Conclusione

"Applied Machine Learning and AI for Engineers" e "Introducing MLOps" offrono guide accessibili all'AI e al machine learning. Trattano le basi, gli argomenti avanzati e gli spunti pratici per sfruttare l'AI, anche tramite i servizi cloud. Letture consigliate per qualsiasi ingegnere che voglia saperne di più sull'AI senza un Ph.D!