un rischio per ora latente, ma impossibile da ignorare

Da molti mesi a questa parte non c’è azienda di cybersecurity che non stia parlando del ruolo dell’intelligenza artificiale come strumento per condurre attacchi informatici, per difendersi da essi o come elemento di ulteriore vulnerabilità.

Quando però a parlare è il capo di una struttura di threat intelligence, che tocca quotidianamente con mano gli effetti degli attacchi sulle organizzazioni e deve investigare nei meandri del dark web le possibili nuove minacce, il discorso di fa interessante.

È quel che ci è successo parlando con Paolo Palumbo, Vice President e capo della divisione di Intelligence di WithSecure, che ha di recente incontrato la stampa italiana per fare il punto del panorama delle minacce che hanno a che fare con l’intelligenza artificiale. “Dopo il rilascio di ChatGPT a novembre 2022, abbiamo seguito una crescita esponenziale delle trasformazioni, che ha portato a un proliferare di paper e nuovi modelli”, afferma.

Gli LLM che aiutano gli attaccanti

Come confermato da molti altri vendor e ricercatori, nonostante i comprensibili timori non c’è al momento evidenza di un utilizzo massiccio di LLM come strumenti di attacco completamente automatizzati, ma questo non significa che criminali e attori governativi non li stiano usando – come chiunque del resto – per facilitare il proprio “lavoro”.

OpenAI ha di recente dichiarato di avere bloccato alcuni account di ChatGPT usati da attori malevoli affiliati a governi e anche rilasciato un paper in cui si dettagliano alcuni di questi utilizzi. Citando il caso dell’APT Storm-0817, che ha utilizzato i modelli OpenAI per fare il debugging di un malware per Android, creare uno script per scaricare informazioni da Instagram e tradurre dal pakistano al persiano alcuni profili LinkedIn di esperti di cybersecurity.

Una analoga ricerca di Google ha rilevato tentativi di violare i guardrail di sicurezza di Gemini, e rilevato utilizzi sporadici dello stesso tenore, ma non una presenza sistematica e costante da parte di organizzazioni stabili.

“Il threat actor sta quindi usando il modello per fare cose molto poco sofisticate”, commenta Palumbo, facendo però notare che il fatto stesso che OpenAI e Google abbiano queste informazioni è una dimostrazione del fatto che i prompt degli utenti vengono in qualche modo ispezionati e analizzati, “ed è una cosa che le organizzazioni che utilizzano questi modelli dovranno considerare”.

Il rischio deepfake

Si è sentito a lungo parlare di un fantomatico bot in grado di fare videochiamate su Teams imitando volto e voce di una persona, ma – dice Palumbo – “non è stata raccolta al momento alcuna prova della sua esistenza. I deepfake però esistono, sono di qualità molto elevata e vengono a volte rilanciati anche da personaggi in vista che ne amplificano gli effetti di disinformazione”.

Un altro interessante paper citato da Palumbo riguarda uno studio sulla fattibilità di attacchi vishing (phishing vocale via telefono) completamente automatizzati attraverso ViKing, uno strumento basato su IA e in grado di fare telefonate che utilizzano tecniche di ingegneria sociale. Lo studio ha rivelato che il 52% dei 240 partecipanti ha rivelato informazioni sensibili, il 68% ha ritenuto l’interlocutore credibile e affidabile e il 62% ha dichiarato che ViKing era molto realistico.

Il dato più preoccupante? Il costo di un attacco con esito positivo varia da 0,38 a 1,13 dollari: poco più del costo della telefonata stessa.

Modelli al servizio della cybersecurity

Palumbo ha poi citato Vulnhuntr, uno strumento che sta facendo molto parlare di sé e che potrebbe rappresentare una enorme minaccia nelle mani sbagliate. Si tratta di un tool che utilizza gli LLM per rilevare vulnerabilità di server a partire da interazioni di utenti remoti, creando e analizzando catene di chiamate al codice in diversi passaggi. Questo approccio si è rivelato in alcuni casi più efficace della semplice analisi statica del codice, e ha condotto a un primo breakthrough: l’identificazione di una vulnerabilità 0day.

Seguendo l’impostazione di Vulnhuntr, il governo USA si sta interessando a come sistemi IA o ibridi possano essere usati per mettere in sicurezza i sistemi critici americani in modo completamente autonomo. Il DARPA (la Defense Advanced Research Projects Agency responsabile per il primo sviluppo di Internet) ha quindi lanciato la AIxCC, Cyber Challenge per l’AI. A bordo del progetto ci sono tutti i grandi nomi: Anrthopic, Google, Microsoft, OpenAI, Linux Foundation e Open Source Security Foundation, con Black Hat e Defcon come collaboratori.

La competizione durerà due anni (ammesso che le strutture federali coinvolte non vengano nel frattempo smantellate dall’attuale amministrazione, NdR) e distribuirà 29 milioni di dollari in premi ai team che produrranno le migliori soluzioni, in grado di utilizzare sistemi “che ragionano” in grado di trovare e fixare automaticamente vulnerabilità nel software open source.

I malware intelligenti

Da decenni esistono i virus polimorfici, che cercano di camuffarsi ai software di rilevamento modificando il proprio codice a ogni passaggio. Oggi strumenti di questo tipo hanno un’arma in più: i language model.

LLMorpher è il proof of concept di un virus parassita, simile proprio a quelli degli anni novanta, che non ha un vero codice di payload. Oltre a del codice python innocuo, contiene infatti istruzioni in normale lingua inglese con i prompt da inviare alle API di OpenAI per richiedere di scrivere “al volo” l’effettivo codice malevolo.

In modo simile, BlackMamba è un keylogger polimorfico con un payload apparentemente benefico, ma in grado di generare codice attraverso LLM esterni.

Al momento, rassicura Palumbo, “non stiamo vedendo strumenti di questo tipo utilizzati concretamente per attacchi. Anche per l’industria del malware, il ritorno degli investimenti deve comunque essere positivo. Se le vittime cascano ancora nella truffa nigeriana, perché investire tempo e denaro nello sviluppo di strumenti sofisticati?”.

In generale, però, non c’è da stare tranquilli. “La tecnologia è arrivata e per le organizzazioni non c’è possibilità di dire: non mi interessa, la ignoro. Riguarda tutti. Chi deve difendersi non ha scelta: deve occuparsene ora”, conclude Palumbo.