Intelligenza Artificiale applicata al software benchmark

È risaputo che la scienza informatica è a uno stadio avanzato di sviluppo dell’intelligenza artificiale (di seguito IA), ammesso che in questo caso si possa ancora parlare di sola informatica senza includere anche altri campi di studio quali la sociologia, la semiotica etc.
ChatGPT è un chatbot basato su intelligenza artificiale e apprendimento automatico (machine learning) sviluppato da OpenAI specializzato nella conversazione con un utente umano. (Fonte Wikipedia).

Il nostro sviluppatore Alessandro Trebbi ha fatto qualche test sul livello di conversazione che si può ottenere in un ambito tecnico come quello dei software Bentley Systems. Le conversazioni si sono tenute su alcune domande poste da Alessandro rispettivamente su MicroStation, in lingua inglese e OpenBuildings Designer, in italiano.

Qui i link alle conversazioni integrali
MicroStation
OpenBuildings

Analizziamo quanto restituito dall’IA.

Alessandro ha chiesto informazioni su come selezionare tutti gli elementi in MicroStation e la risposta è stata la seguente.

CahtGPT ha risposto accuratamente e in una forma lessicale sorprendente.

Alessandro ha continuato a dialogare ponendo quesiti con un grado di difficoltà superiore, la comparazione tra metodi.

Ancora un’ottima risposta in un linguaggio fluido e senza imprecisioni tecniche, qui si comincia a intravvedere la capacità dell’IA di selezionare, comparare e sintetizzare concetti e argomenti tra loro.

Alessandro ha chiesto poi una valutazione su un metodo da seguire per selezionare oggetti in MicroStation.

E arrivati alla conclusione della conversazione possiamo  certificare che per quanto riguarda la manualistica per l’utente base ChatGPT si rivela un’ottima e affidabile risorsa.

Passiamo ora a quanto abbiamo ottenuto chiedendo all’IA una valutazione di merito su differenti software come Autodesk Revit e Bentley OpenBuildings Designer. Pur essendo consapevoli quanto non sia  del tutto appropriato paragonarli, dato che entrambi i software sono performanti se posti nel giusto contesto.

Nello screenshot a seguire abbiamo segnato in rosso quelli che per noi sono errori, in giallo le affermazioni migliorabili e in verde quelle corrette.

Commentiamo passo passo le risposte fornite dall’IA:

  1. Revit non è stato sviluppato in origine da Autodesk come afferma ChtaGPT ma è stato acquisito nel 2002 dalla Revit Technologies Inc. (Fonte Wikipedia)
  2. L’integrazione con AutoCAD andrebbe spiegata meglio, se si intende il passaggio tramite DWG in input e output è corretta, ma personalmente per integrazione noi intendiamo una interoperabilità e questa effettivamente Revit ce l’ha con AutoCAD Architecture/MEP/Civil3D, Navisworks (Fonte Autodesk) e recentemente annunciata quella con Inventor.
    Bentley assegna come formato nativo il DGN a tutte le sue applicazioni quindi la compatibilità, al netto delle specifiche di settore ingegneristico, è totale.
    Una integrazione tra BIM Authoring e CAD Authoring sarebbe impossibile in termini, tranne che per MicroStation che è in grado di leggere IFC e anche RFA e restituirne completamente i dati.
  3. Abbiamo segnato in giallo l’affermazione che Revit sia più facile e intuitivo in quanto riteniamo che ogni software, opportunamente divulgato e appreso, possa diventare tale.
  4. Infine per noi è da evidenziare in giallo l’idea per cui se si ha più familiarità con altri software Autodesk è naturale orientarsi a Revit, non crediamo sia così condivisa  l’operatività di base nel mondo Autodesk mentre questa affermazione sarebbe del tutto vera per un passaggio da MicroStation a quasi tutte le altre applicazioni Bentley, grazie all’integrazione di MicroStation nella maggior parte di esse, una garanzia di continuità nei progetti building e infrastrutturali che sono sempre espressione di interventi pluridisciplinari.

Giunti al termine di questo primo esperimento si può tranquillamente affermare che ChatGPT è sulla buona strada per diventare un ausilio se non il principale strumento di apprendimento umano, ma da alcune imprecisioni rilevate riteniamo che il software benchmark sia ancora complicato per una IA e forse non sarà possibile ancora per molto tempo ottenere valutazioni corrette in questo ambito, mancandogli di fatto l’esperienza diretta e sedimentata in anni di pratica e studio.
La grande capacità di assemblare e apprendere dalle informazioni prese in rete e durante le conversazioni per il momento non è comparabile a una reale conoscenza. Ma se si tratta di documentarsi in modo rapido, sul piano puramente nozionistico, su qualsiasi tema, ChatGPT è già una realtà affidabile.

Daniele Podda
Bentley MicroStation e OpenBuildings Qualified Trainer