Riconoscimento oggetti con NFC e la suite nuiSense Multi-Touch

Multi-Touch Software Object Recognition
29 agosto 2024 Interactive Digital Signage

Il riconoscimento degli oggetti fisici permette di creare un link tra i prodotti fisici (tangible object) e i contenuti multimediali. La tecnologia scelta è bastata sui tag NFC. Semplicemente applicando un tag NFC agli oggetti sarà possibile scatenare a video eventi associati, come ad esempio l'apertura di una scheda prodotto, un video o delle immagini.

Come implementare il riconoscimento oggetti via sensore NFC

nuiSense multi-touch suite in versione Platinum permette di implementare agevolmente una soluzione multitocco con il riconoscimento degli oggetti fisici attraverso tag e sensori NFC (Near Field Communication). L'NFC è una tecnologia comune e a basso costo che usiamo tutti i giorni quando facciamo ad esempio un pagamento contactless con il nostro cellulare o con la carta di credito.

Un po' di storia: Microsoft PixelSense multi-touch table

Microsoft PixelSense (Surface) era un tavolo multi-touch progettato da Microsoft nel 2008 che permetteva ad uno o più utenti di manipolare contenuti digitali con l'uso di movimenti naturali, gesti delle mani e oggetti fisici.

Il riconoscimento del tocco era basato su un complesso sistema di telecamere, in quanto non era ancora disponibile ai tempi la tecnologia capacitiva (ProCap) che usiamo oggi sui nostri tablet e cellulari. Grazie a queste telecamere il tavolo interattivo era in grado di riconoscere dei tag stampati (Microsoft Tag) simili ai QR Code che venivano usati per associare oggetti fisici a contenuti digitali. Grazie ad una SDK nativa e lo sviluppo di una App si poteva realizzare una soluzione che permettesse di simulare il riconoscimento di oggetti fisici. Quando uno di questi oggetti opportunamente taggato era posizionato sul tavolo il sistema era in grado di reagire, ad esempio mostrando contenuti digitali associati con i quali gli utenti potevano liberamente interagire.

I tavoli interattivi moderni utilizzano invece la più efficiente tecnologia capacitiva ma non permettono il riconoscimento di tag e quindi ad oggi è molto complesso realizzare una soluzione che permetta la stessa user experience e user engagement nel riconoscimento degli oggetti reali.

Cosa mi serve per implementare il riconoscimento oggetti via NFC?

La soluzione che abbiamo implementato prevede di utilizzare piccoli tag adesivi NFC da incollare sui prodotti fisici e un sensore di prossimità o uno smart card reader\writer collegato via USB al device o integrato direttamente nel display multi-touch.

Di seguito la lista della spesa:

Lettori NFC e Tag per il riconoscimento degli oggetti in nuiSense

In linea di massima compatibili tutti i dispositivi che vengono elencati dal sistema operativo (Windows 10/11) come sensori di prossimità (proximity devices) o lettori di smart card (smart card readers) che supportano lo standard NFC. Il costo dei lettori NFC è solitamente di poche decine di euro.

I tag NFC compatibili sono gli NTAG21x, con l'esclusione del NTAG210. Il costo del singolo tag è di pochi centesimi. Consigliamo di usare gli NTAG213 che hanno un ottimo rapporto qualità prezzo.

Di seguito alcuni venditori specializzati nella vendita di strumenti NFC:

Risoluzione dei problemi

Si consiglia sempre di installare i driver più aggiornati disponibili sul sito del produttore del tuo sensore NFC. Il lettore deve essere visto dal sistema come sensore di prossimità o come smart card reader, per verificare è possibile accedere al Device Manager di Windows dove si può verificare che il lettore sia elencato sotto il nodo corretto (vedi immagine).

Se il lettore viene riconosciuto dal sistema emetterà un suono ogni volta che un tag NFC viene avvicinato al sensore di prossimità. Se questo non succede o i tag non vengono scritti è possibile che i tag in possesso non siano compatibili. Per verificare la compatibilità dei tag si rimanda alla sezione apposita di questa pagina.

Il riconoscimento degli oggetti in nuiSense multi-touch suite

Per abilitare il riconoscimento degli oggetti è sufficiente aprire la sezione “Machine settings" di nuiSense, selezionare il menu NFC e specificare se il display è in orizzontale o in verticale e indicare la posizione del chip NFC. La posizione indica all'App dove aprire i contenuti associati al tag.

Adesso è sufficiente creare o aprire un album esistente di tipo “Interactive Presentation" per configurare l'esperienza utente e selezionare la voce di menu Object recognition.
Premere quindi il bottone “Aggiungi tag", indicare un nome a scopo descrittivo e scegliere i contenuti da associare al tag (es. immagini, video, PDF o modelli 3D) premendo il bottone “Aggiungi contenuto". Premere quindi il bottone “Indietro" per tornare alla schermata precedente dove comparirà il nuovo tag nella lista dei tag configurati. Premere quindi il bottone “Scrivi tag NFC" per scrivere il tag NFC. Avvicinare quindi il tag al lettore NFC. Se l'operazione andrà a buon fine l'App mostrerà un messaggio di scrittura avvenuta con successo.
Non resta che avviare l'album ed avvicinare il tag al lettore NFC per aprire i contenuti associati.

Per maggiori informazioni fare riferimento al manuale utente.

Un'esperienza interattiva multi-touch coinvolgente con il riconoscimento degli oggetti

In pochi click, con un costo limitato e senza essere un esperto IT si possono configurare delle esperienze uniche e coinvolgenti che permettono di creare un link tra i prodotti fisici e i contenuti multimediali. I casi di utilizzo sono molteplici ed adatti a tutti i settori. Ad esempio una cantina vitivinicola potrebbe incollare i tag nfc sui bicchieri o sottobicchieri o sulla bottiglia per aprire la scheda tecnica del vino che si sta degustando e altri contenuti multimediali come video o immagini. Questo gioco è implementabile per ogni altro settore merceologico.

Un'esperienza interattiva multi-touch coinvolgente con il riconoscimento degli oggetti
Tags: multi-touch, interactive experience, nuiSense, object recognition