Grafica 3D per i Beni Culturali PDF

Preview

Summary

Appunti del Corso di Grafica 3d all'Università di Pisa...

Description

Grafica 3D per i Beni Culturali – 2018/19 – Secondo Semestre 19/02/19 http://vcg.isti.cnr.it/corsi/G3D_InfoUma/ [email protected]

-> Sito Corso

-> Email Prof

Modello 3D come strumento di NARRAZIONE

21/02/19 (2° lezione) Cosa vuol dire lavorare col 3d? Avere a che fare col 3d? Ci sono state situazioni in cui applicazioni, app, dove si vede un’ambiente, un mondo tridimensionale che viene visualizzato sul nostro schermo ed in qualche modo ci interagiamo. Un media statico è stato trasformato in 3D, ma non è interattivo. Però pensiamo a questo 3D come qualcosa che debba finire all’utente finale, ma esiste tutto un mondo di un utilizzo tecnico dove il 3D è un mezzo intermedio, nasce e muore all’interno di questi ambienti. C’è una cosa, nel mondo 3D, che è un po’ difficile capire all’inizio. Le foto e le immagini, anche digitali, sono utilizzate in tantissimi campi, ma anche con tantissima varietà di formati, contenuti, risoluzione, colore, alla fine rimane un’immagine. Ci sono tipi diversi di immagine? Sì, ma rimane sempre tale. CAD: computer-aided design CAM: computer-aided manufacturing Oltre ai BIM adesso esistono anche gli H-BIM, gli heritage Bim, per i Beni Culturali.

Slide 9 (Lezione2-2): Vertices are just point in space, faces (triangles) are built on top of vertices, a 3D model is MESH of triangles. Slide 12: add -> What we see in the screen is a view of the scene. Every tool defines a scene with its own data structure… Beside 3D models, in a scene, there are often many other elements: […]

26 febbraio Formati più utilizzati: PLY (formato binario. Grossotto, non compresso, ma ragionevole. OBJ (non ha colore per vertice. Formato testuale, ci si legge i numeri, più pesante.) STL (commerciale -> aperto. Solo geometria pura. Formato testuale, ci si legge i numeri, più pesante.) COLLADA X3D VRML (WRL) - virtual reality modelling language (richiedevano plug-in per essere visti) Questi 3 sono formati di interscambio fra software, servono per scambio di dati. Alcuni sono vecchi

12 Marzo All’inizio, col VRML c’erano tantissime gallerie virtuali, ambienti tridimensionali in cui la qualità è bassissima. Sopravvive come formato (più che altro di interscambio), tuttavia non è specifico per nessun tipo di formato tridimensionale. Con l’introduzione di HTML5, standard principale di pagine web ed in più contiene sottomoduli per la gestione di dati di diverso tipo (audio, video, 3d, formati aperti).

OGNI COSA SCRITTA SU WEB GL girerà anche su tablet e cellulare, anche se hanno una capacità di calcolo minore. Lo stesso linguaggio funziona senza adattamento (OpenGl), che solitamente riguarda l’interfaccia. OPENGLS nasce proprio per i device mobili. Tutto il mondo 3d sul web passa su WEBGL, è un modello basato completamente su Javascript. Disegno tramite una serie di comandi JS. Sopra WEBGL esistono librerie e componenti che permettono di accedere a webGl. Questa stratificazione, nell’informatica è normale che ci siano livelli successivi di astrazione (librerie etc.). X3DOM è una delle librerie che è sopra WebGL che permette di creare e gestire oggetti 3d direttamente nella pagina. Usato veramente tanto nell’industria. WebGL -> X3DOM. Le entità e componenti tridimensionali sono all’interno del DOM della pagina alla pari di tutti gli altri elementi. E’ difficile lavorare con modelli grossi e fare interfacce complicate. ThreeJS è opposta a x3Dom, crea un’intera pagina web utilizzando un approccio imperativo, non elenca gli elementi, fa un programma 3D.

14 marzo Nuvola 3d : punti/vertici nello spazio senza facce. Assenza di superfici. Aperto il modello su SketchFab prima carica il modello e poi me lo fa vedere, più grosso è il dataset e più ci vuole. I dati sono tenuti in un formato compresso e viene ottimizzato per la trasmissione su Web. POTREE nasce come un sistema tecnico per lavorare sui dadi.

19 Marzo Lezioni con l’altro prof. 3DHOP, Heritage Online Presenter. Strumento sviluppato per il mondo dei beni culturali, serve a facilitare la pubblicazione online di dati 3d per integrarli con la pagina web. Ci sono strumenti realizzati appositamente per permettere di analizzare/visualizzare dati 3d del mondo dei beni culturali (da fotogrammetria, laserscanning). Web3D è la presenza di dati 3D sul Web. Al giorno d’oggi indica l’integrazione dei dati 3D con tutto quello che c’è attorno. File PLY è un file a singola risoluzione, Nexus permette anche la compressione dei modelli e la versione compressa (con estensione nxs) ha un peso minore. Codice Javascript per il visualizzatore:

3DHop fornisce i trackball: file separati per rendere più facile l’interazione con il codice base. A seconda del modello visualizzabile o interazione richiesta si sceglie una trackball diversa. 3dHop mette a disposizione altri strumenti che servono all’utente finale per interagire. Il primo è lo strumento di ILLUMINAZIONE. Automazioni di camera: salvare viste predefinite nella scena 3d. Controllo della visibilità: utile per implementare confronti fra modelli o gallerie di oggetti. Hot-Spots e Picking: utile per implementare hot-spots per allegare più informazioni alla scena 3D.

Ci sono varie configurazioni: Zero-Config. How-To: modifying tutorial examples Templates: editing gallery examples. Modelli 3D out of reach per 3DHOP: troppo ampi (ambienti). [email protected]

COME SI USA 3DHOP? C’è un insieme di cartelle e file. E’ uno strumento per il Web, senza interfaccia o eseguibile, sono una serie di file che funzionano già così come sono, vanno copiati nelle giuste cartelle e poi possono essere visualizzati nel Browser senza installare nulla relativo a 3dhop. Abbiamo un insieme di dati in cartelle, sono richieste dal Web Server che seleziona i dati e li rimanda indietro per essere visualizzati nel Browser. Cartelle -> Queste necessitano di un Web Server -> Si usa un WS vero (o universitario) o servizi di WebHosting. ->

Gestione dati 3d Struttura della Scena Tool forniti per gestire l’interazione dell’utente Caratteristiche da poter integrare Modularità del framework

Quando si salva in meshlab ricordarsi di selezionare “modelli normali” per i vertici Drag and drop file nexus (dopo conversione) sul file nexuscompress Rilasciare file su nexusview poi

26 Marzo Scansione 3d è un insieme di tecnologie, non una singola tecnologia. Acquisizione di varie mappe Filtraggio delle mappe Registrazione delle mappe Fusione delle mappe Editing del mesh Colorazione MISURAZIONE: Contatto vs Distanza -> una tassonomia (articulated arms, slicing, optical, active, passive, non-optical. Le teorie ottiche passive si basano sulla geografia e sulla percezione umana. Due sensori che percepiscono il mondo da due posizioni leggermente diverse. E’ possibile così ottenere la profondità da ogni punto. Il nostro cervello lo fa in automatico, e le macchine possono farlo. Non illumino. Attive: sparo luce nella scena, illumino in un certo modo e determino la geometria. TRIANGOLAZIONE: poter determinare la posizione di un punto in base ai raggi. Esistono degli strumenti con lo stesso principio: emettitore di luce (es. laser) spara segnale luminoso in un certo modo controllato (angolo), poi telecamera che guarda l’oggetto, vede dove la luce tocca l’oggetto. Vedendo questo, io so a che angolo la luce è arrivata al sensore. Scanner dove so distanza tra emettitore e ricevitore, so a che angolo ho sparato la luce, so a che angolo ho visto l’illuminazione. Triangolare nello spazio la posizione di quel punto illuminato. Time of Flight (TOF) calcolo il tempo che passa da quando accendo il laser a quando lo vedo comparire sull’oggetto.

7 Maggio 3d Printing: Sottrattivo o Additivo? Il primo consiste nel sottrarre materiale finché non si ottiene la forma voluta. Nella maniera additiva deposito materiale strato dopo strato fin quando non ho ottenuto la forma che voglio.

14 Maggio Passare da Foto a Progetto 3D. (consiglia uso della Trial di Metashape oppure Regard 3d, ma Metashape è più robusto e funziona meglio). Cartella con le foto (possibilmente ordinate) da usare. Metashape quando lo aprite c’è il progetto vuoto con workspace con chunk (contenitore per le foto). Da WORKFLOW si selezionano le foto e si portano dentro il

chunk. Non cambia nulla. Crea un sotto-folder con le foto. Sotto c’è il TAB con le Photos, uno con Console (varie cose che succedono, errori, cosa sta facendo), Jobs serve per fargli fare più cose in maniera scriptata. I punti interessanti nelle foto vengono matchat con le altre foto, queste corrispondenze sono usate per fare la calibrazione o orientamento delle camere: valori focali, valori intrinseci, si genera una nuvola di punti sparsa che rappresentano i punti 3D delle foto. Il menù workflow ha tutti gli step che servono uno dopo l’altro. Finché non si caricano le foto non lo fa selezionare. ALIGN PHOTOS -> Parte con Accuratezza High (non usare Highest, non cambia molto). Di solito c’è Generic Preselction e si lascia così. MEGLIO NON USARE FOTO IN CUI E’ MEMORIZZATO IL PUNTO DEL GPS. Come si prendono le foto? DECIDERE OGGETTO – AREA DI INTERESSE. Fare foto che inquadrano l’intero oggetto, muovendosi attorno, di fronte, dietro, più in basso, più in alto. Lavorare con ordine. Di solito si usano CENTINAIA DI FOTO, aiuta a raggiungere una superficie perfetta: 50/100 FOTO VANNO BENE. Cameras X/X allineate: significa che ha usato tutte le foto. A volte non le usa tutte. L’allineamento può metterci molto tempo, seppur ragionevole. Serve per lo stadio successivo. Ho le camera allineate, la nuvola di punti, vedo che più o meno tutto quello che mi interessava è stato preso e vado al passo successivo. Workflow: BUILD DENSE CLOUD. Primo parametro un po’ come capita. A che lv di qualità la nuvola densa? Ultra High 1:1px, High 1:2px… Lv di dettaglio, più punti creati e più tempo necessario. Essenziale che si vada sul tasto “Move, Resize e Rotate Region”, con quei comandi si fa diventare più accurata l’area d’interesse. Resize -> Si cerca di portare l’area più vicina all’oggetto che ci serve. Controllare di non aver tagliato niente: più piccola è l’area e più veloce è il calcolo. Dopo tutto si apre il file su MeshLab per pulizia e creazione superficie. Seleziono punti superflui e li cancello. Togliere zone che non interessano e zone venute male. Togliere TUTTO quello che non serve. Pulizia buona, togliete il grosso, e poi si prova a fare una generazione di superficie (che probabilmente toglie piccoli dettagli). FILTERS – RECONSTRUCTION -> ULTIMO IN FONDO -> POISSON RECONSTRUCTION Partire con valore basso e vedere cosa succede (es. 8). 8 non basta, quindi si prova numero un po’ più alto. Su Metashape si può creare texture, più son grandi più ci vuole, di solito si utilizzano 2/3 DIMENSIONI, di solito 1024 è piccola, 4096 texture buona. 2048 è media. Lancio la creazione della texture. La texture è automatica e plus per l’esame. In cima si può selezionare se avere modello texturizzato, il modello diventa molto più preciso di prima, per quanto la geometria rimanga la stessa. FILE -> EXPORT -> MODEL -> file -> Esportare la TEXTURE. SOLO LA TEXTURE, NON COLORE PER VERTICE. Quindi si hanno modello 3d e file jpeg per la texture. Prendere il modello, raddrizzarlo, scalarlo e poi portarlo nel sistema di 3dHOP.

REGARD 3D HA UN DATABASE INTERNO DI MACCHINE FOTOGRAFICHE, SE LA MACCHINA E’ MOLTO VECCHIA, MAGARI NON C’E’. MOLTI CELLULARI CI SONO E ALTI NON CI SONO. Regard 3d funziona così: Dataset di Foto -> Cartella -> Aggiungi file -> Selezionare foto da aggiungere -> Le carica e scrive tutti i dati della macchina fotografica. Dato che molti dispositivi hanno valori conosciuti, se il programma non trova il dispositivo è possibile inserire valori cercandoli Online. 5mpx -> Minimal -> 20mpx -> Medio

16 Maggio PUBBLICAZIONE Genera modello geometrico -> Pulisci modello geometrico -> Texture generata sul modello definitivo (ultimo passaggio). La prima foto determina l’orientamento. Meshlab: tasto 1 (avanti), 3 (destra), 7 (dall’alto), ctrl-7 dal basso. Attivare i manipolatori -> Rotazione -> Ruoto l’oggetto finché non diventa dritto rispetto al punto di vista. -> Vado di lato e verifico. Translate sui vari assi per posizionarlo al centro. Fattore di Scala. Misurare punti per scalare così da avere la dimensione giusta. Filters > Normal Orientation > Scale (53.14 sugli assi) Metterlo Online con 3dHop Scarico pacchetto 3dHop e Nexus, nella cartella trovo 3dhop e anche Nexus (che trasforma in multirisoluzione) Lo mettiamo dentro la cartella di Nexus -> Prendo il .ply e lo trascino su Nexus Build. NXS Compress -> File Originale ply, file nxs e file nxz che è quello multirisoluzione compresso. L’ultimo è quello che si usa per la pubblicazione Online. Minimal -> Models -> Altro file nxz (Gargo) che si deve cancellare per mettere il nostro. Ci sono due file (uno con tutti gli strumenti ed uno con quelli di base) -> Si apre quello con tutti gli strumenti e si va a modificare il codice così da mettere il nostro file all’interno e non gargo.nxs Compare storto? Torniamo al codice di 3dHop -> Andiamo alla trackball e se mettiamo 0 compare dritto. Se l’unità di misura non è quella che vogliamo, andiamo nel codice del visualizzatore e cambiamo l’unità di visualizzazione. ADATTARE IL VISUALIZZATORE ALL’OGGETTO SPECIFICO E’ UNA COSA CHE VA FATTA Possiamo usare il VISUAL MEDIA SERVICE di 3dHop -> Fa in automatico l’ultimo passaggio, è un server CNR, conversione e creazione della pagina di visualizzazione. Upload -> Caricare -> Avremo un link unico -> Possiamo generare un visualizzatore -> Se lo scarichiamo c’è una cartella con tutti i file.

Visual SFM è un altro per fare 3d da immagini. Scompattare -> L’eseguibile apre una finestra, da lì bisogna fare: File -> Apri le immagini -> Cartella e si prendono le immagini e le si caricano -> Compute Missing Matches CMVS -> Nome -> parte a fare l’elaborazione -> Quando ha finito vi trovate un file ply nella cartella con la nuvola di punti

Cos’è l’oggetto -> Come ho fatto l’oggetto ed il viewer 3d -> Qualsiasi altra informazione sul perché l’ho fatto, ipotesi, geometria dell’oggetto...