From 3D Models to Sign Inventories: Pipeline for Glyph Extraction from Rongorongo Tablets Using “Segment Anything Model 3” and “Classical Computer Vision”

Abstract

Traditional paleography has long relied on manual drawings (facsimiles) and conventional 2D photography to document and analyse ancient writing systems,. While facsimiles provide valuable scholarly interpretations, they are inherently subjective; photographic documentation, in turn, is constrained by fixed lighting conditions and geometric distortions introduced by curved physical supports and camera perspective. Recent advances in 3D digitisation techniques offer new opportunities to derive more objective and reproducible representations of inscribed surfaces. This thesis proposes an integrated computational pipeline for the semi-automated extraction, segmentation, and structural analysis of inscribed signs, applied to the undeciphered Rongorongo script of Rapa Nui (Easter Island). The data and reference materials used in this study derive from the ERC Project INSCRIBE (Invention of Scripts and their Beginnings), led by Prof. Silvia Ferrara at the University of Bologna (Italy), which investigates the invention of writing from a global perspective and aims at developing new trajectories for the study and potential decipherment of undeciphered scripts. Within this framework, INSCRIBE has produced a unique corpus of high-resolution 3D models of inscribed objects. The Rongorongo dataset used in this work is part of this broader effort and builds on INSCRIBE’s digital epigraphic infrastructure. The proposed workflow operates on 2D representations (renderings) derived from high-resolution 3D photogrammetric models of Rongorongo tablets, rather than directly on three-dimensional data. This deliberate choice reflects both the greater maturity of 2D computer vision methods and their closer alignment with traditional paleographical practice. Two rendering strategies are investigated as input representations: MSII (Multi-Scale Integral Invariants, via GigaMesh open software) and Radiance Scaling (via MeshLab open software) and their respective effects on downstream processing are examined. The pipeline unfolds in seven steps. The first step produces enhanced 2D renderings from high-resolution 3D models, enhancing the visibility of the carved strokes for automated processing. The second step detects the inscription lines and segments the image into individual text bands, each isolating a single row of signs. Within each band, the third step applies clustering and bounding box generation to localize candidate sign regions, providing coarse spatial hypotheses for where signs are likely to occur. The fourth step performs fine-grained zero-shot segmentation using the Segment Anything Model 3 (SAM3), refining each candidate into a precise binary mask that delineates the contours of individual signs (the central output of the pipeline). The fifth step applies skeletonization to each extracted mask, reducing signs to their essential stroke structure and preserving junction topology and relative stroke widths for paleographical interpretation. The sixth step evaluates the pipeline's outputs against expert-produced hand-drawn facsimiles providing quantitative measures of segmentation quality. The seventh and final step conducts a preliminary sign matching exploration, assessing the feasibility of automated cross-tablet glyph comparison and the construction of morphological sign inventories. The workflow was applied to high resolution 3D models of four Rongorongo tablets from the ERC INSCRIBE corpus, each converted into 2D input representations for both sides: Tahua (Text A), Aruku Kurenga (Text B), Mamari (Text C), and the Échancrée tablet (Text D). On the Mamari tablet, the pipeline achieved a pixel level F1 score of 78.63% and a symmetric Chamfer distance of 2.01 px relative to the INSCRIBE Valério facsimile, in a near-automatic configuration prior to the interactive correction stage. In conclusion, this work provides a reproducible semi automated framework for digital epigraphy and lays a foundation for future automated transcription workflows and paleographical analyses in ancient script research.

La paléographie traditionnelle s'est longtemps appuyée sur des dessins manuels (fac-similés) et la photographie 2D conventionnelle pour documenter et analyser les systèmes d'écriture anciens. Si les fac-similés fournissent des interprétations savantes précieuses, ils sont intrinsèquement subjectifs ; la documentation photographique, quant à elle, est limitée par des conditions d'éclairage fixes et des distorsions géométriques induites par les supports courbes et la perspective de l'appareil photo. Les progrès récents des techniques de numérisation 3D offrent de nouvelles opportunités pour obtenir des représentations plus objectives et reproductibles des surfaces inscrites. Cette thèse propose un pipeline informatique intégré pour l'extraction, la segmentation et l'analyse structurelle semi-automatisées des signes inscrits, appliqué à l'écriture non déchiffrée du Rongorongo de Rapa Nui (Île de Pâques).

Les données et le matériel de référence utilisés dans cette étude proviennent du projet ERC INSCRIBE (Invention of Scripts and their Beginnings), dirigé par la Professeure Silvia Ferrara à l'Université de Bologne (Italie), qui étudie l'invention de l'écriture dans une perspective globale et vise à développer de nouvelles trajectoires pour l'étude et le déchiffrement potentiel des écritures non déchiffrées. Dans ce cadre, INSCRIBE a produit un corpus unique de modèles 3D haute résolution d'objets inscrits. Le jeu de données Rongorongo utilisé dans ce travail fait partie de cet effort plus large et s'appuie sur l'infrastructure épigraphique numérique d'INSCRIBE.

Le pipeline proposé opère sur des représentations 2D (rendus) dérivées de modèles photogrammétriques 3D haute résolution des tablettes Rongorongo, plutôt que directement sur les données tridimensionnelles. Ce choix délibéré reflète à la fois la plus grande maturité des méthodes de vision par ordinateur 2D et leur alignement plus étroit avec la pratique paléographique traditionnelle. Deux stratégies de rendu sont étudiées en tant que représentations d'entrée : MSII (Multi-Scale Integral Invariants, via le logiciel open source GigaMesh) et Radiance Scaling (via le logiciel open source MeshLab), et leurs effets respectifs sur le traitement ultérieur sont examinés.

Le pipeline se déroule en sept étapes. La première étape produit des rendus 2D améliorés à partir de modèles 3D haute résolution, augmentant la visibilité des traits gravés pour un traitement automatisé. La deuxième étape détecte les lignes d'inscription et segmente l'image en bandes de texte individuelles, chacune isolant une seule rangée de signes. À l'intérieur de chaque bande, la troisième étape applique un regroupement (clustering) et une génération de boîtes englobantes pour localiser les régions candidates de signes, fournissant des hypothèses spatiales grossières sur les endroits où les signes sont susceptibles de se trouver. La quatrième étape effectue une segmentation zero-shot à grain fin à l'aide du Segment Anything Model 3 (SAM3), affinant chaque candidat en un masque binaire précis qui délimite les contours des signes individuels (le résultat central du pipeline). La cinquième étape applique une squelettisation à chaque masque extrait, réduisant les signes à leur structure de trait essentielle et préservant la topologie des jonctions et les largeurs relatives des traits pour l'interprétation paléographique. La sixième étape évalue les résultats du pipeline par rapport aux fac-similés dessinés à la main par des experts, fournissant des mesures quantitatives de la qualité de segmentation. La septième et dernière étape mène une exploration préliminaire de mise en correspondance des signes, évaluant la faisabilité d'une comparaison automatisée des glyphes entre tablettes et de la construction d'inventaires morphologiques des signes.

Le pipeline a été appliqué à des modèles 3D haute résolution de quatre tablettes Rongorongo du corpus ERC INSCRIBE, chacune convertie en représentations d'entrée 2D pour les deux faces : Tahua (Texte A), Aruku Kurenga (Texte B), Mamari (Texte C) et la tablette Échancrée (Texte D). Sur la tablette Mamari, le pipeline a atteint un score F1 au niveau des pixels de 78,63 % et une distance de Chambert symétrique de 2,01 px par rapport au fac-similé INSCRIBE Valério, dans une configuration quasi-automatique avant l'étape de correction interactive. En conclusion, ce travail fournit un cadre semi-automatisé reproductible pour l'épigraphie numérique et jette les bases de futurs pipelines de transcription automatisée et d'analyses paléographiques dans la recherche sur les écritures anciennes.