AppSheet : Lecture OCR d’une image

Saviez-vous qu’AppSheet propose une fonctionnalité qui permet d’extraire le texte présent sur une image ? Cette fonctionnalité s’appelle la lecture OCR – Reconnaissance Optique de Caractères en français. Les usages potentiels de cette fonction sont nombreux en entreprise avec entre autres la lecture de factures, de bons de livraison, de tickets, etc.

L’idée de cet article est de voir comment entraîner un modèle OCR dans AppSheet pour lui permettre de préremplir des champs de données à partir d’une image.

Configurer un jeu de données d’entraînement

Avant de créer notre premier modèle OCR, il est nécessaire de pouvoir l’entraîner avec des exemples ! En effet AppSheet est capable de lire les éléments d’une image et surtout de les interpréter pour inscrire les données dans les bonnes colonnes de notre jeu de données.

Dans cet article, considérons une application simpliste avec une seule table « registre » et les colonnes présentées ci-dessous :

Les données déjà existantes vont servir à alimenter notre modèle OCR. Il est à noter que cet échantillon de données est le strict minimum pour permettre au modèle de fonctionner. Plus l’échantillon fourni est conséquent et plus le modèle est entraîné et donc efficace.

Accéder à la fonctionnalité OCR dans AppSheet

La fonctionnalité de reconnaissance OCR est appelée dans AppSheet « OCR MODELS » et cet élément est disponible dans le menu « Intelligence » de l’éditeur. Pour créer un nouveau modèle OCR, il vous suffit de suivre les deux étapes présentées sur l’illustration ci-dessous :

l’interface de création apparaît et nous propose les éléments présentés ci-dessous :

on retrouve dans l’ordre :

• Name : Le nom de notre modèle (à noter que le changer ultérieurement peut générer des problèmes) ;
• Table : La table de données qui contient les données d’entraînement ;
• Image Column : La colonne de type « Image » et qui contient donc les images d’entraînement ;
• Output Columns : Les différentes colonnes qui correspondent aux données à retrouver sur les images.

Une fois ces champs remplis comme ci-dessus, nous sauvegardons ce modèle. La sauvegarde de ce nouveau modèle va déclencher instantanément son apprentissage. En effet celui-ci va analyser les différentes images fournies dans notre jeu de données test pour identifier les éléments listés dans « Output Columns ».

Après l’apprentissage, un nouvel élément apparaît dans les paramètres de notre modèle, en dessous de « Output Columns », ce nouvel élément est « Patterns » :

Les patterns correspondent au résultat de l’apprentissage. Pour chaque entrée de données, un pattern indique les éléments détectés et à quel emplacement.

Ici les images fournies sont de mauvaise qualité et les textes sont manuscrits. Ce scénario est l’un des pires et malgré cela, le modèle a su identifier les bribes d’information visées. Jugez par vous-même sur un pattern ci-dessous.

Utilité de l’OCR dans une application

Passons à la finalité du modèle OCR. En effet une fois celui-ci entraîné, il permet de remplir automatiquement les champs qu’il détecte.

Dans ce petit exemple d’application, nous allons insérer de nouvelles données dans notre table « registre ». AppSheet propose par défaut une action permettant l’ajout d’un nouveau registre, cette action ouvre un formulaire sur lequel on retrouve toutes les colonnes d’un registre, aussi bien le nom et le prix que l’image.

L’animation ci-dessous montre que l’ajout de l’image permet – après quelques instants – de remplir les champs avec les valeurs récupérées.

Conclusion

En cas d’erreur de lecture de la part de l’OCR, il est bien évidemment possible de corriger manuellement la saisie. Cet outil peut être très performant sur des cas d’utilisation beaucoup plus structurés que celui de cet article. Par exemple sur la lecture de ticket standardisée type ticket de transport, où chaque information est à une place précise et écrite noir sur blanc sans ambiguïté possible.

Chez Numericoach nous réalisons des applications AppSheet sur-mesure pour répondre aux besoins de nos clients. Toutes ces applications n’utilisent pas forcément la lecture OCR et il nous reste encore beaucoup de super fonctionnalités AppSheet à vous présenter. À bientôt !