Master thesis : On the Design and Implementation of an ETL Configuration DSL for Non-programming Experts

Abstract

Extract-transform-load (ETL) tools are used in the business to ingest external data into their operational database. The design of an ETL process can be achieved through either code and libraries or a graphical tool featuring a graph of operations. However, the former is only accessible to programmers, while the latter lacks extensibility. This thesis proposes an approach to ETL configuration, based on a projectional domain-specific language (DSL), implemented with JetBrains MPS, and targeting ETL.NET. The ETL process is designed using a language that represents data as tables manipulated through sequences of operations. A prototype implementation is evaluated with a small user study, which shows that the DSL is accessible to non-programmers, and programmers prefer it over a tool based on graphs.

Les outils Extract-Transform-Load (ETL) sont utilisés dans les entreprises pour importer des données externes dans leur base de données opérationnelle. La conception de processus ETL, se fait principalement avec du code textuel et des bibliothèques logicielles ou avec des interfaces graphiques présentant un graphe d'opérations. La première convient bien aux programmeurs tandis que la seconde est plus difficile à étendre en fonctionnalité. Nous proposons ici une méthode intermédiaire basée sur un langage de programmation spécifique (DSL) projectionnel, implémenté avec JetBrains MPS, et intégré à ETL.NET. Le processus ETL est exprimé dans un langage qui modélise les données sous forme de tableaux qui sont transformés avec des séquences d'opérations. Le prototype est évalué avec une petite étude utilisateur, qui montre que le DSL est accessible aux non-programmeurs, et que les programmeurs le préfèrent à une interface basée sur des graphes.