A Domain-Specific Modeling approach supporting technology-oriented experiments

Abstract

Contexto: Experimentação é um meio de produzir mudanças controladas e medir as variáveis envolvidas no fenômeno em estudo; experimentação deve também prover dados para suas futuras replicações. Entretanto, a condução e replicação de experimentos orientados a tecnologia (ou seja, experimentos cujos tratamentos são aplicados aos objetos por uma ferramenta computacional) sem suporte ferramental adequado é frequentemente uma tarefa que consome tempo e altamente sujeita a erros. Apesar de muitas técnicas terem sido propostas para auxiliar na condução de experimentos controlados, nenhuma delas trata simultaneamente (1) especificações executáveis de experimentos em alto nível de abstração; (2) execução de tratamentos e análise automatizadas a partir da especificação do experimento; e (3) garantias formais da corretude dos resultados de acordo com a especificação do experimento para experimentos orientados a tecnologia. Objetivos: Os objetivos desse trabalho são os seguintes: (a) prover meios para especificar experimentos orientados a tecnologia em alto nível de abstração; (b) possibilitar execução e análise automatizadas dessas especificações; e (c) apresentar um modelo formal da nossa abordagem e propriedades de corretude essenciais. Método: Nós usamos uma abordagem Domain-Specific Modeling (DSM) para criar uma ferramenta baseada em Web compreendendo uma Domain-Specific Language (DSL), geradores de scripts de execução e de análise, um framework de suporte e uma infraestrutura de execução. Um experimentador usa a DSL para especificar um experimento usando conceitos do domínio de experimentação. A partir dessa especificação, as aplicações correspondentes aos tratamentos subjacentes são executadas, os resultados de execução são coletados e analisados e, finalmente, os resultados da análise são apresentados para o experimentador. Estabelecemos a consistência desses resultados em relação à especificação do experimento por meio da formalização e prova de propriedades de corretude essenciais da nossa ferramenta. Resultados: Nós avaliamos empiricamente a solução em relação a automação por meio da replicação de três experimentos já publicados; avaliamos também o nível de abstração por meio de uma avaliação qualitativa. Nossa avaliação empírica mostra que a DSL é expressiva o suficiente para especificar três experimentos orientados a tecnologia selecionados e que a ferramenta de suporte pode ser usada para prover correta automação da execução e da análise a partir de especificações de experimentos orientados a tecnologia. Além disso, a DSL eleva o nível de abstração das especificações dos experimentos usando conceitos de experimentação. A prova formal de propriedades de corretude essenciais (por exemplo, corretude da geração do script de execução, otimização de recursos de execução e corretude do experimento) garante que os resultados são consistentes em relação à especificação do experimento. Conclusão: Contribuímos com uma solução DSM e uma ferramenta correspondente compreendendo uma DSL, geradores de scripts de execução e de análise, um framework de suporte e uma infraestrutura de execução. A avaliação empírica e formal indica que a solução oferece ao experimentador abstrações e suporte de automação adequados, o que pode auxiliar na melhoria de produtividade e confiabilidade no processo de experimentação.