Skip navigation
Please use this identifier to cite or link to this item: http://repositorio.unb.br/handle/10482/33795
Files in This Item:
File Description SizeFormat 
2018_EneiasCordeirodaSilva.pdf1,64 MBAdobe PDFView/Open
Title: A Domain-Specific Modeling approach supporting technology-oriented experiments
Authors: Silva, Eneias Cordeiro da
Orientador(es):: Alves, Vander Ramos
Coorientador(es):: Melo, Alba Cristina Magalhães Alves de
Assunto:: Experimentos controlados
Experimentos - tecnologia
Modelagem
Linguagem específica de domínio
Issue Date: 15-Jan-2019
Citation: SILVA, Eneias Cordeiro da. A Domain-Specific Modeling approach supporting technology-oriented experiments. 2018. xviii, 134 f., il. Dissertação (Mestrado em Informática)—Universidade de Brasília, Brasília, 2018.
Abstract: Contexto: Experimentação é um meio de produzir mudanças controladas e medir as variáveis envolvidas no fenômeno em estudo; experimentação deve também prover dados para suas futuras replicações. Entretanto, a condução e replicação de experimentos orientados a tecnologia (ou seja, experimentos cujos tratamentos são aplicados aos objetos por uma ferramenta computacional) sem suporte ferramental adequado é frequentemente uma tarefa que consome tempo e altamente sujeita a erros. Apesar de muitas técnicas terem sido propostas para auxiliar na condução de experimentos controlados, nenhuma delas trata simultaneamente (1) especificações executáveis de experimentos em alto nível de abstração; (2) execução de tratamentos e análise automatizadas a partir da especificação do experimento; e (3) garantias formais da corretude dos resultados de acordo com a especificação do experimento para experimentos orientados a tecnologia. Objetivos: Os objetivos desse trabalho são os seguintes: (a) prover meios para especificar experimentos orientados a tecnologia em alto nível de abstração; (b) possibilitar execução e análise automatizadas dessas especificações; e (c) apresentar um modelo formal da nossa abordagem e propriedades de corretude essenciais. Método: Nós usamos uma abordagem Domain-Specific Modeling (DSM) para criar uma ferramenta baseada em Web compreendendo uma Domain-Specific Language (DSL), geradores de scripts de execução e de análise, um framework de suporte e uma infraestrutura de execução. Um experimentador usa a DSL para especificar um experimento usando conceitos do domínio de experimentação. A partir dessa especificação, as aplicações correspondentes aos tratamentos subjacentes são executadas, os resultados de execução são coletados e analisados e, finalmente, os resultados da análise são apresentados para o experimentador. Estabelecemos a consistência desses resultados em relação à especificação do experimento por meio da formalização e prova de propriedades de corretude essenciais da nossa ferramenta. Resultados: Nós avaliamos empiricamente a solução em relação a automação por meio da replicação de três experimentos já publicados; avaliamos também o nível de abstração por meio de uma avaliação qualitativa. Nossa avaliação empírica mostra que a DSL é expressiva o suficiente para especificar três experimentos orientados a tecnologia selecionados e que a ferramenta de suporte pode ser usada para prover correta automação da execução e da análise a partir de especificações de experimentos orientados a tecnologia. Além disso, a DSL eleva o nível de abstração das especificações dos experimentos usando conceitos de experimentação. A prova formal de propriedades de corretude essenciais (por exemplo, corretude da geração do script de execução, otimização de recursos de execução e corretude do experimento) garante que os resultados são consistentes em relação à especificação do experimento. Conclusão: Contribuímos com uma solução DSM e uma ferramenta correspondente compreendendo uma DSL, geradores de scripts de execução e de análise, um framework de suporte e uma infraestrutura de execução. A avaliação empírica e formal indica que a solução oferece ao experimentador abstrações e suporte de automação adequados, o que pode auxiliar na melhoria de produtividade e confiabilidade no processo de experimentação.
Abstract: Context: Experimentation is a means to produce controlled changes and to measure the variables involved in the phenomena under study; experimentation must also provide data to its further replication. However, conducting and replicating technology-oriented experiments (i.e., experiments in which treatments are applied to objects by a computer-based tool) without proper tool support is often a time-consuming and highly error-prone task. Although many techniques have been proposed to help conducting controlled experiments, none of them simultaneously addresses (1) runnable specification of experiments at a high level of abstraction; (2) automated treatment execution and automated data analysis from the experiment specification; and (3) formal guaranties of the correctness of results according to an experiment specification for technology-oriented experiments. Objective: The objectives of this work are the following: (a) provide means to specify technology-oriented experiments at a high level of abstraction; (b) enable automated execution and automated data analysis of such specification; and (c) present a formal model of our approach and key correctness properties. Method: We used a Domain-Specific Modeling (DSM) approach to create a Webbased tool comprising a Domain-Specific Language (DSL), execution and analysis script generators, a supporting framework, and a running infrastructure. An experimenter uses the DSL to specify an experiment using experimentation concepts. From this specification, applications corresponding to the underlying treatments are executed, execution results are collected and analyzed, and, finally, the analysis results are presented to the experimenter. We establish the consistency of such results with respect to the experiment specification by formalizing and proving of key correctness properties of our tool. Results: We empirically evaluated the solution with respect to automation by replicating three already published experiments; we evaluated also the level of abstraction by a qualitative assessment. Our empirical evaluation shows that the DSL is expressive enough to specify three selected technology-oriented experiments and that the supporting tool can be used to enable sound automation of execution and analysis from the specification of technology-oriented experiments. In addition, the DSL raises the level of abstraction of experiment specifications by using experimentation concepts. The formal proof of key correctness properties (e.g., execution script generation soundness, execution resource optimization, and experiment soundness) assures that the results are consistent with the experiment specification. Conclusion: We contribute a DSM approach and corresponding tool comprising a DSL, execution and analysis script generators, a supporting framework, and a running infrastructure. The empirical and formal assessment indicate that the contribution provides the experimenter with proper abstractions and automation support, which can help to improve productivity and reliability on the experimentation process.
metadata.dc.description.unidade: Instituto de Ciências Exatas (IE)
Departamento de Ciência da Computação (IE CIC)
Description: Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2018.
metadata.dc.description.ppg: Programa de Pós-Graduação em Informática
Licença:: A concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.
Appears in Collections:Teses, dissertações e produtos pós-doutorado

Show full item record " class="statisticsLink btn btn-primary" href="/jspui/handle/10482/33795/statistics">



Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.