Avaliação semântica da integração da gestão de riscos de segurança em documentos de software da administração pública

Abstract

Software seguro é aquele que tem seus riscos de segurança adequadamente geridos. Por recomendação legal, sua produção é um objetivo a ser alcançado pelos seus gestores de tecnologia da informação da Administração Pública Federal (APF). Entretanto, não apenas o governo brasileiro, como também o mercado nacional enfrentam uma escassez de especialistas nesse domínio, que possam fomentar tecnicamente iniciativas obtenção desse tipo de software em suas organizações. Esse fato aliado ao estado atual das técnicas de mineração de texto, particularmente às relacionadas ao processamento de linguagem natural e à classificação multirrótulo, motivam este trabalho no estudo de uma solução que compreenda a semântica de períodos textuais escritos em português e os associe a riscos de segurança previamente definidos, como os do OWASP Top Ten. Busca-se contribuir para a melhoria de editais de licitação de fábricas de software na APF por prover uma opção computacional, às equipes de elaboração e revisão desses documentos, que permita realizar automaticamente avaliações da integração da gestão de riscos de segurança aos métodos descritos nessas especificações. Após estudar essa solução diante de cerca de 120 mil sentenças extraídas de repositórios como OWASP ASVS e termos de referência de aquisições da Administração Pública brasileira, realizouse um survey junto a grupos de engenharia de software e de segurança da informação coletando a avaliação deles sobre uma amostra desses períodos, permitindo a comparação do seu desempenho em relação à opinião especializada por meio de métricas como Precisão, Recall, Perda de Hamming e Previsão de Valores Negativos. Após uma série de modificações sobre essa solução, chega-se uma versão com uma Perda de Hamming significativamente melhor do que a provida pela opinião especializada, bem como com uma capacidade de previsão da ausência de tratamento de risco em sentenças presentes em editais e termos de referência estatisticamente tão boa quanto à dos especialistas envolvidos nesse survey, trazendo assim novas perspectivas para trabalhos futuros no desenvolvimento de uma solução computacional a ser utilizada para a obtenção de software seguro em contratações de fábricas de software.