Petiano: Alexandre Rossi Alvares
Orientador: Prof. Dr. Norton Trevisan Roman (Curriculo Lattes)
Boa parte da pesquisa realizada em Linguística Computacional tem sido feita através do uso de corpora, com a finalidade de, por exemplo, observar e propor hipóteses, otimizá-las e por fim avaliá-las, entre outros motivos. Tais corpora, contudo, para que sejam úteis, devem receber um tratamento inicial, na forma de metadados que forneçam alguma informação sobre o fenômeno de interesse, ou seja, devem ser anotados.
Uma forma de quantificar as diferenças encontradas nas anotações é medir o grau de concordância entre os anotadores. A ideia por trás dessa medida é a de que nossa confiança na qualidade dos dados aumenta quanto maior for o número de pessoas concordando com sua classificação. Mais do que isso, uma alta concordância também permite inferir que os anotadores de fato obtiveram um entendimento comum sobre as diretrizes do esquema usado para a anotação. Assim, essa concordância, usada como medida da confiabilidade tanto do esquema de anotação quanto dos dados produzidos, torna-se um pré-requisito para a demonstração da validade desse esquema
Uma maneira de fazê-lo é através de índices de concordância, no entanto, ainda hoje há um grande debate acerca de quão apropriados esses índices são, com
experimentos sendo feitos com os mais diferentes índices. Isto apresenta a indesejável consequência de que pesquisas diferentes reportam resultados usando índices diferentes, dificultando assim a comparação entre elas. Com o relato de mais de um índice de concordância sendo a estratégia atualmente adotada por muitos pesquisadores na área, isso implica no cálculo de muitos índices
– algo nem sempre fácil de executar. Ainda que alguns deles estejam disponíveis em muitas ferramentas para anotação de corpora de uso geral, pesquisadores na área encontram dificuldades em que (i)
não necessariamente têm suas necessidades satisfeitas por uma dessas ferramentas, devendo assim construir seu próprio sistema e, consequentemente, seu próprio módulo para cálculo dos índices de concordância desejados; e (ii) a maioria das ferramentas existentes parece fornecer não mais que dois índices.
Diante desse cenário, seria interessante haver uma ferramenta dedicada ao cálculo dos índices de concordância mais comumente usados, a partir de anotações fornecidas a ela. Eis a motivação para a AgreeCalc. Mais do que permitir ao pesquisador a escolha do índice mais apropriado, dentre uma lista de quatro até agora implementados, a ferramenta também permite o cálculo desses índices usando subconjuntos dos dados fornecidos, dando assim uma maior liberdade de exploração desses dados, dentre outras funcionalidades.
