Domine a correção automatizada de redações com análise de sentimento

Domine a correção automatizada de redações com análise de sentimento

Tabela de Conteúdos

1. Introdução
2. O que é uma pontuação automática de redações?
3. Sentimento na redação
4. Trabalhos relacionados 4.1. Trabalho A: Pharah (2015) 4.2. Trabalho B: Journal (2019)
5. Abordagem proposta 5.1. Modelo Hierárquico de Estrutura 5.2. Aprendizado em multitarefas
6. Conjunto de dados e métrica de avaliação
7. Resultados experimentais 7.1. Desempenho das tarefas individuais 7.2. Desempenho em multitarefas 7.3. Predição de sentimentos
8. Comparação com abordagens existentes
9. Hiperparâmetros e ajuste
10. Conclusão

👀 Aprendizado Multitarefa para Pontuação Automática de Redações com Análise de Sentimento

Introdução

No campo da educação, a pontuação automatizada de redações tem sido um tóPico de pesquisa promissor. O objetivo é utilizar algoritmos e técnicas de aprendizado de máquina para substituir, na medida do possível, os avaliadores humanos. Um dos fatores essenciais no processo de escrita é o sentimento expresso pelo autor nas redações. A opinião do autor e a polaridade das palavras utilizadas têm um papel fundamental na qualidade e construção geral da redação, especialmente em ensaios especulativos e argumentativos.

O que é uma pontuação automática de redações?

A pontuação automática de redações é uma tarefa que consiste na atribuição de notas às redações dos estudantes com o objetivo de reduzir ao máximo o envolvimento de avaliadores humanos. Uma abordagem consistente e eficaz para realizar essa tarefa é por meio do uso de algoritmos de aprendizado de máquina.

Sentimento na redação

O sentimento expresso nas redações pode fornecer informações valiosas sobre a qualidade e a estrutura geral do texto. No entanto, as abordagens existentes para a análise de sentimentos em redações têm se baseado principalmente em características pré-definidas, como polaridade de palavras e frequência de pares positivos e negativos. Nosso objetivo é utilizar o aprendizado multitarefa para incorporar a análise de sentimentos na pontuação automática de redações. Em vez de utilizar características de sentimento como entrada para um sistema, propomos utilizar a análise de sentimentos como uma tarefa auxiliar para fazer com que o sistema aprenda automaticamente as características de sentimento.

Trabalhos relacionados

Dentre os trabalhos relacionados, destaca-se o estudo de Pharah (2015), que propõe um sistema de escalonamento de redações baseado na análise de opiniões expressas nos textos. Outro estudo relevante é o de Journal (2019), que propõe a utilização de características sintáticas e sentimentais, além de diferentes algoritmos de aprendizado de máquina, como Support Vector Machines, Random Forest e Redes Neurais.

Abordagem proposta

Nossa abordagem é baseada em um modelo hierárquico de estrutura que aprende a prever uma pontuação no nível do documento e a analisar os sentimentos no nível das palavras e das sentenças. O modelo utiliza redes neurais bi-direcionais com mecanismos de atenção para a aprendizagem e representação das características relevantes. Também aplicamos aprendizado em multitarefa, combinando a pontuação automática de redações com a predição de sentimentos.

Conjunto de dados e métrica de avaliação

Os experimentos foram conduzidos utilizando o conjunto de dados Automated Student Assessment Prize (ASAP), que consiste em oito problemas diferentes. A métrica de avaliação utilizada é a kappa ponderada quadrática, que mede a concordância entre duas avaliações. Para a extração de anotações de sentimentos, utilizamos a ferramenta Stanford CoreNLP, treinada com dados de revisões de filmes.

Resultados experimentais

Os resultados experimentais demonstraram que as tarefas individuais já apresentam bons resultados em comparação com abordagens existentes de aprendizado profundo. Além disso, o aprendizado em multitarefa com a análise de sentimentos se saiu ligeiramente melhor do que as tarefas individuais em alguns casos específicos. No entanto, a predição de sentimentos de sentenças mostrou-se desafiadora para o modelo, o que pode ter impactado o desempenho geral na pontuação automática de redações.

Comparação com abordagens existentes

Ao compararmos nossa abordagem com abordagens existentes, observamos que o aprendizado multitarefa com análise de sentimentos obteve resultados comparáveis aos estudos de Dong Enchant (2016) e Turkey Proatin (2016). Os modelos baseados em CNN Hierárquica, LSTM com pooling médio, CNN com atenção e LSTM baseado em Skip-Flow obtiveram desempenho inferior em relação às métricas de avaliação.

Hiperparâmetros e ajuste

Após um processo de ajuste de hiperparâmetros, verificamos que o modelo apresentou melhores resultados quando o peso principal da tarefa estava acima dos pesos das tarefas auxiliares. Os valores de alpha, beta e gamma foram ajustados para encontrar uma distribuição adequada de pesos para a pontuação automática de redações e a predição de sentimentos.

Conclusão

Em conclusão, propomos uma abordagem neural que incorpora a análise de sentimentos na pontuação automática de redações. Nossa abordagem baseada em aprendizado multitarefa e modelo hierárquico de estrutura demonstrou resultados superiores, em alguns casos, se comparada às abordagens existentes. A análise de sentimentos pode ser um fator-chave para melhorar a qualidade da pontuação automática de redações, proporcionando maior objetividade e consistência nos resultados obtidos.

Destaca a negrito o título e todos os subtítulos do artigo.