ESTIMATIVAS DA ACURÁCIA DO MAPEAMENTO DA COBERTURA DO SOLO PELO PROJETO MAPBIOMAS

As estimativas de acurácia da coleção 3.0 estão em processamento

A análise de acurácia é a principal forma de avaliação da qualidade do mapeamento realizado pelo Mapbiomas. Além de dizer qual a taxa de acerto geral, a análise de acurácia também revela estimativas das taxa de acerto e de erro para cada classe mapeada. O MapBiomas avaliou a acurácia global e para cada classe cobertura para cada ano entre 2000 e 2016.

As estimativas da acurácia foram baseadas na avaliação de uma amostra de píxeis, que chamamos de base de dados de referência. O número de píxeis na base de dados de referência foi pré-determinado por técnicas de amostragem estatística. Em cada ano, cada píxel da base de dados de referência foi avaliado cuidadosamente por três técnicos treinados em interpretação visual de imagens Lansat. A avaliação de um píxel em um determinado ano foi considerado válido apenas quando dois ou três técnicos concordaram quanto à classe observada no píxel. A avaliação da acurácia é então feita usando métricas que comparam a classe mapeada com a classe avaliada pelos técnicos na base de dados de referência. A acurácia reportada c.a. de 5% de erro para cada classe mapeada em cada ano.

Em cada ano, a análise de acurácia é feita a partir da tabulação cruzada das frequências amostrais das classes mapeadas e reais, no formato da Tabela 1. As frequências ni,j representam o número de píxeis na amostra classificados como classe i, e avaliados como classe j. Os totais marginais de linha,Formula1, representam o número de amostras mapeadas como classe i, enquanto que os totais marginais de coluna,Formula2 , representam o número de amostras que foram avaliadas pelos técnicos como classe j. A Tabela 1 é chamada de matriz de erros ou matriz de confusão.

Tabela 1: Matriz de erros amostral genérica

Tabela1 mapbiomas

A partir dos resultados da Tabela 1, as proporções amostrais em cada célula da tabela são estimadas por Formula3 Formula4. A matriz de valores Formula5 é então usada para gerar:

  1. As acurácias do usuário: São as estimativas das frações de píxels do mapeamento, para cada classe, corretamente classificados. A acurácia do usuário está associada ao erro de comissão, que é o erro cometido ao atribuir um pixel à classe i, quando este pertence a alguma outra classe. A acurácia do usuário para a classe i é estimada por Formula6 e o erro de comissão por Formula7. Essas métricas estão associadas a confiabilidade da de cada classe mapeada.
  2. Acurácias do produtor: São as frações amostrais de píxels de cada classe corretamente atribuídos às suas classes pelos classificadores. A acurácia do produtor está associada ao erro de omissão, que ocorre quando deixamos de mapear um pixel da classe j corretamente. A acurácia do produtor para a classe j é estimada por Formula8 e o erro de omissão por Formula9. Essas métricas estão associadas à sensibilidade do classificador, ou seja, a capacidade de distinguir corretamente determinada classe entre demais.
  3. Acurácia global: É a estimativa da proporção de acerto global dos classificadores. A estimativa é dada por Formula10 n, a soma da diagonal principal da matriz de proporções. O complementar da acurácia, ou o erro total Formula11 ainda é decomposto em discordância de área e discordância de alocação1. A discordância de área mede a fração do erro atribuída à quantidade de área atribuída incorretamente às classes pelo mapeamento, enquanto a discordância de alocação à proporção de erros de deslocamento.

A matriz também provém estimativas dos diferentes tipos de erros. Por exemplo, é possível ver através dessas a estimativa da composição de área de cada classe mapeada. Assim, além da taxa de acerto da classe mapeada como floresta, por exemplo, estimamos também qual a fração dessas áreas que podem ser pastagens ou outras classes de cobertura e uso do solo, para cada ano. Entendemos que esse nível de transparência informa os usuários e maximiza o potencial do uso do mapeamento pelos vários tipos de usuários. Para isso, construímos um aplicativo para facilitar a visualização da acurácia e dos erros do mapeamento

1- Pontius Jr, R. G., & Millones, M. (2011). Death to Kappa: birth of quantity disagreement and allocation disagreement for accuracy assessment. International Journal of Remote Sensing, 32(15), 4407-4429.


Sobre os gráficos


Estatísticas gerais

Mostram a acurácia total média anual e o erro decomposto em discordância de área e alocação.

Acuracia img1

Gráfico 1. Gráfico da Acurácia Total Anual:

Este gráfico mostra a acurácia total e o erro total por ano. O erro total é decomposto em discordância de área e de alocação. A acurácia é plotada na parte superior e os erros na parte inferior do gráfico.

Acuracia img2

Gráfico 2: Matriz de erros

Esse gráfico mostra a acurácia do usuário, do produtor, e as confusões entre classes, para cada ano. O primeiro mostra as confusões de cada classe mapeada. O segundo mostra as confusões de cada classe real.

Acuracia img3
Acuracia img4

Gráfico 3: Histórico de classes

Esse gráfico permite inspecionar as confusões de uma determinada classe ao longo do tempo. A acurácia do usuário e do produtor para cada classe é exibida, junto com as confusões em cada ano.

Acuracia img5
Acuracia img6