ESTIMATIVAS DA ACURÁCIA DO MAPEAMENTO DA COBERTURA DO SOLO PELO PROJETO MAPBIOMAS


A análise de acurácia é a principal forma de avaliação da qualidade do mapeamento realizado pelo Mapbiomas. Além de dizer qual a taxa de acerto geral, a análise de acurácia também revela estimativas das taxa de acerto e de erro para cada classe mapeada. O MapBiomas avaliou a acurácia global e para cada classe cobertura para cada ano entre 2000 e 2016.

As estimativas da acurácia foram baseadas na avaliação de uma amostra de píxeis, que chamamos de base de dados de referência. O número de píxeis na base de dados de referência foi pré-determinado por técnicas de amostragem estatística. Em cada ano, cada píxel da base de dados de referência foi avaliado cuidadosamente por três técnicos treinados em interpretação visual de imagens Lansat. A avaliação de um píxel em um determinado ano foi considerado válido apenas quando dois ou três técnicos concordaram quanto à classe observada no píxel. A avaliação da acurácia é então feita usando métricas que comparam a classe mapeada com a classe avaliada pelos técnicos na base de dados de referência. A acurácia reportada c.a. de 5% de erro para cada classe mapeada em cada ano.

Em cada ano, a análise de acurácia é feita a partir da tabulação cruzada das frequências amostrais das classes mapeadas e reais, no formato da Tabela 1. As frequências ni,j representam o número de píxeis na amostra classificados como classe i, e avaliados como classe j. Os totais marginais de linha,Formula1 0a79614e9b08b886c3e50adc030dfad303a6a07b461b14d2b1453456ff4945dd, representam o número de amostras mapeadas como classe i, enquanto que os totais marginais de coluna,Formula2 6336a4b841e299449e55016c91a6408c82f8a8fb2b3c814a652df1743fbc0710 , representam o número de amostras que foram avaliadas pelos técnicos como classe j. A Tabela 1 é chamada de matriz de erros ou matriz de confusão.

Tabela 1: Matriz de erros amostral genérica

Tabela1 mapbiomas 3afe2e76ac1e66c14e65e6c7dd86cec03129f3de3074337d60d63a74b0caeb2a

A partir dos resultados da Tabela 1, as proporções amostrais em cada célula da tabela são estimadas por Formula3 7d5fddb94e58ea97c1546e4f60f907ba16f1825966a149fa23dc0142522f1c68 Formula4 8f2e5226c87b8d2c1df56fd741ecc9dc6a1596aada528bc661e8288e81454660. A matriz de valores Formula5 2947dbf0589ad8ae2e84012661079f130d322b94ca06cf615a9a7d7f610d8ffe é então usada para gerar:

  1. As acurácias do usuário: São as estimativas das frações de píxels do mapeamento, para cada classe, corretamente classificados. A acurácia do usuário está associada ao erro de comissão, que é o erro cometido ao atribuir um pixel à classe i, quando este pertence a alguma outra classe. A acurácia do usuário para a classe i é estimada por Formula6 32ba01730e7c8021c4338555c742f9d6ea3fd2ae0eee75110ac8c066c12fa534 e o erro de comissão por Formula7 89781df0133f266b373046ae5aa8c0c3822c027e69b4d78860281e3ab9f01327. Essas métricas estão associadas a confiabilidade da de cada classe mapeada.
  2. Acurácias do produtor: São as frações amostrais de píxels de cada classe corretamente atribuídos às suas classes pelos classificadores. A acurácia do produtor está associada ao erro de omissão, que ocorre quando deixamos de mapear um pixel da classe j corretamente. A acurácia do produtor para a classe j é estimada por Formula8 dfd0c71796b0bd34c90b3a97a03731c6200e8d3b0c40e72cc284487f07d05129 e o erro de omissão por Formula9 d481a689c409c96b1d80c1061073dab92f986201845c6cf8b29c611e99b7757b. Essas métricas estão associadas à sensibilidade do classificador, ou seja, a capacidade de distinguir corretamente determinada classe entre demais.
  3. Acurácia global: É a estimativa da proporção de acerto global dos classificadores. A estimativa é dada por Formula10 n 54dffbcce756d3fa579000e6d6aea99c2faf2cf01031361735f9ba28b097c849, a soma da diagonal principal da matriz de proporções. O complementar da acurácia, ou o erro total Formula11 a1620f148d11084951dba9653625e938e0cbad8d5d934713ac62c96b132cddf3 ainda é decomposto em discordância de área e discordância de alocação1. A discordância de área mede a fração do erro atribuída à quantidade de área atribuída incorretamente às classes pelo mapeamento, enquanto a discordância de alocação à proporção de erros de deslocamento.

A matriz também provém estimativas dos diferentes tipos de erros. Por exemplo, é possível ver através dessas a estimativa da composição de área de cada classe mapeada. Assim, além da taxa de acerto da classe mapeada como floresta, por exemplo, estimamos também qual a fração dessas áreas que podem ser pastagens ou outras classes de cobertura e uso do solo, para cada ano. Entendemos que esse nível de transparência informa os usuários e maximiza o potencial do uso do mapeamento pelos vários tipos de usuários. Para isso, construímos um aplicativo para facilitar a visualização da acurácia e dos erros do mapeamento

1- Pontius Jr, R. G., & Millones, M. (2011). Death to Kappa: birth of quantity disagreement and allocation disagreement for accuracy assessment. International Journal of Remote Sensing, 32(15), 4407-4429.


Sobre os gráficos


Estatísticas gerais

Mostram a acurácia total média anual e o erro decomposto em discordância de área e alocação.

Acuracia img1 078358c5194b0a2f91254d1d5163b66d3734a5199fe67c00d0e79bcde904567d

Gráfico 1. Gráfico da Acurácia Total Anual:

Este gráfico mostra a acurácia total e o erro total por ano. O erro total é decomposto em discordância de área e de alocação. A acurácia é plotada na parte superior e os erros na parte inferior do gráfico.

Acuracia img2 5e24bfd4657639d82223f0330caa03367dc9f0cf2204c6c43939c0d7135fa497

Gráfico 2: Matriz de erros

Esse gráfico mostra a acurácia do usuário, do produtor, e as confusões entre classes, para cada ano. O primeiro mostra as confusões de cada classe mapeada. O segundo mostra as confusões de cada classe real.

Acuracia img3 47275773380ca1bb78ee6540313b407eb6e6a0c87f0650ae8453d026add69ce3
Acuracia img4 cac2da0b5959afc6dbbb355bc63be8d55244ac53cc6c1a521aa4c4e45c45f019

Gráfico 3: Histórico de classes

Esse gráfico permite inspecionar as confusões de uma determinada classe ao longo do tempo. A acurácia do usuário e do produtor para cada classe é exibida, junto com as confusões em cada ano.

Acuracia img5 660be669edbc10178f4254af2ab2c8d18d6495e3ba7787db087a668edb874498
Acuracia img6 b799628424ee756245e6de35f613156ce0257d1059486df291b4f71dfa5fcbce