COLONIALIDADE DO RISCO, COLONIALIDADE DO REGISTRO, INCIDENTE DE SEGUNDA ORDEM, E ZONA DE DEFORMAÇÃO MORAL

Paola CANTARINI

Resumo


RESUMO: Este artigo reconstrói criticamente os dois encontros que a Cátedra IA Responsável, parceria entre a Universidade de São Paulo e o Google, dedicou em 2026 aos incidentes de inteligência artificial. Ambos, embora tenham circundado o mesmo impasse, não chegaram a nomeá-lo: definir incidente não é operação descritiva, mas decisão política sobre o que ingressa no registro e, portanto, sobre o que pode ser oposto a alguém, de modo que toda taxonomia é, antes de tudo, uma arquitetura de imputação. A partir de um acórdão paulista que tomou a infalibilidade da inteligência artificial como premissa para inverter o ônus da prova, em prejuízo da parte vulnerável, proponho a categoria de incidente de segunda ordem, articulando-a à noção de zona de deformação moral de Madeleine Clare Elish e à lei epistêmica do sopesamento de Robert Alexy. Sustento que o objeto próprio de um observatório de incidentes de inteligência artificial não reside no mecanismo técnico que produz o dano, e sim na autoridade que se atribui ao sistema. As definições de incidente em disputa devem ser mantidas como séries distintas, e a verificação das classificações deve caber a terceiros cuja independência resulte de desenho institucional. O texto articula essas proposições a duas noções, a de colonialidade do registro, isto é, a assimetria na autoria das categorias que decidem o que ingressa no registro, e a de colonialidade do risco, isto é, a dependência do poder público em relação às empresas para conhecer os riscos e a distribuição desigual, segundo a lógica do mercado, da proteção contra eles.
Objetivos: Demonstrar que definir incidente de inteligência artificial é decidir o que ingressa no registro e, portanto, quem responde, e propor a categoria de incidente de segunda ordem e as noções de colonialidade do registro e colonialidade do risco.

Metodologia: Pesquisa qualitativa, teórica e documental, a partir das transcrições integrais do workshop de 11 de maio e do seminário de 14 de setembro de 2026, lidas em diálogo com a sociologia do risco, a epistemologia social, a teoria dos direitos fundamentais e a crítica decolonial.
Resultados: Os encontros exibiram cinco conceitos de incidente, cada um vinculado a um regime institucional, e nenhuma das taxonomias em uso isola o dano produzido pela premissa de infalibilidade que um decisor institucional atribui ao sistema, dano que um observatório alimentado por decisões judiciais tem condições de registrar.
Contribuições: Uma categoria nova, o incidente de segunda ordem; uma regra para a prova algorítmica, segundo a qual a opacidade do sistema deve operar contra quem o controla; e critérios para que o Sul Global participe do registro de incidentes como coautor das categorias.
Palavras-Chave: Incidentes de inteligência artificial. Taxonomia. Ônus da prova. Zona de deformação moral. Colonialidade.
ABSTRACT: This article critically reconstructs the two meetings that the Responsible AI Chair, a partnership between the University of São Paulo and Google, devoted in 2026 to artificial intelligence incidents. Although both meetings circled the same impasse, they did not name it: defining an incident is not a descriptive operation but a political decision about what enters the record and, therefore, about what can be held against someone, so that every taxonomy is, above all, an architecture of imputation. Drawing on a São Paulo appellate ruling that took the infallibility of artificial intelligence as a premise for reversing the burden of proof to the detriment of the vulnerable party, I propose the category of second-order incident, linking it to Madeleine Clare Elish's notion of the moral crumple zone and to Robert Alexy's epistemic law of balancing. I argue that the proper object of an artificial intelligence incidents observatory lies not in the technical mechanism that produces the harm but, in the authority, attributed to the system. The competing definitions of incident should be kept as distinct series, and the verification of classifications should fall to third parties whose independence results from institutional design. The text links these propositions to two notions: the coloniality of the record, that is, the asymmetry in the authorship of the categories that decide what enters the record; and the coloniality of risk, that is, the dependence of public authorities on companies to learn what the risks are, together with the unequal distribution, according to market logic, of protection against them.

Objectives: To show that defining an artificial intelligence incident is deciding what enters the record and, therefore, who answers, and to propose the category of second-order incident and the notions of the coloniality of the record and the coloniality of risk.
Methodology: Qualitative, theoretical and documentary research based on the full transcripts of the workshop of 11 May and the seminar of 14 September 2026, read in dialogue with the sociology of risk, social epistemology, the theory of fundamental rights and decolonial critique.
Results: The meetings displayed five concepts of incident, each tied to an institutional regime, and none of the taxonomies in use isolates the harm produced by the premise 

of infallibility that an institutional decision-maker attributes to a system, a harm that an observatory fed by court decisions is in a position to record.
Contributions: A new category, the second-order incident; a rule for algorithmic evidence, under which the opacity of a system should count against whoever controls it; and criteria for the Global South to take part in incident recording as co-author of the categories.
Keywords: Artificial intelligence incidents. Taxonomy. Burden of proof. Moral crumple zone. Coloniality.


Texto completo:

PDF

Referências


ALEXY, Robert. Teoria dos direitos fundamentais. Tradução de Virgílio Afonso da Silva. São Paulo: Malheiros, 2008.

BECK, Ulrich. Gegengifte: die organisierte Unverantwortlichkeit. Frankfurt am Main: Suhrkamp, 1988.

BRASIL. Lei nº 8.078, de 11 de setembro de 1990. Dispõe sobre a proteção do consumidor e dá outras providências. Diário Oficial da União, Brasília, DF, 12 set. 1990. Suplemento.

BRASIL. Lei nº 13.105, de 16 de março de 2015. Código de Processo Civil. Diário Oficial da União, Brasília, DF, 17 mar. 2015.

BRASIL. Senado Federal. Projeto de Lei nº 2.338, de 2023. Dispõe sobre o desenvolvimento, o fomento e o uso ético e responsável da inteligência artificial com base na centralidade da pessoa humana. Texto aprovado pelo Senado Federal em 10 de dezembro de 2024 e em tramitação na Câmara dos Deputados. Disponível em: https://www25.senado.leg.br/web/atividade/materias/-/materia/157233. Acesso em: 30 set. 2026.

BRASIL. Superior Tribunal de Justiça (Segunda Seção). Recurso Especial nº 1.846.649/MA (Tema Repetitivo 1061). Relator: Min. Marco Aurélio Bellizze. Julgado em 24 nov. 2021. Diário da Justiça Eletrônico, Brasília, DF, 9 dez. 2021.

BRASIL. Tribunal Superior Eleitoral. Resolução nº 23.755, de 2 de março de 2026. Altera a Resolução nº 23.610/TSE, de 18 de dezembro de 2019, que dispõe sobre propaganda eleitoral. Diário da Justiça Eletrônico do TSE, Brasília, DF, n. 30, edição extraordinária, p. 93-102, 4 mar. 2026.

CANTARINI, Paola. Deslocamento de responsabilidade e a arquitetura da imputação em sistemas de inteligência artificial. 2026. Manuscrito inédito.

CARNEIRO, Aparecida Sueli. A construção do outro como não-ser como fundamento do ser. 2005. Tese (Doutorado em Educação), Faculdade de Educação, Universidade de São Paulo, São Paulo, 2005.

CRAWFORD, Kate. Atlas of AI: power, politics, and the planetary costs of artificial intelligence. New Haven: Yale University Press, 2021.

CROZIER, Michel. The bureaucratic phenomenon. Chicago: University of Chicago Press, 1964. Publicado originalmente como Le phénomène bureaucratique. Paris: Éditions du Seuil, 1963.

DEKKER, Sidney. Just culture: balancing safety and accountability. Aldershot: Ashgate, 2007.

DOUGLAS, Mary. Risk and blame: essays in cultural theory. London: Routledge, 1992.

DOUGLAS, Mary; WILDAVSKY, Aaron. Risk and culture: an essay on the selection of technological and environmental dangers. Berkeley: University of California Press, 1982.

ELISH, Madeleine Clare. Moral crumple zones: cautionary tales in human-robot interaction. Engaging Science, Technology, and Society, v. 5, p. 40-60, 2019. DOI: 10.17351/ests2019.260.

FEDERAL AVIATION ADMINISTRATION (FAA). Aviation Safety Reporting Program. Advisory Circular AC 00-46F. Washington, DC: FAA, 2 abr. 2021. Disponível em: https://www.faa.gov/documentLibrary/media/Advisory_Circular/AC_00-46F.pdf. Acesso em: 30 set. 2026.

FRENKEL, Sheera; ALBA, Davey. In India, Facebook grapples with an amplified version of its problems. The New York Times, New York, 23 out. 2021. Disponível em: https://www.nytimes.com/2021/10/23/technology/facebook-india-misinformation.html. Acesso em: 30 set. 2026.

FRICKER, Miranda. Epistemic injustice: power and the ethics of knowing. Oxford: Oxford University Press, 2007.

HOUNTONDJI, Paulin J. Scientific dependence in Africa today. Research in African Literatures, v. 21, n. 3, p. 5-15, 1990.

INTERNATIONAL CIVIL AVIATION ORGANIZATION (ICAO). Annex 13 to the Convention on International Civil Aviation: aircraft accident and incident investigation. 13. ed. Montreal: ICAO, jul. 2024.

JASANOFF, Sheila. Designs on nature: science and democracy in Europe and the United States. Princeton: Princeton University Press, 2005.

KWAK, James. Cultural capture and the financial crisis. In: CARPENTER, Daniel; MOSS, David A. (ed.). Preventing regulatory capture: special interest influence and how to limit it. Cambridge: Cambridge University Press, 2014. cap. 4, p. 71-98. DOI: 10.1017/CBO9781139565875.008.

MCGREGOR, Sean. Preventing repeated real world AI failures by cataloging incidents: the AI Incident Database. Proceedings of the AAAI Conference on Artificial Intelligence, v. 35, n. 17, p. 15458-15463, 2021. DOI: 10.1609/aaai.v35i17.17817.

NAÇÕES UNIDAS. Conselho de Direitos Humanos. Report of the Independent International Fact-Finding Mission on Myanmar. A/HRC/39/64. Genebra: Nações Unidas, 12 set. 2018. Disponível em: https://digitallibrary.un.org/record/1648304. Acesso em: 30 set. 2026.

NAÇÕES UNIDAS. Conselho de Segurança. 10228th meeting: maintenance of international peace and security: artificial intelligence and international security. Nova York, 23 set. 2026. Disponível em: https://transcripts.un.org/en/sc/10228. Acesso em: 30 set. 2026.

OBSERVATÓRIO BRASILEIRO DE INTELIGÊNCIA ARTIFICIAL (OBIA). 3º Seminário do Observatório Brasileiro de Inteligência Artificial: programação. São Paulo: NIC.br, 3 set. 2026. Disponível em: https://seminarioobia.nic.br/. Acesso em: 30 set. 2026.

OECD. Defining AI incidents and related terms. Paris: OECD Publishing, maio 2024. (OECD Artificial Intelligence Papers, n. 16). DOI: 10.1787/d1a8d965-en.

OECD. AI Incidents and Hazards Monitor (AIM). Paris: OECD, [2026]. Disponível em: https://oecd.ai/en/incidents. Acesso em: 30 set. 2026.

PARASURAMAN, Raja; MANZEY, Dietrich H. Complacency and bias in human use of automation: an attentional integration. Human Factors, v. 52, n. 3, p. 381-410, 2010. DOI: 10.1177/0018720810376055.

PERROW, Charles. Normal accidents: living with high-risk technologies. New York: Basic Books, 1984.

PFEFFER, Jeffrey. Power in organizations. Marshfield: Pitman, 1981.

POPLI, Nik. The 5 most important revelations from the "Facebook Papers". Time, New York, 25 out. 2021. Disponível em: https://time.com/6110234/facebook-papers-testimony-explained/. Acesso em: 30 set. 2026.

POWER, Michael. The audit society: rituals of verification. Oxford: Oxford University Press, 1997.

SLATTERY, Peter et al. The AI Risk Repository: a comprehensive meta-review, database, and taxonomy of risks from artificial intelligence. arXiv:2408.12622, 2024. DOI: 10.48550/arXiv.2408.12622. Disponível em: https://arxiv.org/abs/2408.12622. Acesso em: 30 set. 2026. Versão revista publicada como: The AI risk repository: a meta-review, database, and taxonomy of risks from artificial intelligence. Patterns, v. 7, n. 5, 101517, 2026. DOI: 10.1016/j.patter.2026.101517.

STOLER, Ann Laura. Colonial archives and the arts of governance. Archival Science, v. 2, n. 1-2, p. 87-109, 2002. DOI: 10.1007/BF02435632.

TROUILLOT, Michel-Rolph. Silencing the past: power and the production of history. Boston: Beacon Press, 1995.

UNIÃO EUROPEIA. Regulamento (UE) nº 376/2014 do Parlamento Europeu e do Conselho, de 3 de abril de 2014, relativo à comunicação, à análise e ao seguimento de ocorrências na aviação civil. Jornal Oficial da União Europeia, L 122, p. 18-43, 24 abr. 2014.

UNIÃO EUROPEIA. Regulamento (UE) 2022/2554 do Parlamento Europeu e do Conselho, de 14 de dezembro de 2022, relativo à resiliência operacional digital do setor financeiro (DORA). Jornal Oficial da União Europeia, L 333, p. 1-79, 27 dez. 2022.

UNIÃO EUROPEIA. Regulamento (UE) 2024/1689 do Parlamento Europeu e do Conselho, de 13 de junho de 2024, que cria regras harmonizadas em matéria de inteligência artificial (Regulamento da Inteligência Artificial). Jornal Oficial da União Europeia, série L, 2024/1689, 12 jul. 2024.

VAUGHAN, Diane. The Challenger launch decision: risky technology, culture, and deviance at NASA. Chicago: University of Chicago Press, 1996.

WHITE, Lawrence J. Markets: the credit rating agencies. Journal of Economic Perspectives, v. 24, n. 2, p. 211-226, 2010. DOI: 10.1257/jep.24.2.211.

YAMAMOTO, Erika. USP e Google se unem para discutir o desenvolvimento responsável da inteligência artificial. Jornal da USP, São Paulo, 3 dez. 2025. Disponível em: https://jornal.usp.br/institucional/usp-e-google-se-unem-para-discutir-o-desenvolvimento-responsavel-da-inteligencia-artificial/. Acesso em: 30 set. 2026.

Fontes primárias: transcrições integrais do Workshop: Taxonomia de Incidentes em Inteligência Artificial (Cátedra IA Responsável, IEA-USP, 11 de maio de 2026) e do seminário Classificação de Incidentes de IA (Cátedra IA Responsável, IEA-USP, 14 de setembro de 2026).




DOI: http://dx.doi.org/10.21902/Revrima.v4i54.8396

Apontamentos

  • Não há apontamentos.




Revista Relações Internacionais do Mundo Atual e-ISSN: 2316-2880

Rua Chile, 1678, Rebouças, Curitiba/PR (Brasil). CEP 80.220-181

Licença Creative Commons

Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial 4.0 Internacional.