Resumo
- Acompanhamento pós-comercialização, partilha de informações e fiscalização do mercado constitui o núcleo do Capítulo IX do AI Act.
- O plano de acompanhamento pós-comercialização exige que os prestadores de sistemas de inteligência artificial de alto risco coletem e avaliem continuamente dados sobre o desempenho real dessas tecnologias.
- A notificação obrigatória de incidentes graves estabelece prazos estritos para comunicação às autoridades nacionais, visando conter impactos sistêmicos e violações de direitos fundamentais.
- As autoridades de fiscalização do mercado recebem amplos poderes de investigação, incluindo acesso ao código-fonte, auditorias técnicas locais e aplicação de medidas corretivas severas.
- A cooperação entre países-membros e a partilha coordenada de informações visam harmonizar a supervisão, garantindo um mercado único seguro e confiável de inteligência artificial.
Introdução
O acompanhamento pós-comercialização, partilha de informações e fiscalização do mercado representa um dos eixos mais complexos e dinâmicos do AI Act (Regulamento UE 2024/1689).
A aprovação desse marco legislativo inaugurou uma nova era na regulação de tecnologias emergentes, substituindo o paradigma de fiscalização puramente estático por um modelo de supervisão contínua.
Diferentemente de produtos físicos tradicionais, os sistemas de inteligência artificial apresentam natureza mutável, decorrente de sua capacidade de aprendizado contínuo, adaptação a novos conjuntos de dados e interação com contextos operacionais complexos.
Por isso, a conformidade avaliada no momento da colocação do sistema no mercado pode revelar-se insuficiente ao longo do seu ciclo de vida útil.
A regulação europeia responde a essa volatilidade técnica estabelecendo obrigações rigorosas de monitoramento que se estendem desde o desenvolvimento até a eventual retirada do sistema de operação.
O Capítulo IX do AI Act distribui de forma equilibrada o ônus da conformidade contínua entre os agentes privados (prestadores e responsáveis pela implantação) e as autoridades reguladoras estatais de cada país membro da União Europeia.
Esse arranjo regulatório visa mitigar riscos associados à saúde, segurança e proteção de direitos fundamentais, sem sufocar a inovação e o avanço tecnológico na Europa.
Neste texto, vamos analisar as três seções fundamentais do Capítulo IX: o acompanhamento pós-comercialização estruturado pelos prestadores, o fluxo de comunicação de incidentes graves às autoridades competentes e o aparato de fiscalização de mercado gerido pelos países-membros.
Ao final, examinaremos as garantias procedimentais, os deveres de confidencialidade e a cooperação transfronteiriça instituída para harmonizar a governança da inteligência artificial na Europa.
Vamos analisar em detalhes neste texto:
O primeiro passo é analisar o acompanhamento pós-comercialização pelos prestadores e o plano aplicável aos sistemas de IA de risco elevado.
1. O acompanhamento pós-comercialização pelos prestadores e o respectivo plano para sistemas de IA de risco elevado
O artigo 72.º do AI Act estabelece o dever de os prestadores implementarem um sistema de acompanhamento pós-comercialização.
Trata-se de uma obrigação proativa e sistemática direcionada especificamente aos sistemas de inteligência artificial classificados como de risco elevado.
A premissa central desse dispositivo é que a conformidade inicial de um sistema não garante sua segurança perpétua, exigindo do fabricante um papel ativo na observação do comportamento de sua tecnologia em condições reais de uso.
O sistema de acompanhamento pós-comercialização deve ser planejado, documentado e integrado de forma orgânica ao sistema de gestão da qualidade do prestador, previsto no artigo 17.º do mesmo regulamento.
O objetivo desse monitoramento é recolher, analisar e avaliar sistematicamente os dados gerados pela utilização dos sistemas de inteligência artificial de alto risco ao longo de sua vida útil.
Essa coleta contínua permite que o prestador identifique precocemente desvios de desempenho, comportamentos imprevistos ou falhas que possam resultar em riscos graves.
1.1. O plano de acompanhamento pós-comercialização
O prestador deve elaborar um documento técnico detalhado denominado plano de acompanhamento pós-comercialização.
Este plano faz parte integrante da documentação técnica exigida para a avaliação de conformidade do sistema de inteligência artificial.
Ele deve definir os métodos, os processos e as fontes de dados que serão utilizados para monitorar o desempenho do sistema em ambiente real.
A regulamentação exige que o plano seja desenhado de forma proporcional ao nível de risco do sistema e à sua finalidade prevista. O plano deve detalhar, no mínimo:
- Os processos destinados a recolher informações sobre o comportamento do sistema, incluindo o feedback dos usuários, relatórios de anomalias e dados gerados por arquivos de registro (logs).
- Os indicadores de desempenho que serão avaliados para detectar desvios em relação à precisão, robustez e cibersegurança do modelo.
- Os métodos de análise dos dados recolhidos, estabelecendo limites de tolerância técnica que disparam ações de mitigação de risco ou correções de software.
- Os procedimentos para a cooperação com os distribuidores, importadores e responsáveis pela implantação, garantindo que as informações de campo fluam de volta ao prestador.
1.2. Integração com o sistema de gestão da qualidade e melhoria contínua
O acompanhamento pós-comercialização não deve ser compreendido como uma atividade meramente cartorária de coleta de dados.
As informações obtidas por meio desse sistema devem servir como insumo para a melhoria contínua do modelo de inteligência artificial e para a revisão constante do sistema de gestão de riscos do prestador.
Caso os dados coletados apontem para a ocorrência de riscos não previstos originalmente, o prestador tem o dever jurídico de atualizar a avaliação de riscos e adotar as medidas corretivas necessárias.
Tais medidas podem incluir desde atualizações corretivas de software (patches) e ajustes de calibração até a suspensão temporária da comercialização do sistema.
Esse ciclo de retroalimentação constante representa a aplicação do princípio da precaução no âmbito do desenvolvimento tecnológico de software de alto risco.
2. A partilha de informações sobre incidentes graves e a notificação compulsória
A segunda seção do Capítulo IX do AI Act aborda um dos aspectos mais críticos da governança de riscos digitais: a comunicação de incidentes e o mau funcionamento de sistemas de inteligência artificial.
O artigo 73.º impõe aos prestadores de sistemas de inteligência artificial de risco elevado o dever de notificar imediatamente as autoridades de fiscalização do mercado sobre qualquer incidente grave relacionado ao uso de suas tecnologias.
Essa obrigação visa garantir que o Estado tome ciência tempestiva de falhas sistêmicas que possam colocar em perigo a integridade física de cidadãos ou afetar negativamente o exercício de direitos fundamentais.
A transparência imediata evita que defeitos técnicos generalizados permaneçam ocultos sob o manto do segredo comercial, permitindo a atuação coordenada das autoridades para conter danos coletivos.
2.1. O conceito de incidente grave sob a ótica do AI Act
Para fins de aplicação do artigo 73.º, o AI Act define de forma precisa o que constitui um incidente grave.
Não se trata de qualquer erro de execução de software ou indisponibilidade temporária de serviço, mas sim de eventos de impacto severo.
Considera-se incidente grave qualquer situação que, direta ou indiretamente, resulte ou possa resultar em:
- Morte de uma pessoa ou danos graves à saúde física ou mental de um indivíduo.
- Perturbação grave e irreversível do funcionamento ou da gestão de infraestruturas críticas, tais como redes de energia, saneamento, transportes ou serviços de saúde.
- Violações graves de direitos fundamentais garantidos pelo direito da União Europeia, incluindo o direito à não discriminação, à privacidade, à proteção de dados e à liberdade de expressão.
- Danos graves à propriedade ou ao ambiente em larga escala.
Ao vincular o conceito de incidente grave à violação de direitos fundamentais, o AI Act diferencia-se substancialmente das legislações tradicionais de responsabilidade civil pelo fato do produto.
Essa inclusão reflete a preocupação central do legislador europeu com os impactos sociais e éticos da inteligência artificial, especialmente em modelos de triagem de crédito, contratação de pessoal, policiamento preditivo ou avaliação de elegibilidade para benefícios sociais.
2.2. Prazos e procedimentos de notificação
A tempestividade é o elemento essencial da eficácia do dever de notificação de incidentes graves.
O artigo 73.º estabelece que a comunicação deve ser feita de forma imediata pelo prestador, assim que este tenha estabelecido uma relação causal entre o sistema de inteligência artificial e o incidente, ou quando a probabilidade de tal nexo de causalidade for razoável.
O regulamento fixa prazos máximos absolutos para o envio da notificação, diferenciados conforme a gravidade do cenário concreto:
- Em casos de morte: o mais tardar 10 dias após o prestador ou, se for caso disso, o responsável pela implantação ter tomado conhecimento do incidente grave.
- Em casos de infração generalizada ou incidente grave na definição do artigo 3.º, ponto 49, alínea b): o mais tardar 2 dias após o prestador ou, se for caso disso, o responsável pela implantação ter tomado conhecimento do incidente.
- Para os demais incidentes graves: o mais tardar 15 dias após o prestador ou, se for caso disso, o responsável pela implantação ter tomado conhecimento do incidente grave.
Após o envio da notificação inicial, o prestador deve realizar uma investigação detalhada do incidente, incluindo uma análise técnica abrangente dos fatores causais.
O prestador deve cooperar plenamente com as autoridades de fiscalização de mercado dos países-membros onde o incidente ocorreu e, se solicitado, fornecer relatórios de progresso e um relatório final detalhando as medidas preventivas adotadas para evitar a recorrência da falha.
3. A fiscalização do mercado e o controle dos sistemas de inteligência artificial
A fiscalização do mercado constitui a vertente de atuação pública do Capítulo IX, regulada a partir do artigo 74.º do AI Act.
As autoridades de fiscalização do mercado dos países-membros são os órgãos responsáveis por monitorar a conformidade dos sistemas de inteligência artificial em circulação no mercado interno da União Europeia.
Esse arcabouço administrativo apoia-se nas disposições gerais do Regulamento (UE) 2019/1020 relativo à fiscalização do mercado e à conformidade dos produtos, adaptando as competências clássicas dos órgãos de vigilância às especificidades intangíveis e algorítmicas do software moderno.
3.1. Designação e poderes das Autoridades de Fiscalização do Mercado
Cada país-membro da União Europeia deve designar uma ou mais autoridades públicas para atuar como autoridades de fiscalização do mercado no âmbito do AI Act.
Essas entidades devem dispor de recursos financeiros, humanos e técnicos suficientes para o desempenho eficiente de suas tarefas, incluindo pessoal especializado em ciência de dados, engenharia de software e direito digital.
Para viabilizar o exercício de suas funções, as autoridades de fiscalização do mercado são investidas de amplos poderes de investigação e coerção, os quais incluem:
- O direito de exigir dos prestadores, distribuidores, importadores ou responsáveis pela implantação o acesso à documentação técnica, aos dados de treinamento do modelo e aos registros de log gerados pelo sistema.
- A prerrogativa de realizar auditorias técnicas e inspeções físicas nos locais de desenvolvimento ou operação dos sistemas de inteligência artificial.
- O poder de ordenar testes de conformidade em laboratórios especializados, simulando o comportamento do sistema sob diferentes condições de estresse técnico.
- A competência para impor medidas corretivas imediatas em caso de não conformidade verificada, as quais variam desde a advertência formal até a proibição temporária ou permanente de comercialização do sistema, acompanhada da determinação de sua retirada do mercado.
3.2. Acesso extraordinário ao código-fonte
Uma das inovações mais debatidas do regime de fiscalização instituído pelo AI Act é a prerrogativa concedida às autoridades de fiscalização do mercado de exigir o acesso ao código-fonte do sistema de inteligência artificial.
Reconhecendo que a mera análise da documentação de conformidade pode ser insuficiente para avaliar o comportamento interno de modelos de aprendizagem profunda, o regulamento confere essa competência de forma excepcional.
O acesso ao código-fonte é estritamente regulado e só pode ser exigido quando for realmente necessário para que a autoridade avalie a conformidade de um sistema de inteligência artificial de alto risco com os requisitos técnicos de segurança do Regulamento.
Esse poder extraordinário deve ser exercido com estrita observância das regras de proporcionalidade e proteção à propriedade intelectual.
4. Procedimentos nacionais aplicáveis a sistemas de inteligência artificial que apresentam riscos
Os artigos 79.º a 84.º do Regulamento estruturam o procedimento administrativo a ser seguido pelas autoridades de fiscalização do mercado quando estas detectam, no exercício de suas funções, que um sistema de inteligência artificial apresenta um risco concreto a nível nacional.
Esse procedimento visa garantir a segurança dos cidadãos europeus e, ao mesmo tempo, preservar o direito de defesa dos operadores econômicos por meio de um processo administrativo transparente e fundamentado.
4.1. Avaliação de conformidade e medidas corretivas nacionais
Sempre que uma autoridade de fiscalização do mercado de um Estado-Membro tiver motivos suficientes para crer que um sistema de inteligência artificial apresenta um risco para a saúde, a segurança ou a proteção de direitos fundamentais, ela deverá realizar uma avaliação exaustiva do sistema.
Se, durante essa avaliação, a autoridade constatar que o sistema não cumpre os requisitos do regulamento, ela exigirá — sem demora injustificada — que o operador tome as medidas corretivas adequadas. O operador tem um limite máximo de 15 dias úteis (ou prazo menor, caso previsto na legislação pertinente) para assegurar a conformidade, retirar o sistema do mercado ou recolhê-lo. Essas medidas podem envolver:
- Trazer o sistema de inteligência artificial de volta à conformidade regulatória por meio de recalibração ou remoção de vieses algorítmicos.
- Retirar temporariamente o sistema do mercado.
- Proceder ao recolhimento definitivo (recall) do sistema de inteligência artificial, inutilizando as suas instâncias ativas nos servidores de destino.
A autoridade deve informar o organismo notificado pertinente sobre o resultado de sua avaliação e as medidas impostas ao operador.
4.2. O procedimento de salvaguarda da União Europeia
Para evitar a fragmentação do mercado único europeu, o artigo 81.º estabelece o procedimento de salvaguarda da União Europeia.
Quando uma autoridade nacional adota uma medida corretiva nos termos do artigo 79.º, ela deve notificar imediatamente a Comissão Europeia e os demais países-membros sobre os detalhes da medida e os fundamentos técnicos que a justificaram.
Se, no prazo de três meses a contar da receção da notificação (ou de apenas 30 dias em caso de incumprimento da proibição das práticas de IA a que se refere o artigo 5.º) nenhum país-membro ou a Comissão formular objeções à medida provisória, considera-se que a mesma é justificada.
Todos os demais países-membros deverão, a partir de então, adotar medidas semelhantes em seus respectivos territórios em relação ao mesmo sistema de inteligência artificial.
Caso sejam formuladas objeções por outra autoridade nacional ou pela própria Comissão, o órgão executivo da União Europeia deverá iniciar consultas imediatas com os países-membros e com o operador econômico.
A Comissão procederá a uma avaliação técnica detalhada e adotará uma decisão fundamentada declarando se a medida nacional é ou não justificada.
Se a medida for considerada injustificada, a autoridade nacional que a aplicou deve revogá-la.
4.3. Tratamento de sistemas de inteligência artificial conformes que apresentam riscos
Um dos desafios mais complexos do Direito contemporâneo diz respeito aos sistemas que, embora estejam formalmente em conformidade com todas as regras técnicas e possuam marcação CE, revelam riscos imprevisíveis quando colocados em operação prática. O artigo 82.º do Regulamento (UE) 2024/1689 aborda essa lacuna regulatória de forma específica.
Se uma autoridade de fiscalização do mercado constatar que um sistema de inteligência artificial em conformidade com o regulamento apresenta, ainda assim, um risco sério para a saúde ou segurança das pessoas, ou para os direitos fundamentais, ela poderá exigir que o prestador adote medidas para garantir que o sistema deixe de apresentar esse risco, ou que o retire do mercado em prazo proporcional.
Esse dispositivo demonstra que, no âmbito da inteligência artificial, a segurança substancial dos cidadãos sobrepõe-se à mera conformidade formal e documental, exigindo constante vigilância sobre os efeitos empíricos da tecnologia.
4.4. Confidencialidade e proteção de segredos comerciais
O exercício dos poderes de fiscalização por parte das autoridades estatais não pode anular os direitos legítimos de propriedade intelectual e os segredos industriais das empresas que desenvolvem tecnologia.
Por essa razão, o artigo 78.º do regulamento impõe um rigoroso dever de confidencialidade a todas as partes envolvidas na aplicação do AI Act.
As autoridades de fiscalização do mercado, os organismos notificados e a Comissão Europeia devem garantir que as informações obtidas no desempenho de suas funções permaneçam protegidas. Esse dever de sigilo aplica-se especificamente a:
- Informações comerciais de caráter confidencial, segredos comerciais ou industriais pertencentes a pessoas singulares ou coletivas, incluindo o código-fonte e dados confidenciais de treinamento de modelos.
- Informações relacionadas com a segurança pública e a defesa nacional dos países-membros.
- Informações relativas a processos de investigação criminal ou administrativa em curso.
O intercâmbio de informações confidenciais entre as autoridades competentes dos países-membros e a Comissão Europeia deve ser realizado de forma segura, limitando o acesso estritamente ao pessoal autorizado e sob a garantia de preservação dos direitos de propriedade intelectual dos prestadores.
5. Conclusão
O regime jurídico instituído pelo Capítulo IX do AI Act estabelece um marco regulatório avançado para a gestão de riscos na economia digital.
Ao integrar o acompanhamento pós-comercialização sistemático, a notificação obrigatória de incidentes graves e uma estrutura forte de fiscalização de mercado, o legislador europeu demonstrou compreender que a regulação da inteligência artificial exige um modelo dinâmico e responsivo.
O plano de monitoramento pós-comercialização sob responsabilidade dos prestadores converte o conceito ético de responsabilidade algorítmica em uma obrigação técnica e procedimental permanente.
O fluxo de informações gerado por esse monitoramento, aliado à obrigatoriedade de comunicação tempestiva de incidentes graves, cria um ambiente de transparência que beneficia tanto os utilizadores quanto os próprios desenvolvedores de tecnologia, que passam a dispor de dados empíricos robustos para o aperfeiçoamento contínuo de seus sistemas.
Por sua vez, o fortalecimento das autoridades nacionais de fiscalização do mercado, dotadas de poderes que incluem o acesso técnico ao código-fonte e a imposição de recalls em servidores ativos, garante a eficácia prática das normas jurídicas.
A harmonização desses processos em nível comunitário por meio do procedimento de salvaguarda da União preserva a integridade do mercado interno, evitando que assimetrias regulatórias nacionais fragmentem a inovação tecnológica no bloco.
Em última análise, o AI Act demonstra que a conformidade regulatória no século XXI não se encerra com a obtenção de uma certificação inicial.
A governança sustentável das tecnologias de inteligência artificial requer um compromisso contínuo com a segurança jurídica, a ética aplicada e a preservação inabalável dos direitos fundamentais dos cidadãos.
Referências
PARLAMENTO EUROPEU; CONSELHO DA UNIÃO EUROPEIA. Regulamento (UE) 2024/1689 do Parlamento Europeu e do Conselho, de 13 de junho de 2024, que cria regras harmonizadas em matéria de inteligência artificial (Regulamento Inteligência Artificial) e que altera os Regulamentos (CE) n.º 300/2008, (UE) n.º 167/2013, (UE) n.º 168/2013, (UE) 2018/858, (UE) 2018/1139 e (UE) 2019/2144 e as Diretivas 2014/90/UE, (UE) 2016/797 e (UE) 2020/1828. Bruxelas, 13 jun. 2024. Disponível em: https://eur-lex.europa.eu/legal-content/PT/TXT/?uri=CELEX:32024R1689.
PARLAMENTO EUROPEU; CONSELHO DA UNIÃO EUROPEIA. Regulamento (UE) 2019/1020 do Parlamento Europeu e do Conselho, de 20 de junho de 2019, relativo à fiscalização do mercado e à conformidade dos produtos e que altera a Diretiva 2004/42/CE e os Regulamentos (CE) n.º 765/2008 e (UE) n.º 305/2011. Bruxelas, 20 jun. 2019. Disponível em: https://eur-lex.europa.eu/legal-content/PT/TXT/?uri=celex%3A32019R1020.
Foto: Yan Krukau (Pexels)
