Resumo
- Inteligência artificial de risco elevado é a categoria do AI Act que abrange sistemas capazes de afetar significativamente direitos fundamentais, saúde ou segurança das pessoas.
- O AI Act define critérios objetivos (arts. 6º e 7º) para classificar sistemas como de alto risco, incluindo produtos regulados e aplicações listadas no Anexo III.
- Sistemas de inteligência artificial de risco elevado estão sujeitos a exigências rigorosas, como gestão de riscos, governança de dados, documentação técnica e supervisão humana.
- O regulamento europeu prevê atualização dinâmica da lista de aplicações de alto risco, permitindo acompanhar a evolução tecnológica sem perder segurança jurídica.
- Apesar de representar um avanço regulatório, a classificação de inteligência artificial de risco elevado enfrenta críticas relacionadas à ambiguidade dos critérios, custos de conformidade e desafios de fiscalização.
Introdução
A inteligência artificial de risco elevado tornou-se um dos principais pontos de atenção nas discussões regulatórias envolvendo tecnologias emergentes.
Com o avanço dos sistemas de inteligência artificial e sua aplicação em áreas sensíveis como saúde, transporte e segurança, crescem as preocupações com impactos sobre direitos fundamentais e liberdades civis.
A União Europeia, por meio do AI Act, estabeleceu critérios objetivos para identificar quais sistemas devem ser classificados como inteligência artificial de risco elevado, impondo exigências rigorosas a seus desenvolvedores e fornecedores.
Os arts. 6º e 7º do regulamento europeu cumprem papel central nessa classificação.
O primeiro dos dois dispositivos define as condições para que um sistema de IA seja considerado de alto risco.
O segundo detalha o procedimento e os critérios para que a lista de aplicações de inteligência artificial de risco elevado possa ser atualizada.
A compreensão desses dois artigos é essencial para quem estuda a interseção entre tecnologia, regulação e direitos fundamentais.
Este texto busca examinar os principais pontos desses artigos, trazendo exemplos práticos, fundamentos jurídicos e possíveis repercussões para o cenário brasileiro.
Além disso, veremos o que dizem os artigos 8º ao 15º sobre os requisitos aplicáveis aos sistemas de inteligência artificial de risco elevado.
Em textos futuros, veremos as obrigações dos prestadores e dos responsáveis pela implantação de sistemas de inteligência artificial de risco elevado; as autoridades notificadoras e organismos notificados; e as normas, avaliação da conformidade, certificados e registros.
Assim, vamos analisar em detalhes neste texto:
Comecemos analisando o panorama do AI Act e sua estrutura regulatória.
1. Panorama do AI Act e sua estrutura regulatória
Como discutimos em texto anterior, o AI Act é um regulamento da União Europeia com o objetivo principal de garantir o uso seguro e ético da inteligência artificial.
O regulamento visa assegurar que os sistemas de IA sejam desenvolvidos e utilizados de forma a proteger direitos fundamentais, promover a segurança pública e manter a confiança da sociedade.
Para isso, o AI Act estabelece uma abordagem baseada em riscos, na qual cada sistema de IA é avaliado conforme sua capacidade potencial de causar danos.
Os sistemas de inteligência artificial são classificados em quatro categorias principais:
- Risco inaceitável
- Risco elevado
- Risco limitado
- Risco mínimo
Cada uma dessas categorias determina quais exigências regulatórias serão aplicáveis.
Na categoria de risco inaceitável, estão as 8 práticas de IA proibidas que comentamos em texto anterior. Essas tecnologias são vedadas por ameaçar diretamente valores fundamentais da União Europeia.
A categoria de inteligência artificial de risco elevado, que será abordada neste artigo, inclui sistemas de IA que podem afetar significativamente a segurança, a saúde ou os direitos fundamentais das pessoas, exigindo medidas rigorosas de conformidade.
Já sistemas classificados como de risco limitado, como chatbots, devem apenas cumprir exigências mínimas de transparência, informando claramente aos usuários que estão interagindo com uma IA.
Por fim, os sistemas de risco mínimo não têm obrigações regulatórias específicas adicionais, por não representarem ameaça significativa.
2. Conceito e importância da inteligência artificial de risco elevado
2.1 Definição de alto risco no AI Act
Segundo o art. 6º do AI Act, a inteligência artificial de risco elevado envolve sistemas cuja utilização possa trazer consequências significativas aos direitos fundamentais ou à segurança de indivíduos.
Para serem considerados de alto risco, esses sistemas devem cumprir dois requisitos cumulativos:
- O sistema de IA destina-se a ser utilizado como um componente de segurança de um produto ou o sistema de IA é, ele próprio, um produto abrangido pelos atos enumerados na lista da legislação de harmonização da União constante do Anexo I do AI Act.
- O produto cujo componente de segurança nos termos do requisito anterior é o sistema de IA, ou o próprio sistema de IA enquanto produto, tem de ser sujeito a uma avaliação da conformidade por terceiros com vista à sua colocação no mercado ou colocação em serviço nos termos dos atos enumerados na lista da legislação de harmonização da União constante do Anexo I do AI Act.
Por exemplo, um sistema de IA integrado a equipamentos médicos ou de segurança ou relacionado ou automóveis autônomos será classificado como de inteligência artificial de risco elevado e deverá seguir regras rígidas antes de ser comercializado ou utilizado.
Além desses, os sistemas de IA a que se refere o Anexo III do AI Act (dados biométricos, infraestruturas críticas, educação, emprego, acesso a serviços essenciais, aplicação da lei, migração e administração da justiça) são também considerados de risco elevado:
1. Dados biométricos, na medida em que a sua utilização seja permitida ao abrigo do direito da União ou do direito nacional aplicável:
a) Sistemas de identificação biométrica à distância. Não inclui os sistemas de IA concebidos para serem utilizados para verificação biométrica com o único propósito de confirmar que uma determinada pessoa singular é a pessoa que alega ser;
b) Sistemas de IA concebidos para serem utilizados para categorização biométrica, de acordo com atributos ou características sensíveis ou protegidos com base na inferência desses atributos ou características;
c) Sistemas de IA concebidos para serem utilizados para o reconhecimento de emoções.
2. Infraestruturas críticas: sistemas de IA concebidos para serem utilizados como componentes de segurança na gestão e no controlo de infraestruturas digitais críticas, do trânsito rodoviário ou das redes de abastecimento de água, gás, aquecimento ou eletricidade.
3. Educação e formação profissional:
a) Sistemas de IA concebidos para serem utilizados para determinar o acesso ou a admissão ou a afetação de pessoas singulares a instituições de ensino e de formação profissional de todos os níveis;
b) Sistemas de IA concebidos para serem utilizados para avaliar os resultados da aprendizagem, nomeadamente quando esses resultados são utilizados para orientar o processo de aprendizagem de pessoas singulares em instituições de ensino e de formação profissional de todos os níveis;
c) Sistemas de IA concebidos para serem utilizados para efeitos de avaliação do nível de educação adequado que as pessoas receberão ou a que poderão ter acesso no contexto de instituições de ensino e formação profissional ou nessas instituições de todos os níveis;
d) Sistemas de IA concebidos para serem utilizados para efeitos de controlo e deteção de práticas proibidas por parte de estudantes durante testes no contexto de instituições de ensino e formação profissional ou nessas instituições de todos os níveis.
4. Emprego, gestão de trabalhadores e acesso ao emprego por conta própria:
a) Sistemas de IA concebidos para serem utilizados no recrutamento ou na seleção de pessoas singulares, nomeadamente para colocar anúncios de emprego direcionados, analisar e filtrar candidaturas a ofertas de emprego e avaliar os candidatos;
b) Sistemas de IA concebidos para serem utilizados na tomada de decisões que afetem os termos das relações de trabalho, a promoção ou a cessação das relações contratuais de trabalho, na atribuição de tarefas com base em comportamentos individuais, traços ou características pessoais, ou no controlo e avaliação do desempenho e da conduta de pessoas que são partes nessas relações.
5. Acesso a serviços privados essenciais e a serviços e prestações públicos essenciais, bem como o usufruto dos mesmos:
a) Sistemas de IA concebidos para serem utilizados por autoridades públicas, ou em seu nome, para avaliar a elegibilidade de pessoas singulares para terem acesso a prestações e serviços de assistência pública essenciais, incluindo serviços de cuidados de saúde, bem como para conceder, reduzir, revogar ou recuperar o acesso a tais prestações e serviços;
b) Sistemas de IA concebidos para serem utilizados para avaliar a capacidade de solvabilidade de pessoas singulares ou estabelecer a sua classificação de crédito, com exceção dos sistemas de IA utilizados para efeitos de deteção de fraude financeira;
c) Sistemas de IA concebidos para serem utilizados nas avaliações de risco e na fixação de preços em relação a pessoas singulares no caso de seguros de vida e de saúde;
d) Sistemas de IA concebidos para avaliar e classificar chamadas de emergência efetuadas por pessoas singulares ou para serem utilizados no envio, ou no estabelecimento de prioridades no envio, de serviços de primeira resposta a emergências, incluindo polícia, bombeiros e assistência médica, bem como sistemas de triagem de pacientes dos sistemas de cuidados de saúde de emergência.
6. Aplicação da lei, na medida em que a sua utilização seja permitida nos termos do direito da União ou do direito nacional aplicável:
a) Sistemas de IA concebidos para serem utilizados por autoridades responsáveis pela aplicação da lei, ou em seu nome, ou por instituições, órgãos ou organismos da União em apoio das autoridades responsáveis pela aplicação da lei, ou em seu nome, para avaliar o risco de uma pessoa singular vir a ser vítima de infrações penais;
b) Sistemas de IA concebidos para serem utilizados por autoridades responsáveis pela aplicação da lei, ou em seu nome, ou por instituições, órgãos ou organismos da União em apoio das autoridades responsáveis pela aplicação da lei, como polígrafos ou instrumentos semelhantes;
c) Sistemas de IA concebidos para serem utilizados por autoridades responsáveis pela aplicação da lei, ou em seu nome, ou por instituições, órgãos ou organismos da União em apoio das autoridades responsáveis pela aplicação da lei para avaliar a fiabilidade dos elementos de prova no decurso da investigação ou ação penal relativas a infrações penais;
d) Sistemas de IA concebidos para serem utilizados por autoridades responsáveis pela aplicação da lei, ou em seu nome, ou por instituições, órgãos ou organismos da União em apoio das autoridades responsáveis pela aplicação da lei para avaliar o risco de uma pessoa singular cometer uma infração penal ou reincidir não exclusivamente com base na definição de perfis de pessoas singulares na aceção do artigo 3.o, ponto 4, da Diretiva (UE) 2016/680, ou para avaliar os traços e características da personalidade ou o comportamento criminal passado de pessoas singulares ou grupos;
e) Sistemas de IA concebidos para serem utilizados por autoridades responsáveis pela aplicação da lei, ou em seu nome, ou por instituições, órgãos ou organismos da União em apoio das autoridades responsáveis pela aplicação da lei para definir o perfil de pessoas singulares na aceção do artigo 3.o, ponto 4, da Diretiva (UE) 2016/680, no decurso da detecção, investigação ou ação penal relativas a infrações penais.
7. Gestão da migração, do asilo e do controlo das fronteiras, na medida em que a sua utilização seja permitida nos termos do direito da União ou do direito nacional aplicável:
a) Sistemas de IA concebidos para serem utilizados por autoridades públicas competentes ou instituições, órgãos ou organismos da União, ou em seu nome, como polígrafos e instrumentos semelhantes;
b) Sistemas de IA concebidos para serem utilizados por autoridades públicas competentes, ou em seu nome, ou por instituições, órgãos ou organismos da União para avaliar os riscos, incluindo um risco para a segurança, um risco de migração irregular ou um risco para a saúde, que uma pessoa singular que pretenda entrar ou tenha entrado no território de um Estado-Membro represente;
c) Sistemas de IA concebidos para serem utilizados por autoridades públicas competentes, ou em seu nome, ou por instituições, órgãos ou organismos da União para auxiliar as autoridades públicas competentes na análise de pedidos de asilo, de visto e de autorização de residência e das queixas conexas, no que toca à elegibilidade das pessoas singulares que requerem determinado estatuto, nomeadamente nas avaliações conexas da fiabilidade dos elementos de prova;
d) Sistemas de IA concebidos para serem utilizados por autoridades públicas competentes ou por instituições, órgãos ou organismos da União, ou em seu nome, no contexto da gestão da migração, do asilo ou do controlo das fronteiras, para efeitos de deteção, reconhecimento ou identificação de pessoas singulares, com exceção da verificação de documentos de viagem.
8. Administração da justiça e processos democráticos:
a) Sistemas de IA concebidos para serem utilizados por uma autoridade judiciária, ou em seu nome, para auxiliar uma autoridade judiciária na investigação e na interpretação de factos e do direito, bem como na aplicação da lei a um conjunto específico de factos, ou para serem utilizados de forma similar na resolução alternativa de litígios;
b) Sistemas de IA concebidos para serem utilizados para influenciar o resultado de uma eleição ou referendo ou o comportamento eleitoral de pessoas singulares no exercício do seu direito de voto em eleições ou referendos. Não estão incluídos os sistemas de IA a cujos resultados as pessoas singulares não estejam diretamente expostas, como as ferramentas utilizadas para organizar, otimizar e estruturar campanhas políticas do ponto de vista administrativo e logístico.
Na prática, isso significa que um sistema de IA integrado a equipamentos médicos ou automóveis autônomos será classificado como de alto risco e deverá seguir regras rígidas antes de ser comercializado ou utilizado.
2.2 Importância da classificação da inteligência artificial de risco elevado
A classificação de um sistema de inteligência artificial de risco elevado tem implicações profundas para desenvolvedores e usuários.
Ela determina um nível maior de responsabilidade regulatória, exigindo o cumprimento de regras detalhadas sobre avaliação, documentação, transparência e supervisão.
Essa classificação também afeta diretamente a responsabilidade jurídica das empresas envolvidas, podendo gerar consequências civis e administrativas significativas em caso de não conformidade ou danos decorrentes do uso dessas tecnologias.
Além disso, a identificação clara dos sistemas de inteligência artificial de risco elevado permite melhor fiscalização por parte das autoridades regulatórias, oferecendo maior proteção aos direitos fundamentais dos cidadãos europeus.
3. Regras para a classificação de sistemas de inteligência artificial de risco elevado
3.1 Interpretação do artigo 6º
O art. 6º do AI Act define de forma estruturada os critérios para que um sistema de inteligência artificial seja considerado de alto risco.
Como vimos, a classificação não é arbitrária: ela depende do cumprimento cumulativo de dois requisitos jurídicos e técnicos.
O primeiro requisito é que o sistema de IA esteja destinado a ser utilizado como componente de produtos regulados por legislação específica de segurança da União Europeia, listada no Anexo II do regulamento.
O segundo requisito é que esse produto esteja sujeito a uma avaliação de conformidade obrigatória antes de ser colocado no mercado ou em serviço.
Essa avaliação garante que o sistema de IA atenda padrões de segurança, proteção de dados e respeito aos direitos fundamentais.
Na prática, a classificação como inteligência artificial de risco elevado decorre da combinação entre a natureza do produto e o processo regulatório a que ele está submetido, evitando que a simples complexidade tecnológica seja o único critério de risco.
3.2 Exemplos práticos de inteligência artificial de risco elevado
Para ilustrar a aplicação do art. 6º, é possível citar exemplos de sistemas de IA que se enquadrariam na definição de inteligência artificial de risco elevado:
- Sistemas de visão computacional integrados a veículos autônomos, que precisam detectar pedestres e outros obstáculos para prevenir acidentes.
- Algoritmos de diagnóstico médico incorporados a equipamentos hospitalares, como ressonâncias magnéticas e aparelhos de triagem emergencial.
- Softwares de controle automático de processos industriais perigosos, como usinas de energia e fábricas químicas, nos quais falhas podem gerar danos significativos à vida humana e ao meio ambiente.
Esses exemplos mostram que o critério de alto risco não se limita a setores tradicionalmente críticos, mas se estende a qualquer aplicação de inteligência artificial cuja falha possa comprometer a integridade física, a segurança ou os direitos fundamentais das pessoas.
3.3 Relação com outras categorias de risco
O art. 6º deve ser interpretado em conjunto com a classificação geral do AI Act, evitando confusão entre sistemas de inteligência artificial de risco elevado e aqueles de risco inaceitável ou limitado.
Enquanto o risco inaceitável leva à proibição do sistema, o alto risco impõe um regime de conformidade estrito, mas permite a comercialização e uso sob condições rigorosas.
Esse enquadramento também é relevante para fins de fiscalização, já que autoridades competentes precisam diferenciar obrigações e sanções conforme a categoria.
A clareza dessa distinção reforça a segurança jurídica e a confiança no mercado europeu de inteligência artificial.
4. Análise do artigo 7º do AI Act
4.1 Atualização do Anexo III
O art. 7º do AI Act trata da possibilidade de atualização do Anexo III, que contém a lista de áreas de aplicação da inteligência artificial de risco elevado.
Esse mecanismo permite que o regulamento acompanhe a evolução tecnológica e a emergência de novas aplicações com impacto relevante na sociedade. Para que a atualização ocorra, precisam estar presentes as seguintes condições:
- Os sistemas de IA destinam-se a ser utilizados em qualquer um dos domínios enumerados no Anexo III do AI Act
- Os sistemas de IA representam um risco de danos para a saúde e a segurança ou de repercussões negativas nos direitos fundamentais, e esse risco é equivalente ou superior ao risco de danos ou repercussões negativas representado pelos sistemas de IA de risco elevado já referidos no Anexo III.
A atualização não é automática, mas depende de um processo conduzido pela Comissão Europeia, garantindo flexibilidade normativa sem comprometer a segurança jurídica.
4.2 Critérios para a inclusão de novas aplicações
Para que uma nova aplicação de IA seja incluída no Anexo III, a Comissão deve avaliar uma série de 11 critérios expressos no regulamento:
- A finalidade prevista do sistema de IA;
- O grau de utilização efetiva ou a probabilidade de utilização de um sistema de IA;
- A natureza e a quantidade dos dados tratados e utilizados pelo sistema de IA e, em particular, o facto de serem tratadas categorias especiais de dados pessoais;
- A medida em que o sistema de IA atua de forma autónoma e a possibilidade de um ser humano anular decisões ou recomendações que possam causar danos;
- A medida em que a utilização de um sistema de IA já tenha causado danos para a saúde e a segurança, tenha tido repercussões negativas nos direitos fundamentais ou tenha suscitado preocupações significativas quanto à probabilidade de esses danos ou essas repercussões negativas ocorrerem, conforme demonstrado, por exemplo, por relatórios ou alegações documentadas apresentados às autoridades nacionais competentes, ou por outros relatórios, consoante o caso;
- A potencial dimensão desses danos ou dessas repercussões negativas, nomeadamente em termos de intensidade e de capacidade para afetar várias pessoas, ou para afetar de forma desproporcionada um determinado grupo de pessoas;
- A medida em que as pessoas que sofreram potenciais danos ou repercussões negativas dependem dos resultados produzidos por um sistema de IA, em especial se, por razões práticas ou jurídicas, não lhes for razoavelmente possível autoexcluir-se desse resultado;
- A medida em que existe um desequilíbrio em termos de poder ou em que as pessoas que sofreram potenciais danos ou repercussões negativas se encontram numa posição vulnerável em relação ao responsável pela implantação de um sistema de IA, em particular por motivos relacionados com o estatuto, a autoridade, o conhecimento, as circunstâncias económicas ou sociais, ou a idade;
- A medida em que os resultados produzidos com o envolvimento de um sistema de IA são facilmente corrigíveis ou reversíveis, tendo em conta as soluções técnicas disponíveis para os corrigir ou reverter, sendo que os resultados com uma repercussão negativa na saúde, na segurança ou nos direitos fundamentais não podem ser considerados como facilmente corrigíveis ou reversíveis;
- A magnitude e a probabilidade dos benefícios da implantação do sistema de IA para as pessoas, os grupos ou a sociedade em geral, incluindo possíveis melhorias na segurança dos produtos;
- A medida em que o direito da União em vigor prevê:
- medidas de reparação eficazes em relação aos riscos representados por um sistema de IA, com exclusão de pedidos de indemnização,
- medidas eficazes para prevenir ou minimizar substancialmente esses riscos.
Esses parâmetros demonstram a preocupação do legislador europeu em equilibrar inovação tecnológica com a proteção da sociedade.
4.3 Supressão de sistemas de inteligência artificial de risco elevado
Assim como novos sistemas de IA podem ser incluídos no Anexo III, também pode haver a supressão de sistemas de inteligência artificial de risco elevado.
Para isso, a Comissão deve observar a presença das seguintes condições:
- O sistema de IA de risco elevado em causa deixa de representar um risco significativo para os direitos fundamentais, a saúde ou a segurança;
- A supressão não diminui o nível geral de proteção da saúde, da segurança e dos direitos fundamentais ao abrigo do direito da União.
A ideia é a mesma da possibilidade de adição, ou seja, manter a lista do Anexo III atualizada e de acordo com as evoluções tecnológicas.
5. Implicações jurídicas e regulatórias
5.1 Deveres dos desenvolvedores e fornecedores
A classificação de um sistema como de inteligência artificial de risco elevado impõe uma série de deveres legais aos seus desenvolvedores e fornecedores.
O AI Act exige a realização de avaliações de conformidade antes da entrada do produto no mercado, além da manutenção de documentação técnica que comprove o atendimento às exigências normativas.
Também se exige a criação de sistemas de gestão da qualidade, que devem acompanhar o ciclo de vida do sistema de IA.
Outro ponto central é a transparência.
Os fornecedores devem garantir informações claras sobre a finalidade do sistema, seu funcionamento básico e suas limitações. Isso inclui tanto usuários profissionais quanto consumidores finais.
Além disso, a supervisão humana é obrigatória em muitos casos, de modo a evitar que decisões automatizadas sejam tomadas sem qualquer possibilidade de intervenção.
5.2 Responsabilidade civil e penal
As empresas que operam sistemas de inteligência artificial de risco elevado na União Europeia podem ser responsabilizadas civilmente por danos decorrentes de falhas, omissões ou mau funcionamento.
A responsabilidade pode se estender aos desenvolvedores, distribuidores e operadores, dependendo do nível de controle exercido sobre o sistema.
Ainda que o AI Act concentre-se em regras administrativas e regulatórias, não se pode descartar a incidência de responsabilidade penal em situações de negligência grave, fraude ou uso abusivo de IA em contextos que gerem risco à vida, à integridade física ou a direitos fundamentais.
Esse aspecto dependerá da harmonização com legislações nacionais dos Estados-membros da União Europeia.
5.3 Impactos para o Brasil
Embora o AI Act seja aplicável diretamente apenas nos países da União Europeia, sua influência é global.
O Brasil discute o Projeto de Lei 2.338/2023, que pretende estabelecer um marco regulatório para a inteligência artificial. A experiência europeia serve como referência e, possivelmente, como modelo a ser adaptado ao contexto nacional.
A classificação de sistemas de inteligência artificial de risco elevado pode orientar o legislador brasileiro na definição de critérios semelhantes, especialmente no que se refere à proteção de direitos fundamentais e à responsabilização de agentes econômicos.
Além disso, empresas brasileiras que atuam no mercado europeu terão de se adequar ao AI Act, o que pode gerar um efeito indireto de padronização regulatória no Brasil.
Esse diálogo entre regulações mostra que a análise das implicações do AI Act não se restringe à União Europeia, mas é estratégica para a compreensão de como a inteligência artificial será regulada também em outros países.
6. Requisitos aplicáveis aos sistemas de inteligência artificial de risco elevado
A Seção 2 do capítulo destinado aos sistemas de inteligência artificial de risco elevado estabelece que tais sistemas devem cumprir todos os requisitos nela previstos, considerando sua finalidade prevista e o estado da arte em inteligência artificial.
Quando a IA estiver integrada a produtos já regulados por legislação europeia de harmonização, o fornecedor é responsável por assegurar a conformidade simultânea com o AI Act e com essa legislação setorial.
Também é permitida a integração dos procedimentos de conformidade, testagem e documentação, para evitar duplicidade e reduzir encargos regulatórios.
A lista de requisitos está disposta nos artigos 9º ao 15º, como veremos a seguir.
6.1 Sistema de gestão de riscos
O art. 9º impõe a criação e manutenção de um sistema de gestão de riscos ao longo de todo o ciclo de vida do sistema de inteligência artificial de risco elevado.
O processo deve ser contínuo, documentado e iterativo, abrangendo a identificação, avaliação e mitigação de riscos à saúde, à segurança e aos direitos fundamentais, inclusive em cenários de uso indevido previsível.
Os riscos residuais devem ser considerados aceitáveis, e o sistema deve ser testado antes da colocação no mercado. Há atenção especial a impactos sobre crianças e grupos vulneráveis.
6.2 Dados e governança de dados
O art. 10º disciplina a qualidade dos dados utilizados no treino, validação e teste dos sistemas de inteligência artificial de risco elevado.
Os conjuntos de dados devem ser relevantes, representativos, adequados à finalidade prevista e, tanto quanto possível, livres de erros e enviesamentos.
Exige-se governança rigorosa sobre a origem, coleta, preparação e avaliação dos dados, com medidas específicas para detectar e mitigar discriminações.
Em situações excepcionais, permite-se o uso de categorias especiais de dados pessoais, desde que observadas garantias reforçadas de proteção e segurança.
6.3 Documentação técnica
O art. 11º obriga o fornecedor a elaborar e manter documentação técnica completa antes da colocação do sistema no mercado ou em serviço.
A documentação deve demonstrar claramente a conformidade do sistema com os requisitos do AI Act e possibilitar a fiscalização pelas autoridades competentes.
O artigo prevê conteúdo mínimo obrigatório, listado no Anexo IV, e admite uma versão simplificada para pequenas e médias empresas, com formulário padronizado a ser aceito nos processos de avaliação de conformidade.
6.4 Manutenção de registros
O art. 12º exige que os sistemas de inteligência artificial de risco elevado possuam capacidade técnica para o registro automático de eventos relevantes durante sua operação.
Esses registros devem permitir rastreabilidade, facilitar o acompanhamento pós-comercialização e auxiliar no controle do funcionamento do sistema.
Para determinadas aplicações sensíveis, como identificação biométrica, o regulamento especifica quais informações mínimas devem ser registradas, incluindo dados de utilização e intervenções humanas.
6.5 Transparência e prestação de informações
O art. 13º determina que os sistemas de inteligência artificial de risco elevado sejam suficientemente transparentes para permitir que os responsáveis pela implantação compreendam e utilizem adequadamente seus resultados.
O sistema deve ser acompanhado de instruções claras, acessíveis e completas, contendo informações sobre finalidade, desempenho, limitações, riscos previsíveis, medidas de supervisão humana e requisitos técnicos.
O objetivo é garantir uso consciente e responsável da tecnologia.
6.6 Supervisão humana nos sistemas de inteligência artificial de risco elevado
O polêmico art. 14º estabelece que os sistemas de inteligência artificial de risco elevado devem ser concebidos para permitir supervisão humana eficaz durante sua utilização.
A supervisão deve prevenir ou minimizar riscos à saúde, à segurança e aos direitos fundamentais, inclusive o risco de confiança excessiva em decisões automatizadas.
O regulamento exige que os operadores possam compreender, questionar, ignorar ou interromper o funcionamento do sistema, inclusive por meio de mecanismos de paragem segura.
Especialistas costumam criticar a viabilidade de tal supervisão, como veremos no tópico 7.
6.7 Exatidão, solidez e cibersegurança para a inteligência artificial de risco elevado
Por fim, o art. 15º impõe que os sistemas de inteligência artificial de risco elevado alcancem níveis adequados de exatidão, robustez e cibersegurança ao longo de todo o seu ciclo de vida.
O desempenho deve ser consistente, resistente a falhas e protegido contra ataques maliciosos, como manipulação de dados ou exploração de vulnerabilidades.
Os níveis de exatidão devem ser declarados nas instruções de uso, e o sistema deve incorporar medidas técnicas e organizativas proporcionais aos riscos envolvidos.
7. Conclusão: críticas e desafios à classificação de sistemas de inteligência artificial de risco elevado
7.1 Critérios genéricos e ambiguidades
Uma das principais críticas ao AI Act, especialmente no que se refere à inteligência artificial de risco elevado, diz respeito ao grau de abstração de alguns critérios normativos.
Expressões como risco significativo, potencial de dano e número elevado de pessoas afetadas exigem interpretações técnicas e jurídicas que nem sempre são evidentes.
Essa abertura conceitual pode gerar insegurança jurídica, sobretudo para desenvolvedores e fornecedores que precisam decidir, ainda na fase de projeto, se um sistema se enquadra ou não como inteligência artificial de risco elevado.
A depender da interpretação adotada pelas autoridades competentes, um mesmo sistema pode ser classificado de maneira distinta em contextos semelhantes.
7.2 Dificuldades de implementação técnica e econômica nos sistemas de inteligência artificial de risco elevado
Outro desafio relevante é a implementação prática das exigências impostas aos sistemas de inteligência artificial de risco elevado.
A adoção de sistemas de gestão da qualidade, a produção de documentação técnica detalhada e a realização de avaliações de conformidade demandam recursos financeiros, humanos e tecnológicos significativos.
Para pequenas e médias empresas, essas exigências podem representar uma barreira de entrada no mercado europeu de inteligência artificial.
Há o risco de concentração do desenvolvimento de IA em grandes empresas, capazes de absorver os custos regulatórios, o que pode afetar a diversidade e a inovação no setor.
7.3 Desafios de fiscalização e harmonização dos sistemas de inteligência artificial de risco elevado
A efetividade do AI Act também depende da capacidade de fiscalização das autoridades nacionais dos Estados-membros.
Diferenças na estrutura administrativa, no nível de especialização técnica e na interpretação das normas podem gerar assimetrias na aplicação do regulamento.
Além disso, a ausência de um marco regulatório global sobre inteligência artificial impõe desafios de harmonização internacional.
Sistemas desenvolvidos fora da União Europeia, mas utilizados em seu território, precisarão se adaptar às regras do AI Act, o que pode gerar conflitos regulatórios e dificuldades de conformidade transnacional. Isso traz impactos inclusive para o Brasil.
Esses desafios mostram que, embora o AI Act possa representar um avanço na regulação da inteligência artificial, sua aplicação prática exigirá constante diálogo entre legislador, autoridades reguladoras, setor privado e comunidade acadêmica.
