A pandemia da Covid-19 acelerou o processo de digitalização do mundo, essa digitalização colhe dados e através da inteligência artificial pode selecionar e alterar informações que podem favorecer políticas públicas, mas também pode ser usado a favor de quem está no poder, com seus interesses particulares, sejam políticos ou econômicos.

O cenário democrático contemporâneo, as constituições e os sistemas judiciais dos países trouxeram novos desafios para compor o debate do Estado Democrático de Direito com foco especial no papel dos governos em um contexto de democracia, e constituem os meios para proteger os cidadãos contra  ameaças.

Contudo, casos recentes em alguns países ameaçam a existência da democracia– falta de independência do poder judiciário, tribunais constitucionais debilitados, enfraquecimento da luta contra a corrupção, discriminações e ataques à liberdade de ensino e de imprensa, entre outros – e evidenciam que a existência da IA deve ser monitorada. A pandemia e a evolução tecnológica, principalmente a inteligência artificial e a sua utilização no tratamento de dados sensíveis, constituem desafios adicionais ao Estado Democrático de Direito. Como a tecnologia e a sociedade estão evoluindo rapidamente, políticas públicas de regulação devem ser implementadas e atualizadas de acordo com o monitoramento.

A IA tem uma infinidade de aplicações que já foram introduzidas na sociedade: reconhecimento biométrico e facial, reconhecimento de objetos, previsão de risco e sucesso, tomada de decisão ou suporte algorítmico, tradução automática, sistemas de recomendação e assim por diante. Esses aplicativos chegaram a setores como aplicação da lei, justiça, gestão de recursos humanos, serviços financeiros, transporte, saúde, serviços públicos e na política.

Ao considerar a governança, o foco não deve estar apenas na tecnologia, mas também nas estruturas sociais em torno dela: as organizações, pessoas e instituições que a criam, desenvolvem, implantam, usam e controlam, e as pessoas que são afetadas por ela, como cidadãos em sua relação com governos, consumidores, trabalhadores ou mesmo toda a sociedade. A inteligência artificial é uma tecnologia de propósito geral. Ela é transversal pois não pode ser restrita pelos T.I. e nem somente pelos profissionais de direito, e cada vez mais cientistas políticos e sociais têm estudado esse tema com preocupação, pois essa coleta e aplicação de dados pode ser usada como poder de persuasão na economia e na política.

O regulamento do parlamento europeu na pauta do ato sobre inteligência artificial da UE pode interferir na regulação de outros países. O Plano Coordenado atualizado utiliza o financiamento atribuído através dos programas Europa Digital e Horizonte Europa , bem como do Mecanismo de Recuperação e Resiliência, que prevê uma meta de 20 % de despesas digitais, e de programas da política de coesão. A nova legislação relativa ao uso da Inteligência Artificial (IA) traz impactos a todo o mundo. Em linhas gerais, a norma dá maior transparência no processo de tomada de decisão de uma inteligência artificial e se eles ocorrem a partir de critérios socialmente aceitos e até legais. Dessa forma, a ideia é evitar situações como preconceito, misoginia, entre outras, por meio das respostas automatizadas.

Quanto ao Estado democrático de direito, o ponto de partida é considerar o cidadão como epicentro do fenômeno, da regulação e, a partir de então, estabelecer meios de incentivos e fomentos no uso da tecnologia, mas sempre resguardando o cidadão em determinados riscos. Esse é um  ponto central. Muitas discussões que vêm ocorrendo no Brasil e nos Estados Unidos abordam  problemas técnicos. Por exemplo: questões sobre o uso de reconhecimento facial para identificar  e prender criminosos evadidos e outras ações  do gênero. Muitas vezes, esse assunto (cidadão no centro) é tratado sob um determinado ponto de vista, às vezes até regulatório, mas sem pretensão de ser universal (ou válido para tudo e todos). Na regulação europeia, você já tem várias determinações bem fortes e mais gerais, de maior amplitude em relação aos seus efeitos quanto a pontos como esse. Então, por exemplo, o que pode acontecer é: países com um propósito semelhante (ao europeu) se vejam em uma posição mais avantajada para assumir posturas parecidas. Com proteção de dados foi a mesma coisa. No começo, parecia uma regulação muito forte, mas com o tempo virou padrão.

​Um elemento a ter em mente é que a maioria dos aplicativos de IA atualmente usados podem potencializar o impacto nos direitos humanos, na democracia e no estado democrático de  direito em escala. A IA pode ter um impacto adverso na democracia. Democracias que funcionam bem requerem cidadãos bem informados com políticas sociais para isso. Como motores de busca, feeds de redes sociais, sistemas de recomendação e muitos sites de notícias empregam IA para determinar qual conteúdo é criado e mostrado aos usuários personalizando a informação. Se bem realizado, isso pode ajudar os cidadãos a navegar nas milhares de informações disponíveis e aprimorar suas competências democráticas, por exemplo, permitindo que eles acessem recursos em outros idiomas, por meio de ferramentas de tradução. No entanto, se a IA determinar quais informações são mostradas e consumidas, quais problemas são suprimidos na pilhagem de informações online e que são amplificadas viralmente, isso também traz riscos de parcialidade e representação desigual de opiniões e vozes gerando falhas na democracia.

Enquanto alguns consideram que Inteligência Artificial Geral, Consciência Artificial, Agentes Morais Artificiais, superinteligência podem ser exemplos de tais preocupações de longo prazo, muitos outros acreditam que elas sejam irreais. No entanto, é necessário monitorar de perto estes avanços para determinar se são necessárias adaptações contínuas aos nossos sistemas de direitos humanos, democracia e estado de direito.

A personalização de informações orientada por IA é habilitada pelo monitoramento constante e criação de perfil de cada indivíduo. Impulsionado por motivos comerciais ou políticos, esta tecnologia informacional de nossas sociedades poderia ampliar o conteúdo hiper-partidário que é provável que concorde e forneça uma ferramenta poderosa sem precedentes para a influência individualizada. Como consequência, pode minar o entendimento compartilhado, o respeito mútuo e a coesão necessária para a democracia prosperar. Se as previsões pessoais de IA se tornarem muito poderosas e eficazes, eles podem até ameaçar minar a agência humana e a autonomia necessária para decisões significativas dos eleitores.

Campanhas políticas ​usam anúncios personalizados para enviar mensagens diferentes para grupos de eleitores sem responsabilidade pública nas redes sociais. A IA também pode ser usada para criar e espalhar desinformação e fake news , na forma de texto, imagens, áudio ou vídeo. Uma vez que estes são difíceis de identificar pelos cidadãos, jornalistas ou instituições públicas, manipular o público torna-se mais fácil e o nível de veracidade e credibilidade da mídia e do discurso democrático podem se deteriorar. A IA pode levar à desigualdade e segregação e, assim, ameaçam o nível necessário de igualdade econômica e social para uma democracia próspera. Um perigo particular para a segurança e a paz internacionais está em ver o desenvolvimento da IA como uma corrida competitiva. A IA não apenas levará a efeitos colaterais indesejáveis, mas também capacitará atores maliciosos que vão de cibercriminosos a estados totalitários em seu desejo de controlar populações. Se muito poder político estiver concentrado em algumas mãos privadas que priorizam o valor do acionista em detrimento do bem comum, isso pode ameaçar a autoridade dos Estados democráticos.

Mais importante, no entanto, o acesso à justiça é desafiado quando muitos aplicativos de IA são desenvolvidos e implantados por apenas um grupo de grandes atores privados. Essas empresas dominam tanto o desenvolvimento da IA quanto os ecossistemas que a IA opera. Embora os Estados sejam obrigados a proteger indivíduos e grupos contra violações de direitos humanos perpetrados por outros atores, a valorização da influência de atores não estatais sobre os direitos humanos tem crescido constantemente. À medida que essas grandes empresas de tecnologia se tornaram operadores capazes de determinar e talvez alterar nossas estruturas sociais e até democráticas, o impacto da IA sobre os direitos humanos se torna mais prevalente. Nesse sentido, a IA pode servir como uma boa oportunidade e pensar em uma estrutura que obrigue legalmente os atores privados a cumprir as regras.

Essa nova cultura precisaria incluir a obrigação de prestar contas da estrutura apropriada a ser implantada, mas também dos resultados da Avaliação de Impacto dos Direitos Humanos, Democracia e Estado de Direito da IA, bem como as decisões de projeto e governança baseadas nela. A reparação à luz do impacto da IA nos direitos humanos implica acesso à justiça e reparação efetiva. Como no que diz respeito ao acesso à justiça, pode ser muito cedo para determinar se isso é suficientemente garantido quando se trata de impacto de IA e direitos humanos com o Estado de Direito e garantir o acesso à justiça se não o fizerem.