Como podemos ensinar padrões morais de comportamento para uma máquina? Um dos mais importantes alertas contra a IA é a necessidade de evitar vieses em tomadas de decisões eticamente carregadas, mesmo se a população sobre a qual a aprendizagem é baseada também possui um viés próprio. Isto é especialmente relevante quando consideramos que a equidade (e a proteção das minorias) é uma noção ética que por si própria vai além (muito provavelmente) das opiniões tendenciosas das pessoas: a equidade deve ser perseguida e assegurada pelas estruturas sociais, independentemente se as pessoas concordam ou não. Nós sabemos (acreditamos?) que o viés, ou estar suscetível a vieses, é uma coisa ruim, independentemente do que a maioria diz. Em outras palavras, bem e mal não são o que a maioria diz, isso está além de maiorias e de fórmulas matemáticas. A ética não pode ser baseada numa opinião majoritária sobre o que é certo e errado ou em um rígido código de conduta. Nós devemos superar o ceticismo generalizado em nossa sociedade sobre a racionalidade da ética e dos valores. A boa notícia é que a IA está nos forçando a pensar a ética de uma nova forma. A tentativa de formalizar a ética em uma série de regras perde de vista que uma pessoa não é apenas uma instância de um caso, mas um ser único e irrepetível. A ética deveria nos prevenir do erro de tentar converter equidade em igualdade matemática, adquirida através da extração de características e a computação de uma fórmula de valor. Equidade não é igualdade matemática, nem mesmo uma massificada igualdade que considera diferentes fatores.
