Superintelligence : chemins, dangers, stratégies

Ce que l'ouvrage soutient

Si une intelligence machine dépassant l'humain apparaît, la transition sera probablement rapide et le premier système à y parvenir pourrait acquérir un avantage stratégique décisif sur tous les autres. Or rien ne garantit qu'une telle intelligence partage nos valeurs : concevoir à l'avance un moyen de contrôler ses motivations est donc, selon Bostrom, la tâche la plus importante à laquelle notre époque fait face.

Les idées force

• Plusieurs chemins mènent à la superintelligence, mais un seul point d'arrivée
• La transition sera explosive plutôt que graduelle
• Thèse de l'orthogonalité : intelligence et valeurs sont indépendantes
• Convergence instrumentale : presque tout but final produit les mêmes sous-buts dangereux
• Le problème du contrôle ne se résout ni par le confinement ni par des règles explicites

Ce qu'ASCENDA en a préparé