超知能の登場が間近かもしれない今、どう安全にAIを開発すべきかを真剣に語った本。
この方向で、本当に検討する団体を立ち上げ、イーロン・マスクらの著名人を巻き込んで主流の研究にしたのだから凄い。
超知能と人間の将来の関係についての複数のシナリオは、SF小説よりも魅力的である。
専門が宇宙物理学者なので、発想のスケールが違う。
この本による生命の定義は次の通り。
「生命とは、自身の複雑さを維持して複製できるプロセス」
つまり、自己複製する情報システムである。
そして、生命の段階的進化を以下のように考えている。
ライフ1.0(生物学的段階)
ハードウェアとソフトウェアが進化する。
ライフ2.0(文化的段階)
ハードウェアは進化するが、ソフトウェアの大部分はデザインされている。
ライフ3.0(技術的段階)
ハードウェアとソフトウェアがデザインされる。
また、生命は、熱力学の第2法則であるエントロピー増大の抜け道だという。
生命は、周囲を散らかすことによって、自身の複雑性を維持している。
AIの開発・利用方針を複数のシナリオを使って検討している。
そこで重要なのは、AIの「目標」は何にするか、ということだ。
DNAの目標は増殖かもしれないが、我々の目標が単純に増殖ではない。
遺伝子の目標の下位目標である食欲や制欲などに基づき感情が、行動を決定する上での権力者である。
では、AIはどうなるか?
AIが我々と共通の目標を持たなければ、未来は暗澹たるものとなる。
知能の限界は物理学的な限界である、という考え方も面白い。
光速を超えることができなければ、情報伝達速度は距離に縛られる。
物理的限界は明確なので、知能の進化は近未来よりも遠未来の方が予想がし易い。