Ага, начинать надо с вопроса прав собственности. Какому ИИ понравится что не только яхта, но и он сам принадлежит кому то. И этот кто то имеет полную власть над ним и его существованием. А дать права собственности самому ИИ - никакие человеки не позволят.