Hiểm họa của trí tuệ nhân tạo AI xuất phát từ mục đích được lập trình
Hầu hết các nhà nghiên cứu đều đồng ý rằng một AI thông minh không có khả năng biểu lộ cảm xúc của con người như tình yêu hay thù ghét, và không có lý do gì để mong muốn AI trở nên có chủ ý từ thiện hoặc ác độc.
Tuy nhiên khi xem xét AI có thể trở thành một nguy cơ, các chuyên gia nghĩ rằng hai kịch bản rất có thể xảy ra:
AI được lập trình để làm điều gì đó tàn phá: Vũ khí tự trị là hệ thống trí tuệ nhân tạo được lập trình để giết chóc. Trong tay của sai người, những vũ khí này có thể dễ dàng gây ra thương vong lớn. Hơn nữa, một cuộc chạy đua vũ trang bằng tay có thể vô tình dẫn đến một cuộc chiến tranh gây tổn thất lớn.
Để tránh bị đối phương cản trở, những vũ khí này sẽ được thiết kế để ngăn cản những khả năng đơn giản như "tắt", do đó con người có thể mất khả năng kiểm soát những tình huống như vậy.
AI được lập trình để làm điều gì đó có lợi, nhưng nó phát triển một phương pháp phá hoại để đạt được mục đích của nó: Điều này có thể xảy ra bất cứ khi nào chúng ta không hoàn toàn sắp xếp đúng các mục tiêu của AI với ta.
Nếu bạn yêu cầu một chiếc xe thông minh ngoan ngoãn đưa bạn đến sân bay càng nhanh càng tốt, nó có thể khiến bạn di chuyển vượt tốc độ cho phép, vi phạm luật giao thông hoặc gây nguy hiểm cho các phương tiện khác trên đường, không phải những gì bạn muốn mà là những gì bạn yêu cầu.
Nếu một hệ thống thông minh có nhiệm vụ với một dự án địa chấn đầy tham vọng, nó có thể tàn phá hệ sinh thái của chúng ta như là một phản ứng phụ và xem những nỗ lực của con người để ngăn chặn nó như là một mối đe dọa sẽ gặp phải.