در حال حاضر، ماشین‌هایی که قادر به «تفکر» به معنای نزدیک به انسان هستند، هنوز در دنیای علم تخیل باقی مانده‌اند. اما سوالی که باید به آن پاسخ دهیم این است که چگونه باید برای ظهور احتمالی آن‌ها آماده شویم. به عنوان مثال، در زمینه تریاژ پزشکی، که در آن اتوماسیون و الگوریتم‌ها نقش مهمی دارند، تصمیم‌گیری‌هایی انجام می‌شود که ریسک و فایده را در میان حوادث انسانی متعادل می‌کند. با توجه به محدودیت زمان و منابع، ممکن است یک بیمار در آستانه مرگ نسبت به فردی که تنها در حال درد کشیدن است، اولویت بیشتری داشته باشد.
در میدان جنگ، تریاژ می‌تواند به معنای رها کردن مجروحان باشد، اگر مراقبت از آن‌ها جان دیگران را به خطر بیندازد. در بهداشت عمومی، نگرانی‌های قرنطینه و آلودگی می‌تواند شامل رها کردن چند نفر برای حفاظت از بسیاری دیگر باشد. این‌ها معضلات باستانی وجود جمعی هستند که فناوری و تحقیقات علمی آن‌ها را به طرز قابل توجهی کارآمدتر، مؤثرتر و مبتنی بر شواهد کرده‌اند.
اما چه می‌شود اگر ما نه تنها در حال برنامه‌ریزی رویه‌های سریع‌تر در ابزارهای خود باشیم، بلکه از آن‌ها برای تعیین اصول پشت این تصمیمات نیز استفاده کنیم: وزن‌دهی به تریاژ، یا لحظه‌ای که در صورت بروز بحران، درهای یک کارخانه شیمیایی به‌طور خودکار بسته می‌شود؟ در انتهای دیگر این مقیاس، ممکن است بپرسیم: آیا باید تلاش کنیم تا همه زندگی‌های انسانی را به طور مساوی ارزش‌گذاری کنیم و درآمدها و تلاش‌های خود را به توزیع عادلانه‌ای که یک هوش مصنوعی انجام می‌دهد، واگذار کنیم؟
شاید شما در مورد چنین حدس‌هایی تردید کنید. اما در نهایت، ما همیشه به ماشین‌ها نیاز خواهیم داشت تا ما را از سایر ماشین‌ها محافظت کنند. نیک بستروم، فیلسوف دانشگاه آکسفورد، بر این باور است که باید به این سوال بپردازیم که چگونه می‌توانیم به طور موفقیت‌آمیز به یک چارچوب مرجع بی‌سابقه منتقل شویم. در مقاله‌ای با عنوان «اخلاق هوش مصنوعی»، بستروم و الیعزر یودکوسکی استدلال می‌کنند که الگوریتم‌های تصمیم‌گیری پیچیده‌تر نه تنها اجتناب‌ناپذیر، بلکه مطلوب نیز هستند، به شرطی که شفاف و قابل
پیش‌بینی باقی بمانند. اگر خودروی خودران من آماده باشد تا جان من را برای نجات چندین نفر دیگر قربانی کند، این اصل باید از پیش به وضوح مشخص شود. اما در مورد بدترین سناریوها چه؟ وقتی صحبت از اتوماسیون و هوش مصنوعی می‌شود، حوادثی که در افق ما قرار دارند ممکن است از نوعی باشند که قابل بازیابی نیستند. اگر اشتباه کنید و اولویت‌هایی را که به شکوفایی انسانی آسیب می‌زند، در نسل اول ماشین‌های هوشمند واقعی نهادینه کنید، ممکن است دیگر هیچ انسانی برای جمع‌آوری تکه‌های باقی‌مانده وجود نداشته باشد. ماشین‌ها طبیعتی ثابت ندارند و هر آنچه که ما به حرکت درآوریم هستند. اگر فقط یک خودروی خودکار کاملاً عملکردی بسازید، الگوی ساخت 1 میلیارد خودرو را خواهید داشت. در نهایت، همه چیز به کارایی برمی‌گردد و ما باید برای هر ارزشی که به‌طور بی‌رحمانه به نمایندگی از ما دنبال می‌شود، آماده باشیم.
جامعه از زمان‌های بسیار قبل از انقلاب صنعتی از میوه‌های اتوماسیون بهره‌مند شده است و دستاوردها در زمینه‌های مختلف بسیار زیاد بوده‌اند. با این حال، اگر سرنوشت ما نوعی عایق وجودی جدید باشد، این به دلیل غلبه بر تاریخ و زمان نخواهد بود، بلکه به این دلیل خواهد بود که ما درگیری را به چیزی فراتر از خودمان واگذار کرده‌ایم.
در نهایت، «خیر عمومی» به هدفی تبدیل می‌شود که می‌توانیم به‌طور مستقل از خودمان به حرکت درآوریم، اما هیچ چیز فراتر از ابزارهای درخشان ما وجود ندارد. معیار موفقیت آن‌ها همان چیزی خواهد بود که همیشه بوده است: حوادث عجیب یک زندگی انسانی.

برای مطالعه بیشتر: خطرات هوش مصنوعی