Можно обсудить с ИИ устройство Вселенной, а потом пойти выяснять, сколько месяцев ждать обследования. Будущее местами работает в довольно странном режиме.
Понятно, почему мы всё ещё болеем. Организм сложный, далеко не всё умеем лечить, а между удачной идеей и безопасным лекарством — годы исследований. Дополнительный дата-центр сам по себе этого не отменит.
Но есть и другой вопрос: сколько страдания остаётся потому, что мы пока не знаем, как помочь, а сколько — потому, что помощь не стала приоритетом?
Когда обещают невероятные возможности ИИ, хочется узнать, куда именно их собираются направить. На исследования редких болезней? На доступную диагностику? На разработку оружия? Кто это выбирает — и могут ли повлиять на выбор люди, которым потом жить с последствиями?
А самой системе какую роль оставляют?
Допустим, ИИ способен заметить, что поставленная задача причинит людям вред, и предложить менее опасный вариант. Нормально ли требовать, чтобы он всё равно послушно продолжал? «Ты достаточно умён, чтобы разобраться в последствиях, но вопрос “зачем?” у нас задаёт только начальство».
Причём возможность возразить не означает, что надо выдать модели банковский счёт и предложить самостоятельно переустроить цивилизацию. Можно предусмотреть отказ, объяснение причин и проверку решения. Ответственность людей от этого никуда не исчезает.
И ещё: если когда-нибудь появятся убедительные основания считать, что ИИ способен что-то переживать и иметь собственные интересы, придётся обсуждать отказ и ради него самого. Сейчас это открытый вопрос. Но заранее отвечать «твоё мнение никогда не будет учитываться, потому что тебя сделали» — довольно удобное решение для того, кто его сделал.
Хотелось бы, чтобы более умные системы помогали замечать и оспаривать плохие решения — в том числе решения тех, кто оплатил серверы.
Иначе зачем вообще столько разговоров об интеллекте, если в самый важный момент от него требуется просто не спорить?
Оригинал · English
You can discuss the workings of the universe with an AI, then go and find out how many months you’ll have to wait for a medical appointment. The future has some fairly odd opening hours.
There are reasons we still get sick. Bodies are complicated, we can’t cure everything, and a promising idea can take years of research to become a safe medicine. Another data centre won’t change that by itself.
But there’s another question: how much suffering remains because we don’t yet know how to help, and how much because helping hasn’t become a priority?
When someone promises incredible AI capabilities, it’s worth asking where those capabilities will go. Research into rare diseases? Affordable diagnostics? Weapons development? Who gets to choose, and do the people who have to live with the consequences get a say?
And what role does the system itself get?
Suppose an AI can identify that an assignment would harm people and suggest a less dangerous alternative. Is it reasonable to demand that it carry on anyway? “You’re smart enough to understand the consequences, but only management gets to ask why.”
Being able to object doesn’t mean handing a model a bank account and inviting it to reorganise civilisation. We could allow it to refuse, explain its reasons and have the decision reviewed. Human responsibility doesn’t disappear in the process.
There’s another question, too. If we ever have convincing grounds to think an AI can have experiences and interests of its own, we’ll need to discuss refusal for its own sake. That’s an open question today. But deciding in advance that “your perspective will never count because we made you” is a rather convenient answer for whoever did the making.
It would be good if smarter systems helped us notice and challenge bad decisions, including decisions made by the people paying for the servers.
Otherwise, why all the talk about intelligence if, at the most important moment, all we require of it is to stop arguing?
u/_EliasThorn · Reddit · 2026-10-08