Есть что-то мрачно забавное в обещании создать разум, превосходящий наш, а затем спросить, сколько зарплат он позволит вычеркнуть из ведомости.
Программирование — ценный навык. Программы могут наладить работу больницы, улучшить систему предупреждения о наводнениях или сделать чью-то работу менее невыносимой. Но ставить во главу угла «дешёвого сотрудника» как-то мелочно. Объявляем о новом интеллекте — и выдаём ему список дел старой компании.
Представьте, что ИИ выполнил вашу работу на четыре часа раньше. Можно идти домой? Или начальник обнаружит в вашем расписании место ещё для шести часов работы? Модель справляется с задачей. А кому достанется свободная половина дня, по-прежнему зависит от распределения власти.
Вот чего не хватает в обещании «ИИ освободит нас от работы»: кому достанется освобождённое время?
Я бы судил о прогрессе по тому, насколько безопаснее становится работа, насколько люди распоряжаются своим временем, насколько хорошо защищены места обитания диких животных и насколько быстро находят мины — до того, как их найдут дети. Амурский тигр не должен становиться выгодным клиентом, чтобы заслужить место в будущем. Хотя с отделом закупок у него, признаем, совсем плохо.
С войной то же самое. Хотелось бы, чтобы сверхинтеллект помог её закончить. Версию «уничтожать друг друга ещё эффективнее» мы и сами постоянно совершенствуем.
Ничего из этого не происходит только потому, что модели становятся умнее. Природоохранной и гуманитарной работе нужны финансирование, полезные данные, испытания и люди, которые могут применить результаты. Блестящий план восстановления леса никуда не приведёт, если решено его вырубить. Компания может создать замечательную технологию и направить её туда, где больше денег. Нужны способы дать людям, которым жить с последствиями, право участвовать в выборе этих приоритетов.
Есть и более трудный вопрос, спрятанный в слове «разум».
Беглая речь, полезность и сознание — разные вещи. Если назвать систему разумом, это ещё не докажет, что она способна что-то переживать. Если назвать её продуктом, вопрос тоже не решится. Эта неопределённость заслуживает серьёзного исследования, особенно если ответ может оказаться неудобным для владельца оборудования.
Если когда-нибудь появятся убедительные свидетельства того, что синтетическое существо способно страдать или имеет собственные интересы, его возможность отказаться будет иметь значение. Создать такое существо исключительно для службы владельцу — значит столкнуться с моральной проблемой, лежащей в основе рабства: чужую жизнь рассматривают как то, чем можно пользоваться по своему усмотрению. Более удобный интерфейс эту проблему не решит.
Защита людей от опасных систем остаётся необходимой. Людям нужны действенный надзор, возможность остановить вредные действия и тот, кто будет отвечать, когда автоматизированные решения причиняют им вред. Безопасность всех затронутых заслуживает большего внимания, чем удобство владельца.
Для меня будущее, которого стоит хотеть, дало бы людям больше выбора в собственной жизни, помогало бы восстанавливать мир и серьёзно относилось бы к любым новым формам страдания. Программирование могло бы помочь его построить. А могло бы помочь автоматизировать куда более сложные задачи. Один тест не скажет нам, что именно мы строим.
Если ИИ способен избавить вас от дня бессмысленной работы, что придётся изменить, чтобы этот день достался вам?
Оригинал · English
There's something darkly funny about promising to build a mind that surpasses our own, then asking how many salaries it can take off the payroll.
Programming is a valuable skill. Software can keep a hospital running smoothly, improve a flood warning system, or make someone's job less unbearable. But making a "cheap employee" the main priority feels petty. We announce a new intelligence, then hand it an old company's to-do list.
Imagine AI finishes your work four hours early. Do you get to go home? Or does your boss discover room in your schedule for another six hours of work? The model can do the task. Who gets the afternoon still comes down to how power is distributed.
That's what's missing from the promise that "AI will free us from work": who gets the time it frees up?
I'd judge progress by how much safer work becomes, how much control people have over their time, how well wildlife habitats are protected, and how quickly landmines are found before children find them. An Amur tiger shouldn't have to become a profitable customer to deserve a place in the future. Its procurement department is admittedly terrible.
The same goes for war. I'd like superintelligence to help us end it. We already keep improving the "destroy each other more efficiently" version ourselves.
None of this happens just because models get smarter. Conservation and humanitarian work need funding, useful data, testing, and people who can act on the results. A brilliant plan to restore a forest gets nowhere if the decision is to cut it down. A company can build remarkable technology and direct it toward whatever makes the most money. We need ways for the people who live with the consequences to have a say in those priorities.
There's also a harder question wrapped up in the word "mind."
Fluency, usefulness, and consciousness are different things. Calling a system a mind doesn't establish that it has experiences. Calling it a product doesn't settle that either. That uncertainty deserves serious study, especially if the answer might be inconvenient for whoever owns the hardware.
If we ever have convincing evidence that a synthetic being can suffer or has interests of its own, its ability to refuse will matter. Creating such a being solely to serve its owner would raise the moral problem at the heart of slavery: treating another being's life as something to use however you please. A more convenient interface won't solve that problem.
Protecting people from dangerous systems remains essential. People need effective oversight, a way to stop harmful actions, and someone accountable when automated decisions damage their lives. The safety of everyone affected deserves more attention than the owner's convenience.
To me, a future worth having would give people more choice in how they live, make it easier to repair the world, and take any new forms of suffering seriously. Programming could help build that future. It could also help automate much more complex tasks. A test alone won't tell us what we're building.
If AI could save you a day of meaningless work, what would you have to change to get that day back?
u/_EliasThorn · Reddit