Стеклянная клетка. Автоматизация и мы - Николас Дж. Карр Страница 30

Погрешности в данных и алгоритмах могут сделать профессионалов, да и нас, простых смертных, жертвами наиболее злокачественной формы пристрастного отношения к данным автоматизированных систем. «Угроза заключается в том, что мы позволим себе бездумно положиться на результаты анализа, несмотря на возможность обдумать и понять, что в этих результатах что-то пропущено, – предостерегают Виктор Майер-Шенбергер и Кеннет Цукер в своей книге “Большие данные”, вышедшей в 2013 году. – Или мы можем приписать истинность данным, которые этого не заслуживают» [49]. Особая форма риска, связанного с использованием алгоритмов, вычисляющих корреляции, обусловлена тем, что они работают с данными о прошлом, чтобы предсказать будущее. В большинстве случаев поведение в будущем совпадает с нашими ожиданиями, и алгоритм работает, опираясь на уровень вероятности. Однако в тех редких случаях, когда условия отклоняются от предписанного алгоритмом образца, он может выдать абсолютно неверный прогноз. Такие случаи уже не раз приводили к катастрофам компьютеризированных хеджевых фондов и брокерских фирм. При всех своих дарованиях компьютеры до сих пор демонстрируют пугающее отсутствие здравого смысла.

Чем больше мы предаемся, по выражению ученого из корпорации Microsoft Кейт Кроуфорд, «цифровому фундаментализму» [50], тем сильнее становится искушение обесценить таланты, недоступные компьютерной имитации. Мы так сильно доверяем программным продуктам, что не придаем значения человеческой способности использовать знания, полученные из реального опыта, способные привести к оригинальным творческим решениям. Как показывают некоторые непредвиденные последствия внедрения электронного ведения документации в медицине, шаблоны и формулы неизбежно ведут к упрощенчеству и очень быстро становятся смирительной рубашкой для клинического мышления. Начиная с шестидесятых годов вермонтский врач и ученый Лоуренс Уид был горячим и красноречивым поборником использования компьютеров в медицине, так как они, по его мнению, могли помочь врачам принимать адекватные и осознанные решения [51]. Уида называют даже отцом электронного ведения медицинской документации. Однако теперь даже он предупреждает: «Нынешнее бездумное использование статистических знаний в медицине систематически вытесняет индивидуализированное знание и данные, действительно необходимые для лечения больных» [52].

Еще глубже тревога Гэри Клейна, психолога, изучающего механизмы принятия решений человеком. «Принуждая врачей следовать строгому набору правил, доказательная медицина может затормозить научный прогресс, – пишет Клейн. – Если больницы и страховые компании будут обязаны вводить электронные записи под угрозой судебного преследования, если неблагоприятные исходы лечения станут увязывать с малейшими отклонениями от утвержденных методов, то врачи, соединяющие в своей практике опыт и склонность к исследованиям, перестанут творчески подходить к своему делу и утратят интерес к совершению открытий» [53].

Если мы не проявим разумную настороженность, то автоматизация умственного труда, исказив природу и цель интеллектуального поиска, может подорвать саму основу нашей культуры: стремление познать мир. Алгоритмы прогнозирования могут творить сверхъестественные чудеса в обнаружении корреляций, но они абсолютно слепы и глухи к причинам наблюдаемых признаков и явлений. Но ведь именно раскрытие причин – методичное распутывание проблем, связанных с механизмами того или иного процесса, – расширяет границы человеческого познания. Если мы дойдем до того, что будем считать автоматизированное вычисление вероятностей достаточным средством достижения наших профессиональных и общественных целей, то рискуем потерять или, в лучшем случае, ослабить наше стремление искать объяснения, находить неизведанные пути, ведущие к мудрости и чуду. Зачем все эти хлопоты, если компьютер готов выдать ответ через одну или две миллисекунды?

В эссе «Рационализм в политике», опубликованном в 1947 году, британский философ Майкл Окшотт живо описал современного рационалиста: «В его сознании нет атмосферы, нет смены времен года и колебаний температуры; все его мыслительные процессы изолированы от любых внешних воздействий и протекают в пустоте. …Рационалист не интересуется ни культурой, ни историей; он не оттачивает и не проявляет личную точку зрения. Его мышление примечательно лишь быстротой, с какой он сводит богатство и разнообразие опыта к формуле» [54]. Этими словами Окшотта можно превосходно воспользоваться для описания компьютерного интеллекта: он невероятно практичен и производителен, но при этом полностью лишен любопытства, воображения и связи с окружающим миром.