Lika Chekalova

Lika Chekalova 

Change catalyst in education, futures literacy pro

14subscribers

44posts

Showcase and bundles

4
A bundle is a collection, compilation, playlist, or catalog of posts that saves you from searching through the blog and lets you buy the entire content series in a single click.
goals1
0 of 1 000 paid subscribers
When I get 1000 subscribers, I'll be happy :)

Иллюзия ясности: как показатели заменяют реальность

Есть простая причина, по которой современный мир всё больше измеряет себя: мы всё хуже способны наблюдать его непосредственно.
Пока причинная цепочка коротка, человеку относительно легко понять происходящее. В небольшом городе можно увидеть, где образуется пробка, кто загрязняет реку, чему научился конкретный ученик, почему мастерская не успевает выполнить заказ. Но современная реальность устроена иначе. Производство распределено между странами и организациями, экологические последствия действия проявляются в других местах и через годы, миллионы горожан одновременно меняют транспортные, энергетические и социальные потоки, образовательная траектория перестала однозначно определять профессиональную, а внутри организаций результаты возникают из взаимодействия сотен процессов.
Поэтому метрики появляются не потому, что современные институты «помешались на цифрах». Сначала это рациональный ответ на невозможность увидеть целое. Но сегодня мы оказались в ситуации, когда созданный нами интерфейс для лучшего понимания реальности постепенно занимает место самой реальности.

Мир, который перестал помещаться в непосредственное наблюдение: примеры

Экология: след действия находится совсем не там, где произошло действие
Представим простую покупку – чашку кофе, смартфон или электромобиль. На уровне непосредственного опыта экологический эффект незаметен: человек покупает готовый предмет в чистом магазине или нажимает кнопку заказа.
Но действительная экологическая причинность распределена между добычей сырья, использованием земли и воды, производством энергии, транспортировкой, переработкой, отходами и множеством экосистем.
Исследования показывают, что большая часть экологического следа города создаётся далеко за его пределами. Например, продукты, топливо, стройматериалы и товары производятся в других регионах и странах, а вместе с ними «вынесены наружу» добыча ресурсов, заводы, перевозки и выбросы. Поэтому житель мегаполиса может жить в чистом районе и почти не видеть экологических последствий своего образа жизни. (Nature)
С биоразнообразием проблема ещё сложнее. Одинаковая величина потребления может создавать радикально разные последствия в зависимости от места производства, локальной экосистемы, водного стресса и состава видов. Недавние исследования поэтому вынуждены одновременно учитывать землепользование, воду, эвтрофикацию, климат и географическую чувствительность экосистем; при переходе от глобальных средних к регионализированным данным даже меняется представление о том, какие воздействия являются главными. (Nature)
Возникает необходимость в углеродном следе, водном следе, biodiversity footprint, LCA, ESG, интегральных индексах устойчивости – иначе экологическое воздействие буквально невозможно увидеть.
Но именно здесь проявляется парадокс метрики. Шесть крупных ESG-агентств, оценивая одни и те же компании, дают существенно различающиеся результаты: 56% расхождений рейтингов объяснялось различиями собственно измерения, 38% – тем, какие свойства вообще включались в оценку, и только 6% – разными весами. (OUP Academic)
То есть мы создаём число, чтобы сделать невидимую реальность ясной, – а затем обнаруживаем, что разные способы сделать её видимой создают разные реальности.
Город: когда невозможно увидеть одновременно транспорт, жильё, здоровье, энергию и неравенство
Мегаполис – один из наиболее наглядных примеров проблемы. Современная городская среда представляет собой не набор независимых объектов, а связанную систему транспортных, энергетических, информационных, экономических и человеческих потоков. Исследования мегамобильности прямо описывают её как систему «организованной сложности»: с нелинейными взаимодействиями, обратными связями и emergent effects, которые невозможно понять, рассматривая отдельные подсистемы независимо. (ScienceDirect)
Как тогда понять, «хорошо ли живёт город»?
Возникают панели мониторинга, индексы качества жизни, показатели доступности транспорта, загрязнения, безопасности, стоимости жилья, продолжительности поездок, зелёных зон, экономической активности. Систематический анализ всего 67 систем оценки городской устойчивости обнаружил в них 2 847 различных индикаторов. Авторы отдельно фиксируют неустранимые конфликты: между полнотой и компактностью показателей, универсальной сравнимостью и локальной спецификой, сложностью реальности и простотой её представления. (ScienceDirect)
Причём измерение распределено неравномерно. В существующих системах одни аспекты – например, доступ к услугам и занятость – представлены хорошо, а политическое участие, распределительные эффекты и некоторые формы неравенства оказываются значительно менее видимыми. (ScienceDirect)
Метрика здесь уже не просто сообщает нам, насколько хорош город – она определяет, что именно считается хорошим городом, а что при его оценке следует игнорировать, и форматирует наше восприятие вместо того, что помогать нашему пониманию.
Бизнес: чем длиннее процесс, тем больше нужно приборов на его панели
Современная компания также всё меньше похожа на фабрику, которую можно обойти за день и увидеть её работу. Глобальные цепочки стоимости представляют собой пространственно распределённые сети функций и операций, разделённые между множеством организаций и стран. Обзор литературы по global value chains описывает именно рост организационной фрагментации и географического рассредоточения деятельности. (Springer) OECD в 2026 году отмечает, что использование импортируемых товаров и услуг в мировом производстве в реальном выражении находилось около исторического максимума 2024 года, а сами цепочки не столько «сокращаются», сколько перестраиваются всё более сложными способами. (OECD)
Даже один обычный бизнес-процесс – например, обработка заказа или работа с клиентом – сегодня проходит через много разных систем: CRM, ERP, системы обработки заявок, логистические платформы и другие сервисы. Поэтому один человек часто уже не видит весь процесс целиком. Из-за этого развивается анализ процессов по цифровым следам: специалисты собирают данные из разных систем и по ним восстанавливают, как на самом деле движется заказ, документ или задача от начала до конца. А поскольку один процесс всё чаще затрагивает сразу несколько компаний, появилось отдельное направление – межорганизационный анализ процессов по цифровым следам. Оно изучает, как один общий процесс проходит через границы разных организаций. (ScienceDirect)
Параллельно растёт измерительный слой. Один систематический обзор business process performance measurement систематизировал 140 различных показателей по 11 измерениям эффективности процесса. (PubMed Central (PMC))
Это снова рационально. Если никто не может непосредственно увидеть целое, систему приходится собирать «по приборам». Но организация постепенно становится похожа на пилота, который видит не самолёт и не небо, а исключительно приборную панель.
Образование: когда исчезает прямой коридор «учёба → профессия»
Особенно интересен этот процесс в образовании. В относительно стабильной индустриальной структуре можно было представить социальную траекторию крупными понятными узлами: школа → профильное образование → профессия → работа.
Такая схема никогда не была абсолютной, но институциональная связь между образовательной квалификацией и профессиональной позицией была значительно легче читаема.
Сегодня отношения становятся значительно менее линейными.
Обзоры современных карьерных переходов говорят о всё более динамичных, индивидуализированных и нелинейных траекториях; переходы между ролями происходят неоднократно в течение профессиональной жизни. (ScienceDirect) Исследования показывают и значимое несовпадение образования и фактической работы: вероятность работать вне полученной специальности заметно различается между областями образования, а последствия зависят от типа фактически приобретённых навыков и последующей профессиональной мобильности. (Springer)
Даже экономическая отдача от дополнительного образования неодинакова: она существенно зависит от области, предыдущего образования и последующего дообучения в процессе работы; простые оценки «больше образования = выше доход» могут вводить в заблуждение. (NBER)
Глобализация и мобильность добавляют ещё одно измерение: международный образовательный или профессиональный опыт может давать компетенции и карьерные преимущества, но его эффекты неодинаковы и сильно зависят от контекста. (ScienceDirect)
В этой ситуации одного показателя – «получил диплом/сертификат» – становится недостаточно.
Образовательная система начинает измерять всё больше промежуточных показателей:
· оценки;
· результаты тестов;
· учебный прогресс;
· удержание обучающихся в программе;
· риск отчисления;
· вовлечённость;
· посещаемость;
· активность в системе управления обучением (LMS);
· компетенции;
· готовность к трудоустройству;
· удовлетворённость обучающихся;
· результаты выпускников после окончания обучения.
Все это выливается в постоянно растущий поток итоговых, промежуточных, срезовых тестирований, а с учетом растущей академической и профессиональной мобильности к локальным измерениям добавляются еще и международные – чтобы собирать данные, позволяющие оценивать «качество человеческого капитала» в связи со страной обучения.
Область аналитики обучения за последнее десятилетие резко расширилась; появились такие направления, как академическая аналитика, аналитика преподавания, институциональная аналитика, большие данные в образовании, наука о данных в образовании и множество других. (Wiley Interdisciplinary Reviews) В метаобзоре 2026 года показатели академического успеха уже распределялись между результатами обучения, удержанием и прогрессом, вовлечённостью и учебным поведением – причём сами исследования существенно расходились в том, что именно считать academic performance. (Springer Nature)
Получается тот же парадокс: Чем менее очевидной становится реальная связь образования с будущей жизнью, тем больше измерений создаётся, чтобы эту связь сделать управляемой.
И так рождается иллюзия ясности. Метрика, которая ровно в точке измерения является полезным посредником, оказывается никак не связана со сложным феноменом «хорошее образование», непосредственно измерить который невозможно.
Мы выбираем наблюдаемый признак – результаты экзамена. Дальше появляется возможность сравнения: у школы A – 82, у школы B – 76. Затем показатель становится основанием решения: финансировать, премировать, ранжировать, поступать, увольнять.
И здесь незаметно совершается критический переход. Теперь результат экзамена уже не просто сообщает что-то о качестве обучения. Он начинает управлять системой образования.
Возникает цепочка:
сложная реальность → выбираем наблюдаемый proxy → стандартизируем → сравниваем → связываем с ресурсами и статусом → участники начинают оптимизировать proxy → proxy меняет сам процесс → прежняя связь между показателем и реальностью ослабевает.
Поэтому метрики особенно опасны не тогда, когда они плохие. Наиболее интересная проблема возникает, когда метрика изначально была хорошей.

Что исчезает при переходе от реальности к показателю

Контекст
Любая метрика должна сделать несопоставимое сопоставимым. Чтобы сравнить школы, города или сотрудников, нужно отбросить часть их различий. Это не дефект измерения – это его условие. Но вместе с шумом неизбежно исчезает часть содержания.
Причинность
Метрика показывает, что произошло с показателем. Но значительно хуже отвечает на вопрос, почему это произошло.
Рост среднего балла может означать улучшение преподавания, изменение состава учащихся, натаскивание, изменение теста или стратегическое исключение слабых участников.
Одно число сохраняется. Причинные истории радикально различаются.
Невидимые качества
То, что легко измеряется, постепенно становится более реальным для системы, чем то, что измеряется плохо, но является сутью и ценностью деятельности.
Скорость ответа видна. Качество размышления – значительно хуже.
Количество публикаций видно. Значимость идеи – значительно хуже.
Число преступлений видно. Чувство безопасности – сложнее.
Профессиональное суждение
Когда показатель приобретает статус объективного факта, субъективное экспертное суждение начинает выглядеть недостаточно надёжным. Но именно человек часто способен увидеть исключение, контекст и неформализуемое различие, которых нет в модели.
Ответственность
Наконец, метрика позволяет заменить нравственный или профессиональный вопрос процедурным.
Не «Хорошо ли мы лечим людей?», а «Выполнили ли мы показатели?»
Не «Что происходит с детьми?», а «В зелёной ли зоне dashboard?»
И именно здесь средство наблюдения начинает становиться интерфейсом, защищающим нас от необходимости снова смотреть на саму реальность.

Четыре оптики, позволяющие увидеть проблему

1. Дональд Кэмпбелл: показатель портится именно тогда, когда становится важным
Кэмпбелл сформулировал свой принцип в контексте оценки социальных программ. Его аргумент заключался не в том, что количественные показатели плохи, а в том, что чем сильнее социальное решение зависит от конкретного количественного индикатора, тем больше давление, искажающее и сам показатель, и процессы, которые он должен контролировать. (ResearchGate)
Это принципиально.
Экзаменационный балл может быть хорошим индикатором знания, пока от него не начинает зависеть судьба школы.
Количество публикаций может что-то сообщать о научной активности, пока оно не становится критерием карьеры.
Количество закрытых тикетов может описывать работу службы поддержки, пока сотрудникам не начинают платить за их число.
Закон Кэмпбелла – это закон обратной связи между наблюдением и поведением.
2. Мэрилин Стратерн: аудит начинает жить собственной жизнью
В работе Improving Ratings: Audit in the British University System Стратерн анализировала распространение культуры аудита в университетах.
Её знаменитая формулировка: «Когда мера становится целью, она перестаёт быть хорошей мерой». (Гверн)
Сегодня эта формулировка часто выдается в открытых источниках за закон Гудхарта – поэтому уточню, что первоначальное наблюдение Гудхарта относилось к денежно-кредитной политике и звучало несколько иначе: статистическая закономерность рушится, когда на неё начинают воздействовать в целях управления. (PubMed Central (PMC))
Но у Стратерн есть более глубокий тезис.
Аудит не просто наблюдает организацию. Он создаёт новый культурный аппарат ожиданий и практик. В университете объектом оценки постепенно оказывается уже не образование как отношения преподавателя и студента, а институционально доказуемое обеспечение образования. По её формулировке, аудит приобретает собственную жизнь, способную угрожать жизни того, что он аудирует. (SciSpace)
Именно здесь появляется иллюзия ясности: мы перестаём спрашивать, что происходит, потому что система способна предъявить доказательство того, что всё происходит правильно.
3. Теодор Портер: числа нужны нам там, где мы больше не можем доверять непосредственному суждению
В Trust in Numbers Теодор Портер предложил неожиданное объяснение распространения количественных методов. Мы любим числа не просто потому, что они точнее. Количественная процедура становится особенно привлекательной там, где:
  • решение принимается на расстоянии;
  • участники друг друга не знают;
  • профессиональное суждение трудно проверить;
  • доверие ограничено;
  • необходимо публично обосновать решение.
Число становится технологией безличности и снижает нагрузку личной ответственности: оно позволяет показать, что решение принято не потому, что «я так считаю», а потому, что «данные это показывают». (Google Книги)
Отсюда можно сделать важный вывод.
Метрикизация – не просто следствие технического прогресса. Она является следствием увеличения социальной дистанции и сложности координации.
Чем меньше мы способны видеть ситуацию целиком и доверять суждению другого человека, тем сильнее нуждаемся в числе.
4. Венди Эспеланд и Майкл Саудер: измерение не описывает социальный мир – оно его переделывает
Исследуя рейтинги юридических школ США, Эспеланд и Саудер ввели центральное понятие reactivity. Люди и организации меняют поведение потому, что знают, как именно их измеряют.
Рейтинг поэтому не просто говорит, какая школа лучше. Он меняет решения абитуриентов, администрации, распределение ресурсов и практики самой школы.
Авторы выделяют два ключевых механизма:
Commensuration превращает качественно разные объекты в сопоставимые величины;
Self-fulfilling prophecy позволяет рейтингу постепенно производить ту иерархию, которую он якобы только обнаружил. (RCNi Company Limited)
Это, вероятно, самый важный переход: метрика – не зеркало реальности. Она является участником реальности.

Замкнутый круг метрикизации

сложность делает реальность плохо наблюдаемой
↓
(Портер) мы создаём числа, чтобы координировать действия без непосредственного знания и доверия
↓
(Стратерн) вокруг этих чисел возникает инфраструктура аудита
↓
(Кэмпбелл) высокая цена показателя создаёт давление на поведение
↓
(Эспеланд и Саудер) участники перестраивают деятельность под измерение
↓
показатель начинает производить ту реальность, которую должен был только наблюдать и фиксировать.
Именно поэтому словосочетание «data-driven» не гарантирует большей связи с реальностью.
Иногда оно означает прямо противоположное: мы настолько удалились от реальности, что взаимодействуем почти исключительно с её измерительным интерфейсом.

Не отказаться от измерений, а...

Вернуться к миру без показателей невозможно – и не нужно.
Без них мы действительно перестанем видеть экологические цепочки, мегаполисы, глобальные процессы и сложные образовательные траектории.
Задача противоположная: научиться пользоваться метрикой, не забывая, что она является интерфейсом к реальности, а не самой реальностью.
Для этого любое серьёзное измерение должно сопровождаться несколькими вопросами:
Что именно мы пытаемся увидеть?
Почему выбрали именно этот proxy?
Что он принципиально не видит?
Как поведение изменится, если связать с ним награду или наказание?
Какие важные качества станут невидимыми?
Когда показатель необходимо пересмотреть или отменить?
И где находится возможность снова посмотреть на сам феномен – без посредничества dashboard?
В первой статье этой серии я описывала, как человек перестал видеть эффект собственного труда и начал ориентироваться на показатели профессиональной успешности.
Здесь же мы обнаруживаем механизм более общего уровня: чем сложнее становится цивилизация, тем больше ей требуется интерфейсов, чтобы увидеть саму себя – но чем больше решений мы принимаем через эти интерфейсы, тем сильнее они начинают перестраивать то, что должны были лишь показывать.
Иллюзия ясности возникает в тот момент, когда хорошая приборная панель убеждает нас, что смотреть в окно больше не обязательно.
Go up