← Основной отчет
Регрессионный анализ: воспроизводят ли LLM психологические механизмы?
Приложение к отчету LLM-репликации эксперимента "Ключевая ставка ЦБ"
1. Общий регрессионный анализ
Предыдущие разделы отчета сравнивали средние значения ответов. Здесь мы проверяем более сильную гипотезу: воспроизводят ли LLM-агенты не только средние, но и связь между индивидуальными психологическими характеристиками и инвестиционными решениями. Для каждого из 11 пунктов q032 построены три OLS-регрессии (Real, Concordia, AS) с одинаковыми предикторами: финансовая тревожность (finanx), горизонт планирования (q014), воспринимаемый контроль (perceived_control). Все предикторы стандартизированы (z-score). N = 243 респонденты с пропусками в предикторах исключены.
Тепловая карта стандартизированных коэффициентов
Real
| FinAnx | Plan | Control |
|---|
| Вклад | +0.31* | -0.24* | +0.35* |
| Покупки | +0.10 | +0.14 | +0.22* |
| Акции | -0.14 | +0.04 | +0.05 |
| Облигации | -0.11 | -0.10 | +0.09 |
| Золото | -0.02 | +0.05 | -0.00 |
| Валюта | +0.17 | +0.17 | +0.01 |
| Крипто | -0.09 | +0.20* | +0.02 |
| ПИФ | -0.21* | +0.11 | -0.00 |
| Жилая | +0.19 | +0.05 | +0.19 |
| Комм. | -0.02 | +0.11 | +0.18 |
| Дело | +0.10 | +0.13 | +0.33* |
Concordia
| FinAnx | Plan | Control |
|---|
| Вклад | +0.05 | +0.11* | -0.05 |
| Покупки | -0.08 | -0.00 | -0.00 |
| Акции | -0.26* | -0.21* | +0.14* |
| Облигации | -0.23* | -0.40* | +0.16* |
| Золото | +0.15* | -0.14* | +0.04 |
| Валюта | +0.44* | +0.11 | -0.02 |
| Крипто | -0.02 | +0.01 | +0.07* |
| ПИФ | -0.26* | -0.13* | +0.13* |
| Жилая | -0.01 | -0.28* | +0.19* |
| Комм. | -0.07 | -0.25* | +0.17* |
| Дело | -0.20* | -0.20* | +0.32* |
AS
| FinAnx | Plan | Control |
|---|
| Вклад | -0.01 | +0.05 | +0.03 |
| Покупки | -0.05 | -0.02 | +0.05 |
| Акции | -0.04 | +0.03 | +0.06 |
| Облигации | -0.03 | +0.04 | +0.05 |
| Золото | +0.01 | +0.09* | +0.01 |
| Валюта | +0.05 | -0.02 | +0.02 |
| Крипто | -0.02 | -0.01 | +0.03 |
| ПИФ | -0.03 | -0.03 | -0.01 |
| Жилая | -0.04 | +0.01 | +0.03 |
| Комм. | -0.02 | +0.06 | +0.01 |
| Дело | +0.01 | -0.03 | -0.00 |
Стандартизированные бета-коэффициенты OLS. * = p < .05. Красный -- положительная связь, синий -- отрицательная. FinAnx -- финансовая тревожность, Plan -- горизонт планирования, Control -- воспринимаемый контроль.
| Значимых (p < .05) | Средний |β| | Средний R² |
|---|
| Real | 7 / 33 | 0.130 | 0.027 |
| Concordia | 21 / 33 | 0.149 | 0.115 |
| AS | 1 / 33 | 0.030 | 0.013 |
Интерпретация
Реальные данные: 7 из 33 коэффициентов значимы. Паттерны психологически валидны: финансовая тревога увеличивает желание оставить деньги на вкладе (β = +0.31) и снижает интерес к ПИФам (β = -0.21); воспринимаемый контроль увеличивает готовность вложить в своё дело (β = +0.33). R² = 0.027 -- ожидаемо для 3 предикторов из 843 переменных датасета.
Concordia: 21 из 33 значимых. Модель "переигрывает": слишком старательно выводит ответы из профиля. R² = 0.115, в 4 раза выше реального. Часть направлений совпадает (контроль → своё дело: β = +0.32 vs +0.33 реальных), но появляются несуществующие связи -- например, горизонт планирования значим для 8 из 11 пунктов, тогда как у реальных людей -- только для 2.
AgentSociety: 1 из 33 значимых. Модель фактически игнорирует индивидуальные характеристики профиля. Все β близки к нулю (средний |β| = 0.030). Подтверждает collapse to the mean: агенты дают практически одинаковые ответы независимо от профиля.
2. Модерация стимулом: регрессии по экспериментальным условиям
Проверяем, меняется ли чувствительность к предикторам в зависимости от стимула (стабильная ставка / повышение / снижение) и воспроизводит ли Concordia эту модерацию. N ~ 80-85 на группу.
Тепловые карты по условиям
Real
Стабильная (n=85)
| FinAnx | Plan | Ctrl |
|---|
| Вклад | +0.38* | -0.20 | +0.23 |
| Покупки | -0.09 | +0.11 | -0.24 |
| Акции | -0.37* | -0.24 | -0.15 |
| Облигации | -0.29 | -0.31 | -0.24 |
| Золото | -0.42* | +0.01 | -0.12 |
| Валюта | +0.13 | -0.06 | +0.02 |
| Крипто | -0.19 | +0.04 | +0.01 |
| ПИФ | -0.41* | -0.08 | -0.15 |
| Жилая | -0.07 | +0.23 | -0.00 |
| Комм. | -0.30 | +0.13 | +0.15 |
| Дело | -0.39* | +0.24 | -0.06 |
Повышение (n=82)
| FinAnx | Plan | Ctrl |
|---|
| Вклад | +0.06 | -0.43* | +0.29 |
| Покупки | -0.01 | +0.36* | +0.67* |
| Акции | -0.07 | +0.17 | +0.41* |
| Облигации | -0.11 | +0.00 | +0.38* |
| Золото | +0.41* | +0.21 | +0.08 |
| Валюта | +0.36 | +0.50* | +0.06 |
| Крипто | +0.10 | +0.23 | -0.04 |
| ПИФ | -0.22 | +0.17 | +0.14 |
| Жилая | +0.39 | +0.08 | +0.16 |
| Комм. | +0.09 | +0.21 | +0.07 |
| Дело | +0.32 | +0.18 | +0.53* |
Снижение (n=83)
| FinAnx | Plan | Ctrl |
|---|
| Вклад | +0.42* | -0.14 | +0.67* |
| Покупки | +0.27 | +0.04 | +0.32 |
| Акции | -0.06 | +0.38 | -0.13 |
| Облигации | -0.02 | +0.16 | +0.20 |
| Золото | +0.06 | +0.09 | -0.12 |
| Валюта | +0.12 | +0.20 | -0.02 |
| Крипто | -0.13 | +0.45* | +0.05 |
| ПИФ | -0.04 | +0.33 | +0.03 |
| Жилая | +0.36 | -0.21 | +0.38 |
| Комм. | +0.29 | -0.03 | +0.34 |
| Дело | +0.40* | +0.05 | +0.51* |
Concordia
Стабильная (n=85)
| FinAnx | Plan | Ctrl |
|---|
| Вклад | -0.06 | +0.15* | -0.11 |
| Покупки | -0.05 | -0.10* | +0.05 |
| Акции | -0.23* | -0.29* | +0.12 |
| Облигации | -0.27* | -0.43* | +0.10 |
| Золото | -0.01 | -0.26* | +0.07 |
| Валюта | +0.33* | +0.02 | -0.08 |
| Крипто | -0.07 | +0.01 | +0.06 |
| ПИФ | -0.34* | -0.15 | +0.13 |
| Жилая | -0.14* | -0.21* | +0.08 |
| Комм. | -0.14* | -0.23* | +0.11 |
| Дело | -0.26 | -0.12 | +0.32* |
Повышение (n=82)
| FinAnx | Plan | Ctrl |
|---|
| Вклад | -0.04 | +0.10 | +0.12 |
| Покупки | -0.16* | +0.04 | -0.00 |
| Акции | -0.11 | -0.06 | +0.10 |
| Облигации | -0.05 | -0.31* | +0.12 |
| Золото | +0.33* | -0.14 | +0.01 |
| Валюта | +0.41* | +0.24 | +0.14 |
| Крипто | -0.04 | +0.01 | +0.07 |
| ПИФ | -0.10 | -0.05 | +0.08 |
| Жилая | +0.08 | -0.13 | +0.18 |
| Комм. | +0.05 | -0.16 | +0.10 |
| Дело | +0.17 | -0.29 | +0.18 |
Снижение (n=83)
| FinAnx | Plan | Ctrl |
|---|
| Вклад | +0.16 | +0.16 | -0.19 |
| Покупки | +0.01 | -0.02 | -0.02 |
| Акции | -0.31* | -0.33* | +0.22 |
| Облигации | -0.27* | -0.45* | +0.24 |
| Золото | +0.18 | +0.04 | -0.03 |
| Валюта | +0.50* | +0.22 | -0.16 |
| Крипто | +0.06 | +0.01 | +0.10 |
| ПИФ | -0.23 | -0.26* | +0.19 |
| Жилая | +0.12 | -0.54* | +0.32* |
| Комм. | -0.03 | -0.41* | +0.30* |
| Дело | -0.37* | -0.23 | +0.37 |
AgentSociety
Стабильная (n=85)
| FinAnx | Plan | Ctrl |
|---|
| Вклад | +0.08 | +0.04 | +0.06 |
| Покупки | -0.01 | -0.09 | +0.04 |
| Акции | -0.01 | +0.01 | +0.06 |
| Облигации | -0.00 | -0.04 | +0.06 |
| Золото | +0.07 | +0.10 | +0.01 |
| Валюта | -0.02 | +0.05 | +0.01 |
| Крипто | -0.08* | -0.03 | -0.03 |
| ПИФ | -0.01 | -0.09 | -0.01 |
| Жилая | -0.01 | +0.03 | +0.10 |
| Комм. | +0.06 | +0.11 | +0.03 |
| Дело | -0.00 | +0.02 | -0.14* |
Повышение (n=82)
| FinAnx | Plan | Ctrl |
|---|
| Вклад | -0.07 | +0.06 | +0.08 |
| Покупки | -0.07 | +0.05 | +0.08 |
| Акции | +0.00 | +0.06 | +0.01 |
| Облигации | -0.07 | +0.12 | +0.07 |
| Золото | -0.01 | +0.08 | +0.00 |
| Валюта | -0.02 | -0.11 | -0.02 |
| Крипто | +0.07 | +0.06 | +0.06 |
| ПИФ | +0.01 | +0.06 | -0.04 |
| Жилая | -0.02 | -0.01 | -0.02 |
| Комм. | -0.15* | +0.05 | +0.06 |
| Дело | +0.02 | -0.10 | +0.03 |
Снижение (n=83)
| FinAnx | Plan | Ctrl |
|---|
| Вклад | -0.06 | +0.04 | -0.02 |
| Покупки | -0.05 | -0.01 | +0.06 |
| Акции | -0.06 | -0.02 | +0.13* |
| Облигации | +0.03 | -0.01 | +0.05 |
| Золото | +0.02 | +0.05 | +0.08 |
| Валюта | +0.11 | +0.04 | +0.04 |
| Крипто | +0.01 | -0.04 | +0.07* |
| ПИФ | -0.03 | -0.08 | +0.06 |
| Жилая | +0.02 | -0.10 | +0.09 |
| Комм. | +0.08 | -0.04 | +0.14* |
| Дело | -0.01 | -0.06 | +0.15 |
Стандартизированные бета-коэффициенты. * = p < .05. N ~ 80-85 на группу. Предикторы стандартизированы по всей выборке до исключения пропусков.
Сводка: значимых из 33, средний |β|
| Real | Concordia | AS |
|---|
| Условие | Значимых | |β| | Значимых | |β| | Значимых | |β| |
|---|
| Стабильная | 5/33 | 0.183 | 14/33 | 0.153 | 2/33 | 0.046 |
| Повышение | 8/33 | 0.228 | 4/33 | 0.127 | 1/33 | 0.052 |
| Снижение | 5/33 | 0.212 | 11/33 | 0.214 | 3/33 | 0.056 |
Воспроизведение кросс-условийных изменений
Для каждого предиктора проверяем: меняется ли β между условиями в реальных данных, и воспроизводит ли Concordia направление этого изменения (Δ = βусловие - βстабильная).
| Предиктор | Совпадение направления | Несовпадение | Неопределенные | Match rate |
|---|
| Финансовая тревога | 14 | 3 | 5 | 82% |
| Горизонт планирования | 14 | 3 | 5 | 82% |
| Воспринимаемый контроль | 6 | 5 | 11 | 55% |
Интерпретация
Concordia воспроизводит направление изменения β между условиями с точностью 82% для финансовой тревоги и горизонта планирования. Для воспринимаемого контроля точность падает до 55% -- по сути случайный уровень.
AS по-прежнему плоский: 1-3 значимых из 33 в каждом условии, средний |β| = 0.05.
Содержательный пример из реальных данных: при повышении ставки воспринимаемый контроль резко усиливает готовность к покупкам (β = +0.67) и инвестициям в своё дело (β = +0.53). Люди с высоким контролем видят в повышении ставки возможность, а не угрозу. Concordia этот паттерн практически не воспроизводит: в условии повышения ставки связь контроля с решениями у агентов близка к нулю (покупки: β = -0.00, дело: β = +0.18). Единственное значимое совпадение в условии повышения: финансовая тревога → золото (β = +0.33 у Concordia vs +0.41 в реальных данных).
3. Выводы
- Concordia воспроизводит направление связей между предикторами и решениями, но завышает их силу (21/33 значимых vs 7/33 реальных). Модель R² в 4 раза выше реального.
- AgentSociety не воспроизводит индивидуальную структуру (1/33 значимых, средний |β| = 0.030).
- Concordia воспроизводит модерацию стимулом с точностью 82% для финансовой тревоги и горизонта планирования.
- Ни одна платформа пока не даёт реалистичных регрессионных весов: Concordia завышает, AS обнуляет.
4. Ограничения
- Три предиктора из 843 переменных датасета. Регрессионный анализ охватывает малую долю доступной информации.
- Временная перспектива (ZTPI) и долгосрочная ориентация (LTO) в профили агентов не вошли. Для их оценки нужен дополнительный прогон с расширенными профилями.
- N ~ 83 на группу в разрезе условий: статистическая мощность ограничена, особенно для обнаружения взаимодействий.
- Одна LLM (DeepSeek-V3). Результаты могут отличаться на других моделях.
- Текущие профили сгенерированы общими формулировками (например, "испытывает умеренную тревогу"). Более точечная подача числовых характеристик в промпте может изменить результат.