Игорь Бархатов
Игорь Бархатов - руководитель центра моделирования малого и микро бизнеса Сбербанка
- Полезная информация -

Почему банкам, использующим искусственный интеллект (AI) в принятии кредитного решения важно научиться его понимать. Как заставить AI объяснять отказ и какие алгоритмы для этого используются? Ответы на эти и другие вопросы в своей колонке дает Игорь Бархатов, руководитель центра моделирования малого и микро бизнеса Сбербанка.

Так получилось, что я занимаюсь разработкой модели искусственного интеллекта в кредитовании МСБ в Сбербанке. Мы небольшой компанией какой-то период времени используем AI в принятии решений и уже можем сказать, что «собаку съели», «шишку набили» и можем сделать какой-то вывод о том, как это вообще работает. Хочу рассказать о том, почему важно заставить искусственный интеллект объяснять отказ. Проблема достаточно большая, нужно его заставить вообще всё объяснять. Но если положительное решение, то никого не волнует почему его одобрили. Всех беспокоит почему отказ.

Представим, что клиент банка пошел за кредитом в банк. Пришел, заполнил заявку и отдал ее в «черный ящик» (см. слайд 1). И что там происходит никто не знает. Этот ящик на выходе дал оценку, к примеру, вероятность дефолта 50%. Разумеется, банк этому клиенту отказал. И теперь он грустный идет домой и не понимает почему ему отказали. А в банке сидит такой же кредитный менеджер и тоже не понимает почему клиенту отказали, и как сделать так, чтобы в следующий раз ему не отказать или вообще не рассматривать. Озадачилось как минимум два человека.

Слайд №1. Почему важно заставить AI объяснять клиенту отказ
Слайд №1. Почему важно заставить AI объяснять клиенту отказ

Кредитный менеджер идет к Data Scientist с просьбой объяснить ему, что происходит. Data Scientist ему отвечает, что все в порядке, не беспокойся, все правильно. Правильно, но непонятно. Получается так, что искусственный интеллект не отвечает нам на вопросы: почему это происходит и что с этим делать?

Слайд №2. Почему важно заставить AI объяснять клиенту отказ
Слайд №2. Почему важно заставить AI объяснять клиенту отказ

Как следствие возникает петля обратной связи. К примеру, более-менее крупная компания, не на уровне страны, а в своем сегменте, влияет на свое окружение. Соответственно, компания может дискриминировать какую-то группу людей искусственным интеллектом, не сознательно, без злого умысла. Просто «нейронка» решила, что вот эти люди «плохие». Не секрет же, что мужчины чуть хуже женщин. А молодые мужчины в среднем чуть хуже, чем мужчины средних лет. Предположим, что наша модель говорит, что молодые мужчины плохие и кредиты мы им давать не будем. Из-за этого они не могут получить платное образование, переехать в более благоприятный район и найти хорошую работу. Поэтому предсказания, которые AI делает, они начинают сбываться, и через несколько лет эти люди не получают работу и т.д. В дальнейшем, когда они приходят в банк, им уже по объективным причинам не дают кредит, потому что у них нет работы. А работы у них нет, в том числе и потому, что два года назад им не дали кредит на обучение.

ЧИТАЙТЕ ТАКЖЕ:  Сбербанк предложил предпринимателям облачный сервис подписания платежей
Слайд №3. Почему важно заставить AI объяснять клиенту отказ
Слайд №3. Почему важно заставить AI объяснять клиенту отказ

Trade-off здесь находится между точностью и интерпретируемостью. С точки зрения банка, точность – это деньги. Очень линейная зависимость: выдали неправильно – деньги потеряли, выдали правильно – заработали. Казалось бы, давайте строить точные модели и тогда интерпретируемость нам будет не нужна. Но на самом деле интерпретируемость нам нужна. Она нам нужна для оптимизации модельного процесса. Мы должны понимать, что происходит, мы должны как-то управлять AI. Должны понять, как поднять approval rate, что-то еще поменять. Модель сама с этим не справится.

Слайд №4. Почему важно заставить AI объяснять клиенту отказ
Слайд №4. Почему важно заставить AI объяснять клиенту отказ

Нам нужно понимать, что делает AI, чтобы научиться его контролировать. Поставлять ему нужные данные, чтобы в определенный момент времени он не перестал работать. Плюс мы формируем доверие вокруг себя, когда мы сами и клиент понимаем что происходит. И в случае понимания, мы можем это измерить и удовлетворить требование регулятора. Получается, что интерпретируемость нам нужна, даже если это AI, нейронки или еще что-то. Для реализации есть специальные алгоритмы. Расскажу несколько самых популярных примеров, как это делаем мы и другие Data Science команды.

Простая интерпретируемая модель

Lime (Local Interpretable Model-Agnostic Explanations)
Слайд №5. Lime (Local Interpretable Model-Agnostic Explanations)

Рассмотрим Lime (Local Interpretable Model-Agnostic Explanations). Логика такая: мы строим сложную модель и она очень точная, но мы не понимаем, что там происходит. И этим подходом мы строим рядом простую лог регрессию или небольшое дерево, которое можем понять. Или строим несколько маленьких простых моделей, чтобы понять, что происходит. В решении применяются сложные модели, а нам для понимания несколько простых. Это строительство простой интерпретируемой модели рядом.

График важности признаков

Слайд №6. Feature Importance Plot
Слайд №6. Feature Importance Plot

Часто Data Scientist’ы еще строят график Feature Importance Plot (график важности признаков). Он показывает важность «фичей», которые применяются при принятии решений. Самая важная «фича» наверху, чем важнее – тем выше. В целом понятно, что «фичи» важны, но непонятно, как они влияют. А чтобы понять как они влияют, можно рассмотреть пример:

Слайд №7
Слайд №7

Разберемся на одном конкретном случае (см. слайд 7). Есть «черный ящик», который непонятно что делает. И есть базовый уровень 10% (Base rate = 10%) на портфель. Логика такая, если мы подадим туда среднего клиента, то он так и выдаст. Подаем первую «фичу», и наша оценка чуть ухудшается. Подаем вторую – еще ухудшилась. Подали третью – отъехала обратно. И мы последовательно в алгоритм подаем каждую «фичу» и каждая из них влияет на итоговый результат. И на выходе мы получаем 0,4 (Output = 0,4). Теперь мы можем декомпозировать по каждой «фиче», почему так произошло.

График частичной зависимости

Слайд №8. Partial Dependence Plot
Слайд №8. Partial Dependence Plot

Иногда мы используем график Partial Dependence Plot (График частичной зависимости). Если все это делать, то в целом можно понять, как работают неинтерпретируемые алгоритмы. И получается так, что если мы банк, мы можем делать точные модели, использовать нейронки и прочее, интерпретировать их с помощью упомянутых методов. Но есть еще регулятор, который может запретить использовать нейронки.

ЧИТАЙТЕ ТАКЖЕ:  «СберМаркетинг» запустил для бизнеса MRM - сервис для управления маркетинговыми проектами

В Европе есть General Data Protection Regulation (GDPR), регламент Европейского банка, который регулирует защиту персональных данных. И в том числе там есть один пункт, который говорит, что если вы используете нейронки на какие-то неинтерпретируемые алгоритмы при принятии решений против гражданина Евросоюза, по его запросу ему должны объяснить, почему было так сделано. К примеру, если ему порекомендовали какую-то музыку, она ему не понравилась и он попросил объяснить почему была такая рекомендация, то ему нужно объяснить почему. Или ему отказали, и он спросил о причине отказа. Нужно уметь объяснять. Но это европейское законодательство, в России такого пока нет. И в 2019 году Банк Англии выпустил свой внутренний документ, который регламентировал использование неинтерпретируемых методов при оценке кредитных рисков. То есть, в Англии уже можно, наверное у нас тоже скоро будет можно. Будем использовать.

Weapons of Math Destruction

Слайд №9. Weapons of Math Destruction
Слайд №9. Weapons of Math Destruction

Также хотел бы порекомендовать книжку «Weapons of Math Destruction», автор Кэти О’Нил (Cathy O’neil). В этой книге рассказывается о дискриминации и социальном неравенстве в тех случаях, когда используются модели неинтерпретируемые, как искусственный интеллект. К примеру, один из описанных в книге случаев, когда в Нью-Йорке в департаменте образования начали ранжировать учителей по качеству и нижнюю часть увольнять. Казалось бы, что для департамента образования это нормально, отсортировать учителей и нижнюю часть заменить. Но по отношению к конкретному преподавателю – это непонятно. Потому что преподаватель не понимал, что нужно делать, чтобы поднять этот рейтинг. Модель неинтерпретируемая и люди по итогу увольнялись вообще не понимая почему.

Подводя черту хочется сказать, что мы уже какое-то время в Сбербанке используем AI в принятии кредитного решения. И мы понимаем, что нам нужно понимать какое решение и на основании чего он принимает. В последнее время мы довольно много инвестируем в исследования Explainable AI, чтобы контролировать этот процесс.

Полное видео выступления Игоря Бархатова:

Отметим, что еще в марте 2020 года в Сбербанке заявили, что каждый четвертый кредит малому бизнесу выдается с помощью искусственного интеллекта.

Напомним, 24 сентября в рамках ребрендинга Сбера корпоративный интернет-банкинг «Сбербанк Бизнес Онлайн» получил новое название СберБизнес. О том, как развивался интернет-банк для предпринимателей и на чём сейчас строится платформа Сбера для развития и ведения бизнеса, SME Banking Club поговорил с Анной Лоевской, директором дивизиона «Цифровой корпоративный банк», отвечающей за этот продукт.

Это эксклюзивный материал SME Banking Club. При полном либо частичном копировании ссылка на SME Banking Club обязательна.

Оставить комментарий
Читайте новости SME Banking Club в своем любимом месседжере или соцсети: TelegramWhatsApp или Facebook.