Um Guia Abrangente para o Cálculo de WoE e IV.

Essas métricas são amplamente reconhecidas por sua capacidade de distinguir entre indivíduos dignos de crédito e não dignos de crédito. Ao longo de nossa jornada para entender esses cálculos, frequentemente nos deparamos com os familiares rótulos de “bons” e “maus”. Nesse contexto, os “maus clientes” são aqueles que não pagaram suas dívidas, enquanto os “bons clientes” são aqueles que cumpriram suas obrigações e quitaram o empréstimo.

Para clarificar esses conceitos, vamos extrair insights do conjunto de dados da competição Titanic do Kaggle, examinando especificamente as informações de sobrevivência segregadas por gênero. Nosso objetivo é desmistificar os cálculos de IV e WoE, tornando-os mais acessíveis e tangíveis. Utilizaremos os dados fornecidos na tabela abaixo como base.

Segmento	# $https://latex.codecogs.com/svg.image?\small target_{0}$	# $https://latex.codecogs.com/svg.image?\small target_{1}$
female	81	233
male	468	109
Total	549	342

Percentual do rótulo no segmento de estudo:

O que é comumente chamado de ‘bom’ é o $https://latex.codecogs.com/svg.image?\small target_{0}$ .

$https://latex.codecogs.com/svg.image?\small % target_{0, sector_i} = \frac{ target_{0, sector_i}}{ target_{0}}$

Vamos considerar o setor escolhido como feminino.

Para este problema:

$https://latex.codecogs.com/svg.image?\small % survived_{0, female } = \frac{ survived_{0, female}}{ survived_{0}} =\frac{81}{81+468} \approx 0.147541$

O que é tipicamente descrito como ‘mau’ é o $https://latex.codecogs.com/svg.image?\small target_{1}$ .

$https://latex.codecogs.com/svg.image?\small % target_{1, sector_i} = \frac{ target_{1, sector_i}}{ target_{1}}$

Para este problema, no segmento feminino:

$https://latex.codecogs.com/svg.image?\small % survived_{1, female} = \frac{ survived_{1, female}}{ survived_{1} } = \frac{233}{233+109} \approx 0.681287$

Segmento	# $https://latex.codecogs.com/svg.image?\small target_{0}$	# $https://latex.codecogs.com/svg.image?target_{1}$	% $https://latex.codecogs.com/svg.image?\small target_{0}$	% $https://latex.codecogs.com/svg.image?target_{1}$
female	81	233	$https://latex.codecogs.com/svg.image?\tiny \frac{81}{594}$	$https://latex.codecogs.com/svg.image?\tiny \frac{233}{342}$
male	468	109	$https://latex.codecogs.com/svg.image?\tiny \frac{468}{594}$	$https://latex.codecogs.com/svg.image?\tiny \frac{109}{342}$
Total	549	342	1	1

Percentual da população no segmento de estudo:

O Percentual da População no segmento de estudo é uma medida que indica a proporção da população total representada por um setor específico:

$https://latex.codecogs.com/svg.image?\small % population_{sector_i} = \frac{ population_{sector_i}}{ population}$

Vamos calcular o percentual da população para o segmento escolhido, que é o feminino neste caso:

$https://latex.codecogs.com/svg.image?\small % population_{female} = \frac{ population_{female}}{ population } = \frac{81 + 233}{81 + 233 + 468 +109} \approx 0.352413$

Agora, vamos à tabela que apresenta as estatísticas:

Segmento	# $https://latex.codecogs.com/svg.image?\small target_{0}$	# $https://latex.codecogs.com/svg.image?target_{1}$	% $https://latex.codecogs.com/svg.image?\small target_{0}$	% $https://latex.codecogs.com/svg.image?target_{1}$	% População
female	81	233	0.15	0.68	$https://latex.codecogs.com/svg.image?\tiny \frac{314}{891}$
male	468	109	0.85	0.32	$https://latex.codecogs.com/svg.image?\tiny \frac{577}{891}$
Total	549	342	1	1

Essa medida nos fornece informações valiosas sobre a representação do setor de estudo dentro da população geral. Compreender essa distribuição é crucial para realizar uma análise abrangente dos resultados e tirar conclusões significativas a partir dos dados.

Distribuição dos rótulos dentro de cada segmento (Distr):

A distribuição para o setor ‘i’ pode ser calculada como a proporção do segmento em estudo com rótulo de não ocorrências em relação à proporção do setor ‘i’ nos com rótulo de ocorrências:

$https://latex.codecogs.com/svg.image?\small Distr_{sector_i} = \frac{ % target_{0, sector_i}}{ % target_{1, sector_i}}$

Da mesma forma, a divisão das distribuições para a categoria feminina pode ser calculada como a porcentagem de mulheres entre os falecidos em comparação com a porcentagem de mulheres entre os sobreviventes:

$https://latex.codecogs.com/svg.image?\small Distr_{female} = \frac{ % survived_{0, female}}{ % survived_{1, female }} = \frac{ \frac{81}{81+468}}{ \frac{233}{233+109} } \approx 0.216562$

Segmento	# $https://latex.codecogs.com/svg.image?\small target_{0}$	# $https://latex.codecogs.com/svg.image?target_{1}$	% $https://latex.codecogs.com/svg.image?\small target_{0}$	% $https://latex.codecogs.com/svg.image?target_{1}$	% Population	Distr
female	81	233	0.15	0.68	0.35	$https://latex.codecogs.com/svg.image?\tiny \frac{0.15}{0.68}$
male	468	109	0.85	0.32	0.65	$https://latex.codecogs.com/svg.image?\tiny \frac{0.85}{0.32}$
Total	549	342	1	1	1

Peso da Evidência (WoE):

Ele pode ser calculado usando o logaritmo natural da ‘Distr’ para cada setor:

$https://latex.codecogs.com/svg.image?\small WoE_{sector_i} = ln\left ( Distr_{sector_i} \right )$

Vamos considerar o segmento feminino como exemplo:

$https://latex.codecogs.com/svg.image?\small WoE_{female} = ln\left ( Distr_{female} \right ) \approx -1.529877$

Agora, vamos examinar a tabela que apresenta as estatísticas:

Segmento	# $https://latex.codecogs.com/svg.image?\small target_{0}$	# $https://latex.codecogs.com/svg.image?target_{1}$	% $https://latex.codecogs.com/svg.image?\small target_{0}$	% $https://latex.codecogs.com/svg.image?target_{1}$	% Population	Distr	WoE
female	81	233	0.15	0.68	0.35	0.22	ln(0.22)
male	468	109	0.85	0.32	0.65	2.67	ln(2.67)
Total	549	342	1	1	1

Ao analisar os valores de WoE, podemos obter insights sobre a natureza discriminante das variáveis na previsão do resultado desejado.

Valor da Informação (IV):

Ele pode ser calculado usando a seguinte fórmula:

$https://latex.codecogs.com/svg.image?\small IV_{sector_i} = WoE_{sector_i} \times (% target_{0, sector_i} - % target_{1, sector_i} )$

Vamos considerar o segmento feminino como exemplo:

$https://latex.codecogs.com/svg.image?\small IV_{female} = WoE_{female} \times (\% survived_{0, female} - \% survived_{1, female} ) = -1.529877 \times (0.147541 - 0.681287 ) \approx 0.816565$

Segmento	# $https://latex.codecogs.com/svg.image?\small target_{0}$	# $https://latex.codecogs.com/svg.image?target_{1}$	% $https://latex.codecogs.com/svg.image?\small target_{0}$	% $https://latex.codecogs.com/svg.image?target_{1}$	% Population	Distr	WoE	IV
female	81	233	0.15	0.68	0.35	0.22	-1.53	$https://latex.codecogs.com/svg.image?\tiny -1.53 \times (0.68-0.15 )$
male	468	109	0.85	0.32	0.65	2.67	0.98	$https://latex.codecogs.com/svg.image?\tiny 0.98 \times (0.32-0.85 )$
Total	549	342	1	1	1

Se você tiver interesse em verificar a classificação dos valores de IV, você pode encontrá-la neste link.

A tabela com todas as métricas calculadas é a seguinte:

Sector	# $https://latex.codecogs.com/svg.image?\small target_{0}$	# $https://latex.codecogs.com/svg.image?target_{1}$	% $https://latex.codecogs.com/svg.image?\small target_{0}$	% $https://latex.codecogs.com/svg.image?target_{1}$	% Population	Distr	WoE	IV
female	81	233	0.15	0.68	0.35	0.22	-1.53	0.82
male	468	109	0.85	0.32	0.65	2.67	0.98	0.53
Total	549	342	1	1	1			1.35

Para facilitar o entendimento de WoE e IV, eu preparei um artigo informativo que explica esses conceitos de forma detalhada. Você pode acessá-lo aqui. O objetivo desse post é fornecer uma explicação completa e esclarecer as nuances dessas métricas.

Além disso, se você precisa fazer esses cálculos usando Python, criei outro post com as fórmulas correspondentes. Você pode conferir esse recurso neste link. Com ele, você poderá realizar os cálculos de forma eficiente.

Para obter suporte adicional, compilei diversos materiais complementares no meu GitHub sobre esse tema. Esses recursos estão disponíveis no repositório de materiais de suporte e foram criados para ajudar você a entender melhor e aplicar na prática os cálculos de IV e WoE.

Se tiver mais alguma dúvida ou precisar de mais informações, estou aqui para ajudar!

Referências:

Anderson, Raymond. The Credit Scoring Toolkit: Theory and Practice for Retail Credit Risk Management and Decision Automation. Oxford University Press, 2007.
Siddiqi, Naeem. Credit Risk Scorecards: Developing and Implementing Intelligent Credit Scoring. Wiley, 2006.
Sudarson Mothilal Thoppay (2015). woe: Computes Weight of Evidence and Information Values. R package version 0.2. https://CRAN.R-project.org/package=woe
Thilo Eichenberg (2018). woeBinning: Supervised Weight of Evidence Binning of Numeric Variables and Factors. R package version 0.1.6. https://CRAN.R-project.org/package=woeBinning

Dominando a Regressão Logística: Um Guia Abrangente para o Cálculo de WoE e IV.