Projet 7 - Effectuez une prédiction de revenus

▪ Mission 4.1. : ANOVA et régression linéaire à 2 variables explicatives

Table des matières

• • paramètres
• 1. ANOVA à 1 facteur : le pays
  • 1.1. Cadre d'analyse : le modèle linéaire
    • 1.1.1. Représentation graphique
    • 1.1.2. Apport théorique
    • 1.1.3. Réalisation de l'ANOVA
    • 1.1.4. Conditions d'application de l'ANOVA
      • Test de normalité
      • Test d'homoscdédasticité
  • 1.2. Cadre d'analyse : le modèle logarithmique
    • 1.2.1. Performance du modèle
    • 1.2.2. Conditions d'application de l'ANOVA
      • Test de normalité
      • Test d'homoscdédasticité
• 2. Régression linéaire avec 2 variables explicatives : le revenu moyen du pays et l'indice de Gini
  • 2.1. Choix du modèle : linéaire ou logarithmique
    • 2.1.1. Modèle linéaire
      • Test global du modèle : Test de Fischer
      • Etude de la significativité des variables explicatives : Test de Student
    • 2.1.2. Utilisation des logarithmes
      • Test global du modèle : Test de Fischer
        
      • Etude de la significativité des variables explicatives : Test de Student
        
      • Part de la variance expliquée par le modèle : coefficient de détermination R²
        
  • 2.2. Analyses complémentaires : étude des valeurs atypiques et influentes
    • 2.2.1. Détection des valeurs atypiques
      • a) Analyse de l'atypicité des observations sur les variables explicatives : le levier
      • b) Analyse de l'atypicité des observations sur la variable à expliquer : le résidu studentisé
      • c) Détection des valeurs influentes
      • d) Synthèse de détection des outliers
      • e) Traitement des outliers
  • 2.3. Vérification des hypothèses d'un modèle de régression linéaire
    • 2.3.1. Modèle logarithmique avant traitement des outliers
      • Condition de linéarité : relation linéaire entre la varaible cible et les variables explicatives
      • Absence de colinéarité entre les variables explicatives
      • Normalité des distributions
      • Homoscédasticité des résidus
    • 2.3.2. Modèle logarithmique après traitement des outliers

paramètres

import warnings

def fxn():
    warnings.warn("deprecated", DeprecationWarning)

with warnings.catch_warnings():
    warnings.simplefilter("ignore")
    fxn()
    # importations de modules "local"
    import sys
    sys.path.append('functions/')
    import base_notebook_light
    import css_base_light
    import fonctions_perso
    import css_regression
    import fonction_regression_lineaire

# import des librairies et des paramètres 
from base_notebook_light import *
from css_base_light import *
from css_regression import *

# style pour les graphiques
plt.style.use('seaborn-notebook')

# repère de début de traitement pour calculer le temps tital d'exécution du notebook
start_time_m4 = time.time()

# import des données
dcf = pd.read_csv("data/exports/dc_anova.csv")
dcf.shape

(5750000, 11)

• Préparation des données

dcf = dcf[['code_pays', 'pays', 'pop', 'Gj', 'gdp', 'income_avg', 'y_child', 'pj', 'c_i_parent']]
dcf.columns = ['code_pays', 'pays', 'pop', 'gini', 'gdp', 'y_child_avg', 'y_child', 'elas', 'c_i_parent']
dcf.sample(2)

	code_pays	pays	pop	gini	gdp	y_child_avg	y_child	elas	c_i_parent
2157539	HUN	Hongrie	9991867.0	0.2741	18004.0	6101.341229	3279.2130	0.400000	5.0
1201982	CZE	République Tchèque	10425266.0	0.2529	23223.0	8235.293411	3067.3618	0.434041	80.0

dcf['ln_y_child'] = np.log(dcf['y_child'])
dcf['ln_y_child_avg'] = np.log(dcf['y_child_avg'])
dcf.sample(2)

	code_pays	pays	pop	gini	gdp	y_child_avg	y_child	elas	c_i_parent	ln_y_child	ln_y_child_avg
5244595	TUR	Turquie	70418604.0	0.4220	11904.0	6050.465331	11233.96100	0.5	40.0	9.326697	8.707890
2956745	LAO	République Démocratique Populaire Lao	6046620.0	0.3542	1960.0	1003.407353	450.35175	0.5	29.0	6.110029	6.911157

dcf['pop'] = dcf['pop'].apply(lambda x: int(x))
dcf['pop'] = dcf['pop'].apply(lambda x: "{:,}".format(x).replace(",", " "))
dcf['gdp'] = dcf['gdp'].apply(lambda x: round(x,2))
dcf['y_child'] = dcf['y_child'].apply(lambda x: round(x,2))
dcf['y_child_avg'] = dcf['y_child_avg'].apply(lambda x: round(x,2))
dcf['elas'] = dcf['elas'].apply(lambda x: round(x,2))
dcf['c_i_parent'] = dcf['c_i_parent'].apply(lambda x: int(x))
dcf.sample(2)

	code_pays	pays	pop	gini	gdp	y_child_avg	y_child	elas	c_i_parent	ln_y_child	ln_y_child_avg
2353237	IRN	République Islamique d'Iran	72 120 604	0.4344	10446.0	5832.66	1240.29	0.66	19	7.123098	8.671228
1808996	GEO	Géorgie	4 142 655	0.3901	4516.0	1363.76	537.60	0.50	96	6.287116	7.218000

Haut de page    

1. ANOVA à 1 facteur : le pays

1.1. Cadre d'analyse : le modèle linéaire

• Objectif : expliquer le revenu des individus en fonction du pays
• Principe de l'analyse de la variance (ANOVA) : déterminer si les moyennes de plusieurs groupes sont différentes grâce à la décomposition de la variance
  
       -> ici on veut mesurer l'influence de la variable explicative "pays" (variable catégorielle) sur la variable à expliquer "revenus" (variable continue)

Remarque :
On parle ici de modèle linéaire car on va utiliser les données sans les transformer (par opposition au modèle logarithmique)

• Rappel des variables :
  • code_pays : code international iso-3
  • pays : nom du pays en français
  • pop : nombre d'habitants du pays
  • gini : indice de gini du pays
  • gdp : PIB/hab en $PPA
  • y_child_avg : revenu moyen des enfants
  • y_child : revenu enfant par centile c_i_parent
  • elas : coef d'élasticité du pays
  • c_i_parent : centile de revenu parent
  • ln_y_child : logarithme de y_child
  • ln_y_child_avg : logarithme de y_child_avg

1.1.1. Représentation graphique

• Pour diminuer le temps d'exécution, et parce que cela ne modifie pas les conclusions de l'analyse, nous utiliserons un df "allégé" pour réaliser certains graphiques.
  En effet, nous n'utilisons pas ici la variable c_i_parent => les mêmes observations sont donc dupliquées 500 fois
  => on peut donc supprimer ces doublons pour réaliser les graphiques sans que cela ne modifie leur interprétation.

# version allégée pour les graphs
dcf_graph = dcf.drop(columns=["c_i_parent"]).drop_duplicates()
dcf_graph.shape

(11500, 10)

Représentation graphique pour les 6 pays retenus lors de la mission 2 :
Slovénie, Honduras, Géorgie, États-Unis, Ukraine, Paraguay

pays_selected = ['Slovénie', 'Honduras', 'Géorgie', 'États-Unis', 'Ukraine', 'Paraguay']
pays_sel_l = []
for pays in pays_selected:
    pays_sel_l.append(dcf[dcf['pays'] == pays])
dcf_sel = pd.concat(pays_sel_l)
dcf_sel.shape
dcf_sel.sample(4)

(300000, 11)

	code_pays	pays	pop	gini	gdp	y_child_avg	y_child	elas	c_i_parent	ln_y_child	ln_y_child_avg
2098933	HND	Honduras	7 980 955	0.6017	3628.0	3296.27	15031.88	0.66	98	9.617929	8.100546
1842366	GEO	Géorgie	4 142 655	0.3901	4516.0	1363.76	2160.37	0.50	85	7.678035	7.218000
5394913	UKR	Ukraine	46 158 711	0.2551	6721.0	3349.39	5321.15	0.40	92	8.579444	8.116533
1819655	GEO	Géorgie	4 142 655	0.3901	4516.0	1363.76	889.74	0.50	29	6.790935	7.218000

sns.set()
sns.set_theme(context='notebook', style='whitegrid', palette='Set2', font_scale=1)
plt.figure(figsize=(8,5))
sns.boxplot(x="pays", y="y_child", data=dcf_sel, flierprops=dict(marker='o', markersize=3))
plt.xlabel("", size=0)
plt.ylabel("Revenu (en $PPA)", size=12)
plt.title("Répartition des revenus dans les pays sélectionnés (mission 2)", fontsize=14, color="darkred")
plt.grid(True, linestyle='--', alpha=0.3)
plt.tight_layout()
plt.savefig('data/exports/img_charts/12.boxplot_sns_revenus_pays_selected.png', dpi = 200)
plt.show();

import plotly.graph_objects as go

def plot_box_plot(pays_l, var_x, num_graph=None):
    x_data = pays_l
    y_data=[]

    for pays in pays_l:
        y_data.append(dcf_graph.loc[dcf_graph['pays'] == pays, var_x])

    colors = ['rgba(93, 164, 214, 0.5)', 'rgba(255, 144, 14, 0.5)', 'rgba(44, 160, 101, 0.5)',
              'rgba(255, 65, 54, 0.5)', 'rgba(207, 114, 255, 0.5)', 'rgba(127, 96, 0, 0.5)']

    fig = go.Figure()

    for xd, yd, cls in zip(x_data, y_data, colors):
            fig.add_trace(go.Box(
                y=yd,
                name=xd,
                boxpoints='all',
                jitter=0.5,
                whiskerwidth=0.2,
                fillcolor=cls,
                marker_size=2,
                line_width=1)
            )

    fig.update_layout(
        title='Répartition des revenus',
        yaxis=dict(
            autorange=True,
            showgrid=True,
            zeroline=True,
            gridcolor='rgb(255, 255, 255)',
            gridwidth=1,
            zerolinecolor='rgb(255, 255, 255)',
            zerolinewidth=2,
        ),
        margin=dict(
            l=40,
            r=30,
            b=80,
            t=100,
        ),
        paper_bgcolor='rgb(243, 243, 243)',
        plot_bgcolor='rgb(243, 243, 243)',
        showlegend=False
    )
    fig.write_html("data/exports/img_charts/"+(str(num_graph) if num_graph is not None else "")+"boxplot_plot_revenus_pays_selected.html")
    fig.write_image("data/exports/img_charts/"+str((num_graph) if num_graph is not None else "")+"boxplot_plot_revenus_pays_selected.png")
    fig.show();

plot_box_plot(pays_selected, 'y_child', num_graph=13)