# Базовые библиотеки
import numpy as np
import pandas as pd
import os # Загрузка датафрейма
import time # Оценка времени выполнения кода

# Работа с текстом
import re # Очистка текста от ненужных знаков
from pymystem3 import Mystem # Лучшая лемматизация русского текста
import nltk # Импорт всех модулей библиотеки для работы с текстами
from nltk import WordNetLemmatizer # Классическая лемматизация английского текста
from nltk.corpus import wordnet # Анализатор POS-тегов
from nltk import pos_tag # Да Функция анализатора POS-тегов
nltk.download('averaged_perceptron_tagger') # Дополнительный модуль для работы с POS-тегами
from nltk.probability import FreqDist # Для создания облака слов
#import spacy # Продвинутая лемматизация английского текстах 

# Базовые элементы Sklearn для создания собстенных классов, используемых в Pipeline
"""from sklearn.base import(
    TransformerMixin, 
    BaseEstimator
)"""

# Предобработка данных
from sklearn.preprocessing import(
    #StandardScaler, # стандартизация
    MaxAbsScaler, # стандартизация по максимальному абсолютном значению в пределах 0-1
    #normalize # нормализация значений аттрибутов
)

# Работа с датафреймом
from sklearn.model_selection import (
    cross_val_score, 
    train_test_split, # Разделение выборок на обучающую и тестовую
    GridSearchCV, # Поиск гиперпараметров по сетке (GridSearch)
    StratifiedKFold, # Кроссвалидация с указанием количества фолдов (частей, на которые будет разбита обучающая выборка, одна из которых будет участвовать в валидации)
    KFold, # Кроссвалидация 
    cross_val_score # Оценка качества модели на кроссвалидации
) 
from sklearn.feature_extraction.text import TfidfVectorizer # Векторизация текстов 

# Автоматизация раздельного декодирования признаков
from sklearn.compose import(
    make_column_selector, 
    make_column_transformer, 
    ColumnTransformer
)

# Pipeline (пайплайн)
!pip install imblearn
#!pip install -U imblearn
#!pip install -U imbalanced-learn
#conda install -c conda-forge imbalanced-learn
#conda install -c glemaitre imbalanced-learn
from imblearn.pipeline import Pipeline # Более предпочтительнее для TfidfVectorizer
from imblearn.over_sampling import SMOTE # Балансировка классов в Pipeline
from sklearn.pipeline import make_pipeline # Pipeline с автоматическим названием шагов.

# Функция для поддержки экспериментальной функции HavingGridSearchSV
from sklearn.experimental import enable_halving_search_cv
# Ускоренная автоматизация поиска лучших моделей и их параметров
from sklearn.model_selection import HalvingGridSearchCV
# Ускоренная автоматизация рандомного поиска лучших моделей и их параметров
from sklearn.model_selection import HalvingRandomSearchCV

# Модели 
from sklearn.linear_model import LogisticRegression # Линейная регрессия. Классификация
#from sklearn.tree import DecisionTreeClassifier # Решающее дерево. Классификация
#from sklearn.ensemble import RandomForestClassifier # Случайный лес. Классификация
from catboost import CatBoostClassifier # CatBoost (Яндекс). Классификация
from sklearn.naive_bayes import ComplementNB # Улучшенный классификатор для не сбалансированных классов

# Метрики
from sklearn.metrics import f1_score # F1 - среднегармоническое между precision_score и recall_score

# Визуализация графиков
import seaborn as sns
import matplotlib
%matplotlib inline
from matplotlib import pyplot as plt
from matplotlib import rcParams, rcParamsDefault
from pandas.plotting import scatter_matrix

# Анализ датафрейма
print(data.info())
data.sample(n=10)

# Анализ уникальных значений 
# категориального признака "text"
data.toxic.unique()

# Анализ баланса классов
# целевой переменной
data['toxic'].hist(); 

# Добавление нового признака 
# с количеством слов в тексте
data['numbers_of_words'] = data['corpus'].copy().str.split().str.len().values
print(data['numbers_of_words'].describe()) 
data['numbers_of_words'].head() 

# # Добавление нового признака 
# со средней длиной слов
#data['average_word_lenght'] = (data['corpus'].str.len() / data['numbers_of_words']).round() 
data['average_word_lenght'] = (data['corpus'].str.len() / data['numbers_of_words'])
print(data['average_word_lenght'].describe())  
print() 

data.loc[data['average_word_lenght'] > data['average_word_lenght'].median()*2, 'average_word_lenght'] = data['average_word_lenght'].median() 
print(data['average_word_lenght'].describe())  
data['average_word_lenght'].head() 

# Проверка датафрейма с леммами
print('corpus:', data.loc[data['corpus'] != '', 'corpus'].count())
print()
data.loc[data['corpus'] != ''].head(25)

# Облако слов
fdist = FreqDist(data['corpus'])
fdist.plot(30, cumulative=False)

# Проверка размерности
print('features_train:', len(features_train))  
print('target_train:', len(target_train)) 
print('features_test:', len(features_test))
print('target_test:', len(target_test)) 

# LogisticRegression

params = [{
    # Параметры векторизации
    #'vect__tfidf__max_df': (0.2, 0.5, 0.8),
    #'vect__tfidf__min_df': (1, 5, 9),
    #'vect__tfidf__ngram_range': ((1, 1), (1, 2)), # униграммы или биграммы
    #'vect__tfidf__max_features':(1000, 30000),
    #'vect__tfidf__norm': ('l1' , 'l2'), 
    # Параметры модели
    #'clf__penalty': (None, 'l2') 
}]

data_grids, data_times = model_pipeline_gridsearch(
    features_train, 
    target_train, 
    LogisticRegression(random_state=STATE), 
    params, 
    data_grids, 
    data_times 
)

print_model_result(data_grids, data_times, 'LogisticRegression')

# ComplementNB

params = [{
    # Параметры векторизации
    #'vect__tfidf__max_df': (0.2, 0.5, 0.8),
    #'vect__tfidf__min_df': (1, 5, 9),
    #'vect__tfidf__ngram_range': ((1, 1), (1, 2)), # униграммы или биграммы
    #'vect__tfidf__max_features':(1000, 50000),
    #'vect__tfidf__norm' : ('l1' , 'l2')
}]

data_grids, data_times = model_pipeline_gridsearch(
    features_train, 
    target_train, 
    ComplementNB(), 
    params, 
    data_grids, 
    data_times 
)

print_model_result(data_grids, data_times, 'ComplementNB')

# CatBoostClassifier

params = [{
    # Параметры векторизации
    #'vect__tfidf__max_df': (0.2, 0.8),
    #'vect__tfidf__min_df': (2, 8)
    #'vect__tfidf__ngram_range': ((1, 1), (1, 2)), # униграммы или биграммы
    #'vect__tfidf__max_features':(1000),
    #'vect__tfidf__norm' : ('l1' , 'l2')
}]

data_grids, data_times = model_pipeline_gridsearch(
    features_train, 
    target_train, 
    CatBoostClassifier(logging_level='Silent', random_state=STATE), # logging_level='Silent' под вопросом
    params, 
    data_grids, 
    data_times 
)

print_model_result(data_grids, data_times, 'CatBoostClassifier')

# Лучшая модель из расчета RMSE
data_grids_best = data_grids[0]
data_times_best = data_times[0]
n = 0
for i in range(0, len(data_grids)):
    if data_grids[i].best_score_ > data_grids_best.best_score_: 
    #if (data_grids[i].best_score_ < data_grids_best.best_score_) & (data_times[i] < data_times_best): 
        data_grids_best = data_grids[i]
        data_times_best = data_times[i]

print('Лучшее время        : ', data_times_best)
print('Лучший показатель F1: ', data_grids_best.best_score_)
print('Лучшая модель       : ')
data_grids_best

# Перевод лучшего времени в часы
data_times_best/60/60

start_time = time.time()

# Предсказание лучшей модели
predict = data_grids_best.predict(features_test)

finish_time = time.time()
funtion_time = finish_time - start_time

# Расчет RMSE и времени выполнения предсказания
print('Показатель F1     :', f1_score(target_test, predict))
print(f'Время предсказания: {funtion_time} секунд')