train_model.py

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import SGDClassifier
from sklearn.metrics import classification_report
import joblib

# Carica il dataset iniziale (assicurati che data/toxic_comments.csv esista e contenga le colonne 'comment_text' e 'toxic')
data = pd.read_csv('data/toxic_comments.csv')
print("Dataset iniziale:")
print(data.head())

# Prepara i dati
X = data['comment_text']
y = data['toxic']

# Dividi in training e test set
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Trasforma il testo
vectorizer = TfidfVectorizer(stop_words='english', max_features=5000)
X_train_vec = vectorizer.fit_transform(X_train)
X_test_vec = vectorizer.transform(X_test)

# Utilizza SGDClassifier con loss='log' per avere un classificatore incrementale
clf = SGDClassifier(loss='log_loss', random_state=42)
# La prima chiamata a partial_fit richiede l'indicazione delle classi
clf.partial_fit(X_train_vec, y_train, classes=[0, 1])

# Valuta il modello
y_pred = clf.predict(X_test_vec)
print("Report di classificazione:")
print(classification_report(y_test, y_pred))

# Salva il vettorizzatore e il modello
joblib.dump((vectorizer, clf), 'models/toxicity_model.pkl')
print("Modello iniziale salvato in 'models/toxicity_model.pkl'")