Ćwiczenie_11_8.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "60e9cf5f",
   "metadata": {},
   "source": [
    "Wczytujemy dane. Dane zawierają treści maili z 20 grup tematycznych. Naszym celem będzie opracowanie klasyfikatora rozpoznającego do jakiej kategorii przynależy mail."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "b7699c8b",
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.datasets import fetch_20newsgroups\n",
    "newsgroups = fetch_20newsgroups(subset='train')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "72718c63",
   "metadata": {},
   "source": [
    "Sprawdzamy jakie sa kategorie tematyczne (funkcja pprint czytelniej wypisuje różne obiekty):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "78517260",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['alt.atheism',\n",
      " 'comp.graphics',\n",
      " 'comp.os.ms-windows.misc',\n",
      " 'comp.sys.ibm.pc.hardware',\n",
      " 'comp.sys.mac.hardware',\n",
      " 'comp.windows.x',\n",
      " 'misc.forsale',\n",
      " 'rec.autos',\n",
      " 'rec.motorcycles',\n",
      " 'rec.sport.baseball',\n",
      " 'rec.sport.hockey',\n",
      " 'sci.crypt',\n",
      " 'sci.electronics',\n",
      " 'sci.med',\n",
      " 'sci.space',\n",
      " 'soc.religion.christian',\n",
      " 'talk.politics.guns',\n",
      " 'talk.politics.mideast',\n",
      " 'talk.politics.misc',\n",
      " 'talk.religion.misc']\n"
     ]
    }
   ],
   "source": [
    "from pprint import pprint\n",
    "pprint(list(newsgroups.target_names))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b5f505b3",
   "metadata": {},
   "source": [
    "Wczutujemy dane jeszcze raz zawężając się do 5-ciu kategori (dla celów ćwiczeniowych - żeby zmniejszyć koszty obliczeniowe):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "8cb0363c",
   "metadata": {},
   "outputs": [],
   "source": [
    "categories_subset = ['alt.atheism',\n",
    " 'comp.graphics',\n",
    " 'sci.med',\n",
    " 'soc.religion.christian',\n",
    " 'talk.politics.guns'\n",
    "]\n",
    "\n",
    "newsgroups = fetch_20newsgroups(subset='train', \n",
    "                                categories=categories_subset)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c061f782",
   "metadata": {},
   "source": [
    "Definiujemy zmienny do modelowania:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "949adff6",
   "metadata": {},
   "outputs": [],
   "source": [
    "X = newsgroups.data\n",
    "y = newsgroups.target"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bc75f5e6",
   "metadata": {},
   "source": [
    "Zapoznaj się z postacią danych - przejrzyj kilka treści maili (porówaj jak wygląda wypisanie tekstu przy użyciu funkcji print i pprint - ta druga funkcja pozwoli łatwiej zauwazyć jak wyglądają maile). Jaką strukturę mają teksty?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3d33ed1f",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "88d3dcce",
   "metadata": {},
   "source": [
    "Zastanów się jakiego procesu czyszczenia wymagałyby te teksty."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c420ff6c",
   "metadata": {},
   "source": [
    "-------------------------------------------------------"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "72332af3",
   "metadata": {},
   "source": [
    "1. Zamień teksty na macierz częstości słów (parametry domyślne, użyj surowych tekstów bez czyszczenia i bez dzielenia danych). \n",
    "\n",
    "2. Zbuduj na tej macierzy las losowy z domyślnymi parametrami, ale z ustawionym parametrem random_state na wartość 42 (aby mieć pewność, że zaobserwujemy pewne efekty).\n",
    "\n",
    "3. Wypisz 15 najważniejszych według tego lasu zmiennych (czyli słów). Przeanalizuj te słowa - czy widzisz coś \"podejrzanego\"? (przydatna może być funkcja np.argsort)\n",
    "\n",
    "4. Wyjaśnij co oznaczają słowa \"nntp\" i \"re\" (możesz podejrzeć treści maili zawierające te słowa)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c225c05c",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "d03a496d",
   "metadata": {},
   "source": [
    "Zoptymalizuj pipeline w postaci CountVectorizer + RandomForestClassifier (zwróć uwagę na długi czas obliczeń - warto zadbać o to, żeby drzewa w lesie nie były zbyt duże).\n",
    "\n",
    "Przetestuj skuteczność najlepszego wariantu na danych testowych:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "5498cab9",
   "metadata": {},
   "outputs": [],
   "source": [
    "newsgroups_test = fetch_20newsgroups(subset='test', categories=categories_subset)\n",
    "\n",
    "X = newsgroups_test.data\n",
    "y = newsgroups_test.target"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "34d9a6d0",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "7316d629",
   "metadata": {},
   "source": [
    "Oczyść dane wyrzucając fragmenty treści, które Twoim zdaniem nie powinny zostać uwzględnione w modelowaniu (sugestia: staraj się szukać najprostszych rozwiązań lub gotowców z internetu). Zoptymalizuj (na wczytanych na początku danych treningowych) i przetestuj (na wczytanych później danych testowych) ten sam pipeline na oczyszczonych danych. Porównaj wyniki z poprzednim rezultatem i wyjaśnij różnicę."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "2f2c1999",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Elearn",
   "language": "python",
   "name": "elearn"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}