classification/Gujarati_Classification_Model_without_aug.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "from fastai.text import *\n",
    "import numpy as np\n",
    "from sklearn.model_selection import train_test_split\n",
    "import pickle\n",
    "import sentencepiece as spm\n",
    "import re\n",
    "import pdb"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "('1.0.57', '1.0.0')"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import fastai, torch\n",
    "fastai.__version__ , torch.__version__"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "torch.cuda.set_device(0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "def random_seed(seed_value, use_cuda):\n",
    "    np.random.seed(seed_value)  \n",
    "    torch.manual_seed(seed_value)  \n",
    "    random.seed(seed_value)\n",
    "    if use_cuda:\n",
    "        torch.cuda.manual_seed(seed_value)\n",
    "        torch.cuda.manual_seed_all(seed_value)  \n",
    "        torch.backends.cudnn.deterministic = True\n",
    "        torch.backends.cudnn.benchmark = False"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "random_seed(42, True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "path = Path('./')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>સાડીમાં જ દેખાતી 'નાગિન 3' ની એક્ટ્રેસનો જુઓ બ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>business</td>\n",
       "      <td>નીરવ મોદીના જેકેટમાં એવુ શું છે ખાસ, જેની કિંમ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>business</td>\n",
       "      <td>નોટ નહી કરાવે ખોટઃશનિવાર અને રવિવાર બેન્કો ખુલ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>business</td>\n",
       "      <td>મોબાઇલ : ઇન્ટેક્સ કંપનીએ ઓછી કિંમતમાં લોન્ચ કર...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>business</td>\n",
       "      <td>એક જ નિર્ણયથી બદલાઈ ગઈ કિસ્મત, વર્ષભરમાં ફેમિલ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "               0                                                  1\n",
       "0  entertainment  સાડીમાં જ દેખાતી 'નાગિન 3' ની એક્ટ્રેસનો જુઓ બ...\n",
       "1       business  નીરવ મોદીના જેકેટમાં એવુ શું છે ખાસ, જેની કિંમ...\n",
       "2       business  નોટ નહી કરાવે ખોટઃશનિવાર અને રવિવાર બેન્કો ખુલ...\n",
       "3       business  મોબાઇલ : ઇન્ટેક્સ કંપનીએ ઓછી કિંમતમાં લોન્ચ કર...\n",
       "4       business  એક જ નિર્ણયથી બદલાઈ ગઈ કિસ્મત, વર્ષભરમાં ફેમિલ..."
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_train = pd.read_csv(path/'../../classification_public_datasets/inltk-headlines/gu/gu-train.csv', header=None)\n",
    "df_train.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Counter({'business': 1867, 'entertainment': 2324, 'tech': 1078})"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "Counter(list(df_train[0]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>business</td>\n",
       "      <td>અમદાવાદઃખેતરમાંથી સીધી હવે કેસર કેરી ગ્રાહકો સ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>#MeToo પર રહેમાને તોડી ચુપ્પી, આપ્યું આ નિવેદન</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>IPLમાં પરફોર્મ કરવા માટે રણવીર સિંહે માગી અધધ....</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>બિકીનીમાં બિચ પર જોવા મળી મલાઈકા, તસવીરો શેર ક...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>tech</td>\n",
       "      <td>હવે મોબાઇલથી ઘરે બેઠા કમાઇ શકો છો 40 હજાર રૂપિ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "               0                                                  1\n",
       "0       business  અમદાવાદઃખેતરમાંથી સીધી હવે કેસર કેરી ગ્રાહકો સ...\n",
       "1  entertainment     #MeToo પર રહેમાને તોડી ચુપ્પી, આપ્યું આ નિવેદન\n",
       "2  entertainment  IPLમાં પરફોર્મ કરવા માટે રણવીર સિંહે માગી અધધ....\n",
       "3  entertainment  બિકીનીમાં બિચ પર જોવા મળી મલાઈકા, તસવીરો શેર ક...\n",
       "4           tech  હવે મોબાઇલથી ઘરે બેઠા કમાઇ શકો છો 40 હજાર રૂપિ..."
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_valid = pd.read_csv(path/'../../classification_public_datasets/inltk-headlines/gu/gu-valid.csv', header=None)\n",
    "df_valid.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>business</td>\n",
       "      <td>કેપ્ટન વિરાટ કોહલીનો નવો રેકોર્ડ, પ્યૂમા સાથે ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>PHOTOS: દેવ દિવાળી ઉજવવા બનારસ પહોંચ્યો અનિલ ક...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>રીતિક રોશને પૂર્વ પત્ની સુઝેન અને બાળકો સાથે ક...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>આ ટીવી એકટ્રેસે પિંક સ્કર્ટમાં કરાવ્યું હોટ ફો...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>નિક સાથે વેકેશન એન્જોય કરવા જંગલમાં નીકળી પ્રિ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "               0                                                  1\n",
       "0       business  કેપ્ટન વિરાટ કોહલીનો નવો રેકોર્ડ, પ્યૂમા સાથે ...\n",
       "1  entertainment  PHOTOS: દેવ દિવાળી ઉજવવા બનારસ પહોંચ્યો અનિલ ક...\n",
       "2  entertainment  રીતિક રોશને પૂર્વ પત્ની સુઝેન અને બાળકો સાથે ક...\n",
       "3  entertainment  આ ટીવી એકટ્રેસે પિંક સ્કર્ટમાં કરાવ્યું હોટ ફો...\n",
       "4  entertainment  નિક સાથે વેકેશન એન્જોય કરવા જંગલમાં નીકળી પ્રિ..."
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_test = pd.read_csv(path/'../../classification_public_datasets/inltk-headlines/gu/gu-test.csv', header=None)\n",
    "df_test.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "((5269, 2), (659, 2), (659, 2))"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_train.shape, df_valid.shape, df_test.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "cutoff = int(0.1*len(df_train))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(526, 2)"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_train = pd.DataFrame({0: list(df_train[0])[:cutoff], 1: list(df_train[1])[:cutoff]})\n",
    "df_train.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "((0, 2), (0, 2), (0, 2))"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_train[df_train[0].isnull()].shape, df_valid[df_valid[0].isnull()].shape, df_test[df_test[0].isnull()].shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "label_cols = [0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "class GujaratiTokenizer(BaseTokenizer):\n",
    "    def __init__(self, lang:str):\n",
    "        self.lang = lang\n",
    "        self.sp = spm.SentencePieceProcessor()\n",
    "        self.sp.Load(str('./../../models/gujarati/tokenizer/gujarati_lm.model'))\n",
    "        \n",
    "    def tokenizer(self, t:str) -> List[str]:\n",
    "        return self.sp.EncodeAsPieces(t)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "sp = spm.SentencePieceProcessor()\n",
    "sp.Load(str('./../../models/gujarati/tokenizer/gujarati_lm.model'))\n",
    "itos = [sp.IdToPiece(int(i)) for i in range(20000)]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['<unk>', '<s>', '</s>', '.', ',', '▁છે', '▁', '▁અને', 'ની', 'માં']"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "itos[:10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 20,000 is the vocab size that we chose in sentencepiece\n",
    "gujarati_vocab = Vocab(itos)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "tokenizer = Tokenizer(tok_func=GujaratiTokenizer, lang='gu')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['xxunk',\n",
       " 'xxpad',\n",
       " 'xxbos',\n",
       " 'xxeos',\n",
       " 'xxfld',\n",
       " 'xxmaj',\n",
       " 'xxup',\n",
       " 'xxrep',\n",
       " 'xxwrep']"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenizer.special_cases"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "data_lm = TextLMDataBunch.from_df(path=path, train_df=df_train, valid_df=df_valid, test_df=df_test, tokenizer=tokenizer, vocab=gujarati_vocab, label_cols=label_cols)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th>idx</th>\n",
       "      <th>text</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2 ▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો ▁x x bo s ▁શ્રી દેવી ના ▁રાજકીય ▁સન્માન ▁સાથે ▁અંતિમ ▁સંસ્કાર , &lt;unk&gt; ▁r t i માં ▁થયા ▁ખુલાસા ▁x x bo s ▁લોન ▁ફ્ર ો ડ ▁કેસમાં ▁ચંદ ા ▁કોચ ર ▁અને ▁વીડિયો</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>રે ▁33 ▁કરોડ ▁યુઝર્સ ને ▁પાસવર્ડ ▁બદલવા નું ▁કહ્યું , ▁તમાર ું ▁નામ ▁તો ▁નથી ▁ને ? ▁x x bo s &lt;unk&gt; ▁p h o t o s : ▁મિસ ▁યુનિવર્સ ▁20 18 ▁સ્પર્ધા , ▁જુઓ ▁બિ કિ ની ▁રાઉન્ડમાં ▁સુંદર ીઓ નો ▁જલ વો ▁x x bo s ▁રોલ ્સ ▁રોય સ ▁કરતા ▁પણ ▁મોંઘી ▁છે ▁આ ▁અ તર ની ▁શી શી , ▁કિંમત ▁જાણી ને ▁આંખો ▁થઈ ▁જશે</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>▁સિઝન ▁શરૂ ▁થાય ▁તે ▁પહેલા ▁તેનું ▁આ ▁સિ ક્રેટ ▁જાણ ો ▁x x bo s ▁સલમાન ના ▁ભાઇ ની &lt;unk&gt; ▁e x ▁ગર્લ ફ્રે ન્ડ ▁ઇન્ સ્ટા ગ્રામ ▁પર ▁છ વાઇ , ▁શેર ▁કરી ▁બોલ ્ડ ▁તસવીરો ▁x x bo s ▁આ ઇટ મ ▁ગર્લ ▁નો રા ▁ફતેહ ી એ ▁સેલ િબ ્રેટ ▁કર્યો ▁બર્ થ - ડે , ▁પાર્ટી માં ▁આવ્યા ▁સ્ટાર ્સ ▁x x bo s &lt;unk&gt; ▁p</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>▁આ ▁સૌથી ▁સસ્તા ▁પ્લાન માં ▁મળી ▁રહ્યું ▁છે ▁અન લિ મિ ટેડ ▁ઇન્ટરનેટ ▁અને ▁કોલ િંગ ▁x x bo s ▁માત્ર ▁રૂ . 20 માં ▁ખોલ ાવ વો ▁સેવ િંગ ▁એકાઉન્ટ , ▁મળશે ▁તમામ ▁બેંકિંગ ▁સર્વિસ ▁x x bo s ▁અમરેલી : ▁બાબરા ▁માર્કેટીંગ ▁યાર્ડ માં ▁150 ▁જેટલા ▁મજુર ો ▁હડતાળ ▁પર , ▁કપાસ ની ▁હરાજી ▁થઈ ▁ઠ પ ▁x x bo s ▁સલમાન ે ▁શરૂ ▁કર્યુ ▁' 10 ▁કા</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>▁અહીંયા થી ▁ખરીદ ો ▁બ્રાન્ડ ેડ ▁કપડા ▁x x bo s ▁આશા ▁ભો સ લે ના ▁આ ▁પગલાં ▁બાદ ▁ લતા એ ▁તોડી ▁નાખ્યા ં ▁હતાં ▁તમામ ▁સંબંધ ▁x x bo s ▁આ ▁છે ▁20 18 ના ▁ટોપ ▁10 ▁સ્માર્ટફોન ્સ , ▁ખરીદ શો ▁તો ▁પ સ્તા શો ▁નહીં ▁x x bo s ▁ રિયા ▁ચક્રવર્તી એ ▁શેર ▁કરી ▁હોટ ▁ફોટો શ ૂટ ની ▁તસવીરો , ▁ફે ન્સે ▁કર્યો ▁લાઇ</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "data_lm.show_batch()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "awd_lstm_config = awd_lstm_lm_config.copy()\n",
    "awd_lstm_config['n_hid'] = 1150\n",
    "learn = language_model_learner(data_lm, arch=AWD_LSTM, drop_mult=0.3, config=awd_lstm_config, pretrained=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "LanguageLearner(data=TextLMDataBunch;\n",
       "\n",
       "Train: LabelList (526 items)\n",
       "x: LMTextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: LMTextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: LMTextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): AWD_LSTM(\n",
       "    (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "    (encoder_dp): EmbeddingDropout(\n",
       "      (emb): Embedding(20000, 400, padding_idx=1)\n",
       "    )\n",
       "    (rnns): ModuleList(\n",
       "      (0): WeightDropout(\n",
       "        (module): LSTM(400, 1150, batch_first=True)\n",
       "      )\n",
       "      (1): WeightDropout(\n",
       "        (module): LSTM(1150, 1150, batch_first=True)\n",
       "      )\n",
       "      (2): WeightDropout(\n",
       "        (module): LSTM(1150, 400, batch_first=True)\n",
       "      )\n",
       "    )\n",
       "    (input_dp): RNNDropout()\n",
       "    (hidden_dps): ModuleList(\n",
       "      (0): RNNDropout()\n",
       "      (1): RNNDropout()\n",
       "      (2): RNNDropout()\n",
       "    )\n",
       "  )\n",
       "  (1): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=20000, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[<function accuracy at 0x7f68ef112c80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[RNNTrainer\n",
       "learn: LanguageLearner(data=TextLMDataBunch;\n",
       "\n",
       "Train: LabelList (526 items)\n",
       "x: LMTextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: LMTextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: LMTextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): AWD_LSTM(\n",
       "    (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "    (encoder_dp): EmbeddingDropout(\n",
       "      (emb): Embedding(20000, 400, padding_idx=1)\n",
       "    )\n",
       "    (rnns): ModuleList(\n",
       "      (0): WeightDropout(\n",
       "        (module): LSTM(400, 1150, batch_first=True)\n",
       "      )\n",
       "      (1): WeightDropout(\n",
       "        (module): LSTM(1150, 1150, batch_first=True)\n",
       "      )\n",
       "      (2): WeightDropout(\n",
       "        (module): LSTM(1150, 400, batch_first=True)\n",
       "      )\n",
       "    )\n",
       "    (input_dp): RNNDropout()\n",
       "    (hidden_dps): ModuleList(\n",
       "      (0): RNNDropout()\n",
       "      (1): RNNDropout()\n",
       "      (2): RNNDropout()\n",
       "    )\n",
       "  )\n",
       "  (1): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=20000, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[<function accuracy at 0x7f68ef112c80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[...], layer_groups=[Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "  (2): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=20000, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=False)\n",
       "alpha: 2.0\n",
       "beta: 1.0], layer_groups=[Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "  (2): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=20000, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=False)"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Loading the pretrained language model on gujarati wikipedia\n",
    "learn.load('../../../models/gujarati/lm/ULMFiT/third_gu_lm', with_opt=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn.freeze()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: left;\">\n",
       "      <th>epoch</th>\n",
       "      <th>train_loss</th>\n",
       "      <th>valid_loss</th>\n",
       "      <th>accuracy</th>\n",
       "      <th>time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>6.455141</td>\n",
       "      <td>5.708843</td>\n",
       "      <td>0.238449</td>\n",
       "      <td>00:00</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn.fit_one_cycle(1, 1e-1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn.unfreeze()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: left;\">\n",
       "      <th>epoch</th>\n",
       "      <th>train_loss</th>\n",
       "      <th>valid_loss</th>\n",
       "      <th>accuracy</th>\n",
       "      <th>time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>4.382281</td>\n",
       "      <td>5.084447</td>\n",
       "      <td>0.272489</td>\n",
       "      <td>00:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>3.927202</td>\n",
       "      <td>4.985622</td>\n",
       "      <td>0.292020</td>\n",
       "      <td>00:00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>3.509896</td>\n",
       "      <td>5.049925</td>\n",
       "      <td>0.296596</td>\n",
       "      <td>00:00</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn.fit_one_cycle(3, 1e-2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'શાહરૂખ ખાન સાથે ▁ફેરબદલ ો ▁ગુજરાત ઃ ▁સલમાન ▁મિસ્ત્રી ની ▁નજર થી ▁થઈ'"
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "learn.predict('શાહરૂખ ખાન સાથે',n_words=10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn.save_encoder('fine_tuned_enc')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "data_clas = TextClasDataBunch.from_df(path=path, train_df=df_train, valid_df=df_valid, test_df=df_test, tokenizer=tokenizer, vocab=gujarati_vocab, label_cols=label_cols, bs=64)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th>text</th>\n",
       "      <th>target</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>▁x x bo s ▁રે ▁બે કારી ! ▁સ્વ િ પર ની ▁14 ▁જગ્યા ▁માટે &lt;unk&gt; ▁m . t e ch , &lt;unk&gt; ▁b . t e ch , &lt;unk&gt; ▁m b a ▁ઉમેદવારો એ ▁અરજી ▁કરી</td>\n",
       "      <td>business</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>▁x x bo s ▁go og le એ ▁લોન્ચ ▁કર્યા &lt;unk&gt; ▁p i x el ▁3 ▁અને &lt;unk&gt; ▁p i x el ▁3 ▁ &lt;unk&gt; &lt;unk&gt; , ▁જાણ ો ▁ફી ચર ્સ ▁અને ▁કિંમત</td>\n",
       "      <td>tech</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>▁x x bo s ▁' દેશ ી ▁ગર્લ ' ની ▁બે ચલ રેટ ▁પાર્ટી માં ▁પર િણી તિ ▁અને ▁ઇ શા ▁અંબાણી એ ▁રાખ્યો ▁રંગ , ▁જુઓ &lt;unk&gt; ▁p h o t o s</td>\n",
       "      <td>entertainment</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>▁x x bo s ▁ફોર્બ્સ ▁ઈન્ ડીયા &lt;unk&gt; ▁w - p ow er &lt;unk&gt; ▁t ra il b la z ers ▁20 19 ▁ લિસ્ટ ! ▁પ્રિય ં કા ▁સહિત ▁આ ▁લોકોને ▁મળી ▁જગ્યા</td>\n",
       "      <td>entertainment</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>▁x x bo s &lt;unk&gt; ▁p h o t o s : ▁ત ૈ મુ ર ની ▁બર્ થ ▁ડે ▁સેલ િબ ્રેટ ▁કરવા ં ▁સૈ ફ ▁અને ▁કર િના ▁પહોચ ્યા ▁કેપ ▁ટાઉન</td>\n",
       "      <td>entertainment</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "data_clas.show_batch()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "del awd_lstm_config['tie_weights']\n",
    "del awd_lstm_config['out_bias']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn = text_classifier_learner(data_clas, arch=AWD_LSTM, drop_mult=0.5, config=awd_lstm_config)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "RNNLearner(data=TextClasDataBunch;\n",
       "\n",
       "Train: LabelList (526 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: CategoryList\n",
       "entertainment,business,business,business,business\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: CategoryList\n",
       "business,entertainment,entertainment,entertainment,tech\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): MultiBatchEncoder(\n",
       "    (module): AWD_LSTM(\n",
       "      (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "      (encoder_dp): EmbeddingDropout(\n",
       "        (emb): Embedding(20000, 400, padding_idx=1)\n",
       "      )\n",
       "      (rnns): ModuleList(\n",
       "        (0): WeightDropout(\n",
       "          (module): LSTM(400, 1150, batch_first=True)\n",
       "        )\n",
       "        (1): WeightDropout(\n",
       "          (module): LSTM(1150, 1150, batch_first=True)\n",
       "        )\n",
       "        (2): WeightDropout(\n",
       "          (module): LSTM(1150, 400, batch_first=True)\n",
       "        )\n",
       "      )\n",
       "      (input_dp): RNNDropout()\n",
       "      (hidden_dps): ModuleList(\n",
       "        (0): RNNDropout()\n",
       "        (1): RNNDropout()\n",
       "        (2): RNNDropout()\n",
       "      )\n",
       "    )\n",
       "  )\n",
       "  (1): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[<function accuracy at 0x7f68ef112c80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[RNNTrainer\n",
       "learn: RNNLearner(data=TextClasDataBunch;\n",
       "\n",
       "Train: LabelList (526 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: CategoryList\n",
       "entertainment,business,business,business,business\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: CategoryList\n",
       "business,entertainment,entertainment,entertainment,tech\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): MultiBatchEncoder(\n",
       "    (module): AWD_LSTM(\n",
       "      (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "      (encoder_dp): EmbeddingDropout(\n",
       "        (emb): Embedding(20000, 400, padding_idx=1)\n",
       "      )\n",
       "      (rnns): ModuleList(\n",
       "        (0): WeightDropout(\n",
       "          (module): LSTM(400, 1150, batch_first=True)\n",
       "        )\n",
       "        (1): WeightDropout(\n",
       "          (module): LSTM(1150, 1150, batch_first=True)\n",
       "        )\n",
       "        (2): WeightDropout(\n",
       "          (module): LSTM(1150, 400, batch_first=True)\n",
       "        )\n",
       "      )\n",
       "      (input_dp): RNNDropout()\n",
       "      (hidden_dps): ModuleList(\n",
       "        (0): RNNDropout()\n",
       "        (1): RNNDropout()\n",
       "        (2): RNNDropout()\n",
       "      )\n",
       "    )\n",
       "  )\n",
       "  (1): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[<function accuracy at 0x7f68ef112c80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[...], layer_groups=[Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=False)\n",
       "alpha: 2.0\n",
       "beta: 1.0], layer_groups=[Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=False)"
      ]
     },
     "execution_count": 36,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "learn.load_encoder('fine_tuned_enc')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn.freeze()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "CrossEntropyLoss()"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "learn.loss_func.func"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [],
   "source": [
    "mcc = MatthewsCorreff()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn.metrics = [mcc, accuracy]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: left;\">\n",
       "      <th>epoch</th>\n",
       "      <th>train_loss</th>\n",
       "      <th>valid_loss</th>\n",
       "      <th>matthews_correff</th>\n",
       "      <th>accuracy</th>\n",
       "      <th>time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>0.802973</td>\n",
       "      <td>0.866583</td>\n",
       "      <td>0.514630</td>\n",
       "      <td>0.694992</td>\n",
       "      <td>00:00</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn.fit_one_cycle(1, 1e-2, moms=(0.8,0.7))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: left;\">\n",
       "      <th>epoch</th>\n",
       "      <th>train_loss</th>\n",
       "      <th>valid_loss</th>\n",
       "      <th>matthews_correff</th>\n",
       "      <th>accuracy</th>\n",
       "      <th>time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>0.538299</td>\n",
       "      <td>0.701671</td>\n",
       "      <td>0.493413</td>\n",
       "      <td>0.681335</td>\n",
       "      <td>00:00</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn.freeze_to(-2)\n",
    "learn.fit_one_cycle(1, slice(1e-2/(2.6**4),1e-2), moms=(0.8,0.7))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn.save('second-full')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "RNNLearner(data=TextClasDataBunch;\n",
       "\n",
       "Train: LabelList (526 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: CategoryList\n",
       "entertainment,business,business,business,business\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: CategoryList\n",
       "business,entertainment,entertainment,entertainment,tech\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): MultiBatchEncoder(\n",
       "    (module): AWD_LSTM(\n",
       "      (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "      (encoder_dp): EmbeddingDropout(\n",
       "        (emb): Embedding(20000, 400, padding_idx=1)\n",
       "      )\n",
       "      (rnns): ModuleList(\n",
       "        (0): WeightDropout(\n",
       "          (module): LSTM(400, 1150, batch_first=True)\n",
       "        )\n",
       "        (1): WeightDropout(\n",
       "          (module): LSTM(1150, 1150, batch_first=True)\n",
       "        )\n",
       "        (2): WeightDropout(\n",
       "          (module): LSTM(1150, 400, batch_first=True)\n",
       "        )\n",
       "      )\n",
       "      (input_dp): RNNDropout()\n",
       "      (hidden_dps): ModuleList(\n",
       "        (0): RNNDropout()\n",
       "        (1): RNNDropout()\n",
       "        (2): RNNDropout()\n",
       "      )\n",
       "    )\n",
       "  )\n",
       "  (1): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[MatthewsCorreff(), <function accuracy at 0x7f68ef112c80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[RNNTrainer\n",
       "learn: RNNLearner(data=TextClasDataBunch;\n",
       "\n",
       "Train: LabelList (526 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: CategoryList\n",
       "entertainment,business,business,business,business\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: CategoryList\n",
       "business,entertainment,entertainment,entertainment,tech\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): MultiBatchEncoder(\n",
       "    (module): AWD_LSTM(\n",
       "      (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "      (encoder_dp): EmbeddingDropout(\n",
       "        (emb): Embedding(20000, 400, padding_idx=1)\n",
       "      )\n",
       "      (rnns): ModuleList(\n",
       "        (0): WeightDropout(\n",
       "          (module): LSTM(400, 1150, batch_first=True)\n",
       "        )\n",
       "        (1): WeightDropout(\n",
       "          (module): LSTM(1150, 1150, batch_first=True)\n",
       "        )\n",
       "        (2): WeightDropout(\n",
       "          (module): LSTM(1150, 400, batch_first=True)\n",
       "        )\n",
       "      )\n",
       "      (input_dp): RNNDropout()\n",
       "      (hidden_dps): ModuleList(\n",
       "        (0): RNNDropout()\n",
       "        (1): RNNDropout()\n",
       "        (2): RNNDropout()\n",
       "      )\n",
       "    )\n",
       "  )\n",
       "  (1): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[MatthewsCorreff(), <function accuracy at 0x7f68ef112c80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[...], layer_groups=[Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=True)\n",
       "alpha: 2.0\n",
       "beta: 1.0], layer_groups=[Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=True)"
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "learn.load('second-full')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: left;\">\n",
       "      <th>epoch</th>\n",
       "      <th>train_loss</th>\n",
       "      <th>valid_loss</th>\n",
       "      <th>matthews_correff</th>\n",
       "      <th>accuracy</th>\n",
       "      <th>time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>0.349164</td>\n",
       "      <td>0.555510</td>\n",
       "      <td>0.664580</td>\n",
       "      <td>0.789074</td>\n",
       "      <td>00:01</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>0.253300</td>\n",
       "      <td>0.539321</td>\n",
       "      <td>0.651812</td>\n",
       "      <td>0.779970</td>\n",
       "      <td>00:01</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>0.201973</td>\n",
       "      <td>0.518953</td>\n",
       "      <td>0.684019</td>\n",
       "      <td>0.801214</td>\n",
       "      <td>00:01</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>0.157583</td>\n",
       "      <td>0.578573</td>\n",
       "      <td>0.676847</td>\n",
       "      <td>0.795144</td>\n",
       "      <td>00:01</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>0.122792</td>\n",
       "      <td>0.533806</td>\n",
       "      <td>0.691944</td>\n",
       "      <td>0.805766</td>\n",
       "      <td>00:01</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Better model found at epoch 0 with accuracy value: 0.7890743613243103.\n",
      "Better model found at epoch 2 with accuracy value: 0.8012139797210693.\n",
      "Better model found at epoch 4 with accuracy value: 0.8057662844657898.\n"
     ]
    }
   ],
   "source": [
    "learn.unfreeze()\n",
    "learn.fit_one_cycle(5, 1e-2, callbacks=[callbacks.SaveModelCallback(learn, every='improvement', monitor='accuracy', name='final')])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "RNNLearner(data=TextClasDataBunch;\n",
       "\n",
       "Train: LabelList (526 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: CategoryList\n",
       "entertainment,business,business,business,business\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: CategoryList\n",
       "business,entertainment,entertainment,entertainment,tech\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): MultiBatchEncoder(\n",
       "    (module): AWD_LSTM(\n",
       "      (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "      (encoder_dp): EmbeddingDropout(\n",
       "        (emb): Embedding(20000, 400, padding_idx=1)\n",
       "      )\n",
       "      (rnns): ModuleList(\n",
       "        (0): WeightDropout(\n",
       "          (module): LSTM(400, 1150, batch_first=True)\n",
       "        )\n",
       "        (1): WeightDropout(\n",
       "          (module): LSTM(1150, 1150, batch_first=True)\n",
       "        )\n",
       "        (2): WeightDropout(\n",
       "          (module): LSTM(1150, 400, batch_first=True)\n",
       "        )\n",
       "      )\n",
       "      (input_dp): RNNDropout()\n",
       "      (hidden_dps): ModuleList(\n",
       "        (0): RNNDropout()\n",
       "        (1): RNNDropout()\n",
       "        (2): RNNDropout()\n",
       "      )\n",
       "    )\n",
       "  )\n",
       "  (1): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[MatthewsCorreff(), <function accuracy at 0x7f68ef112c80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[RNNTrainer\n",
       "learn: RNNLearner(data=TextClasDataBunch;\n",
       "\n",
       "Train: LabelList (526 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: CategoryList\n",
       "entertainment,business,business,business,business\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: CategoryList\n",
       "business,entertainment,entertainment,entertainment,tech\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): MultiBatchEncoder(\n",
       "    (module): AWD_LSTM(\n",
       "      (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "      (encoder_dp): EmbeddingDropout(\n",
       "        (emb): Embedding(20000, 400, padding_idx=1)\n",
       "      )\n",
       "      (rnns): ModuleList(\n",
       "        (0): WeightDropout(\n",
       "          (module): LSTM(400, 1150, batch_first=True)\n",
       "        )\n",
       "        (1): WeightDropout(\n",
       "          (module): LSTM(1150, 1150, batch_first=True)\n",
       "        )\n",
       "        (2): WeightDropout(\n",
       "          (module): LSTM(1150, 400, batch_first=True)\n",
       "        )\n",
       "      )\n",
       "      (input_dp): RNNDropout()\n",
       "      (hidden_dps): ModuleList(\n",
       "        (0): RNNDropout()\n",
       "        (1): RNNDropout()\n",
       "        (2): RNNDropout()\n",
       "      )\n",
       "    )\n",
       "  )\n",
       "  (1): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[MatthewsCorreff(), <function accuracy at 0x7f68ef112c80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[...], layer_groups=[Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=True)\n",
       "alpha: 2.0\n",
       "beta: 1.0], layer_groups=[Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=True)"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "learn.load('final')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>query</th>\n",
       "      <th>actual_label</th>\n",
       "      <th>predicted_label</th>\n",
       "      <th>entertainment</th>\n",
       "      <th>business</th>\n",
       "      <th>tech</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>કેપ્ટન વિરાટ કોહલીનો નવો રેકોર્ડ, પ્યૂમા સાથે ...</td>\n",
       "      <td>business</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>0.599113</td>\n",
       "      <td>0.375544</td>\n",
       "      <td>0.0253421</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>PHOTOS: દેવ દિવાળી ઉજવવા બનારસ પહોંચ્યો અનિલ ક...</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>0.988363</td>\n",
       "      <td>0.00876637</td>\n",
       "      <td>0.00287105</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>રીતિક રોશને પૂર્વ પત્ની સુઝેન અને બાળકો સાથે ક...</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>0.999361</td>\n",
       "      <td>0.000357525</td>\n",
       "      <td>0.000281632</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>આ ટીવી એકટ્રેસે પિંક સ્કર્ટમાં કરાવ્યું હોટ ફો...</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>0.953725</td>\n",
       "      <td>0.00963108</td>\n",
       "      <td>0.0366438</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>નિક સાથે વેકેશન એન્જોય કરવા જંગલમાં નીકળી પ્રિ...</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>0.998184</td>\n",
       "      <td>0.00101225</td>\n",
       "      <td>0.000803556</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                               query   actual_label  \\\n",
       "0  કેપ્ટન વિરાટ કોહલીનો નવો રેકોર્ડ, પ્યૂમા સાથે ...       business   \n",
       "1  PHOTOS: દેવ દિવાળી ઉજવવા બનારસ પહોંચ્યો અનિલ ક...  entertainment   \n",
       "2  રીતિક રોશને પૂર્વ પત્ની સુઝેન અને બાળકો સાથે ક...  entertainment   \n",
       "3  આ ટીવી એકટ્રેસે પિંક સ્કર્ટમાં કરાવ્યું હોટ ફો...  entertainment   \n",
       "4  નિક સાથે વેકેશન એન્જોય કરવા જંગલમાં નીકળી પ્રિ...  entertainment   \n",
       "\n",
       "  predicted_label entertainment     business         tech  \n",
       "0   entertainment      0.599113     0.375544    0.0253421  \n",
       "1   entertainment      0.988363   0.00876637   0.00287105  \n",
       "2   entertainment      0.999361  0.000357525  0.000281632  \n",
       "3   entertainment      0.953725   0.00963108    0.0366438  \n",
       "4   entertainment      0.998184   0.00101225  0.000803556  "
      ]
     },
     "execution_count": 47,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from sklearn.metrics import accuracy_score, matthews_corrcoef\n",
    "df_dict = {'query': list(df_test[1]), 'actual_label': list(df_test[0]), 'predicted_label': ['']*df_test.shape[0]}\n",
    "all_nodes = list(set(df_train[0]))\n",
    "for node in all_nodes:\n",
    "    df_dict[node] = ['']*df_test.shape[0]\n",
    "    \n",
    "i2c = {}\n",
    "for key, value in learn.data.c2i.items():\n",
    "    i2c[value] = key\n",
    "    \n",
    "df_result = pd.DataFrame(df_dict)\n",
    "preds = learn.get_preds(ds_type=DatasetType.Test, ordered=True)\n",
    "for index, row in df_result.iterrows():\n",
    "    for node in all_nodes:\n",
    "        row[node] = preds[0][index][learn.data.c2i[node]].item()\n",
    "    row['predicted_label'] = i2c[np.argmax(preds[0][index]).data.item()]\n",
    "df_result.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.8088012139605463"
      ]
     },
     "execution_count": 48,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "accuracy_score(df_result['actual_label'], df_result['predicted_label'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.7018231816473297"
      ]
     },
     "execution_count": 49,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "matthews_corrcoef(df_result['actual_label'], df_result['predicted_label'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_result.to_csv('inltk_headlines_gu_without_aug.csv', index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "in",
   "language": "python",
   "name": "in"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}