data-tokenizing.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2023-05-14 17:54:43.090950: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  AVX2 FMA\n",
      "To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.\n",
      "2023-05-14 17:54:45.917512: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libnvinfer.so.7'; dlerror: libnvinfer.so.7: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/lib/wsl/lib:\n",
      "2023-05-14 17:54:45.918735: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libnvinfer_plugin.so.7'; dlerror: libnvinfer_plugin.so.7: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/lib/wsl/lib:\n",
      "2023-05-14 17:54:45.918753: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Cannot dlopen some TensorRT libraries. If you would like to use Nvidia GPU with TensorRT, please make sure the missing libraries mentioned above are installed properly.\n"
     ]
    }
   ],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "from pprint import pprint\n",
    "\n",
    "from datasets import load_dataset, Dataset, DatasetDict\n",
    "from transformers import AutoTokenizer\n",
    "\n",
    "from dataset.tokenize import TokenizeMapWrapper, Seq2SeqTokenizeMapWrapper\n",
    "from preprocessing.preprocessing import df_preprocessing"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "제7조 (근저당권 설정)을은 제4조 대금지급의무 기타 본 계약상의 의무 이행을 담보하기 위하여, 갑과의 합의에따른 부동산 위에 갑을 근저당권자로 하는 채권 최고금액   원의 근저당권을 설정하여야 한다.\n",
      "2. 하자보증 기간이 경과한 후 계약물품에 고장이 발생하는 경우 갑은 을의 요청에 따라 물품을 수리하는데 필요한부품을 을에게 공급한다.\n",
      "5. 본조에 해당하는 사유로 계약이 해제될 경우에 을이 기납부한 공급대금에서 총 공급대금의10퍼센트는 위약금으로 갑에게 귀속된다.\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>index</th>\n",
       "      <th>text</th>\n",
       "      <th>title</th>\n",
       "      <th>id</th>\n",
       "      <th>label</th>\n",
       "      <th>summary</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>제 1 조 (계약의 목적)\\n본 계약은 을이 갑의 000 상품을 상호 협의한 할인매...</td>\n",
       "      <td>공급계약</td>\n",
       "      <td>199</td>\n",
       "      <td>disadvantageous</td>\n",
       "      <td>제7조 (근저당권 설정)을은 제4조 대금지급의무 기타 본 계약상의 의무 이행을 담보...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>제1조 (목 적)\\n000(이하 요양센터)는 시설에 입소한 이용자에 대하여 노인장기...</td>\n",
       "      <td>입소,입주,입점계약</td>\n",
       "      <td>84</td>\n",
       "      <td>disadvantageous</td>\n",
       "      <td>제1조 (목 적)000(이하 요양센터)는 시설에 입소한 이용자에 대하여 노인장기요양...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>갑종부동산관리신탁계약서 \\n \\n \\n위탁자  (이하  위탁자 라 한다)는(은)  ...</td>\n",
       "      <td>예식업</td>\n",
       "      <td>166</td>\n",
       "      <td>disadvantageous</td>\n",
       "      <td>제1조(목적) 이 약관은 예식장을 운영하는 사업자(이하  사업자 라 합니다)와 예식...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>제1조(계약금액 및 납부기한)\\n1.  을 은 계약과 동시에 계약금을 지불하고,  ...</td>\n",
       "      <td>분양계약</td>\n",
       "      <td>36</td>\n",
       "      <td>disadvantageous</td>\n",
       "      <td>(1) 계약금(2) 중도금 1차(3) 중도금 2차(4) 잔금제2조(계약의 해제)1....</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>제1조 (분양금액)\\n위 표시 물건의 분양금액은 금      (     )원정(부가...</td>\n",
       "      <td>분양계약</td>\n",
       "      <td>28</td>\n",
       "      <td>disadvantageous</td>\n",
       "      <td>2. 제2조 제2항에 해당하는 사유로 본 계약이 해제된 때에는  갑 은  을 에게 ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   index                                               text       title   id  \\\n",
       "0      0  제 1 조 (계약의 목적)\\n본 계약은 을이 갑의 000 상품을 상호 협의한 할인매...        공급계약  199   \n",
       "1      1  제1조 (목 적)\\n000(이하 요양센터)는 시설에 입소한 이용자에 대하여 노인장기...  입소,입주,입점계약   84   \n",
       "2      2  갑종부동산관리신탁계약서 \\n \\n \\n위탁자  (이하  위탁자 라 한다)는(은)  ...         예식업  166   \n",
       "3      3  제1조(계약금액 및 납부기한)\\n1.  을 은 계약과 동시에 계약금을 지불하고,  ...        분양계약   36   \n",
       "4      4  제1조 (분양금액)\\n위 표시 물건의 분양금액은 금      (     )원정(부가...        분양계약   28   \n",
       "\n",
       "             label                                            summary  \n",
       "0  disadvantageous  제7조 (근저당권 설정)을은 제4조 대금지급의무 기타 본 계약상의 의무 이행을 담보...  \n",
       "1  disadvantageous  제1조 (목 적)000(이하 요양센터)는 시설에 입소한 이용자에 대하여 노인장기요양...  \n",
       "2  disadvantageous  제1조(목적) 이 약관은 예식장을 운영하는 사업자(이하  사업자 라 합니다)와 예식...  \n",
       "3  disadvantageous  (1) 계약금(2) 중도금 1차(3) 중도금 2차(4) 잔금제2조(계약의 해제)1....  \n",
       "4  disadvantageous  2. 제2조 제2항에 해당하는 사유로 본 계약이 해제된 때에는  갑 은  을 에게 ...  "
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.read_json('./data/dataset-term-summary.json', encoding='utf-8')\n",
    "print(df['summary'][0])\n",
    "df.head()"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Preprocessing"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Tokenizing"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "checkpoint = ''"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "tokenizer = AutoTokenizer.from_pretrained(checkpoint)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "tokenizer_map_wrapper = Seq2SeqTokenizeMapWrapper(tokenizer, 'text', 'summary')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>summary</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>제 1 조 (계약의 목적)\\n본 계약은 을이 갑의 000 상품을 상호 협의한 할인매...</td>\n",
       "      <td>제7조 (근저당권 설정)을은 제4조 대금지급의무 기타 본 계약상의 의무 이행을 담보...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>제1조 (목 적)\\n000(이하 요양센터)는 시설에 입소한 이용자에 대하여 노인장기...</td>\n",
       "      <td>제1조 (목 적)000(이하 요양센터)는 시설에 입소한 이용자에 대하여 노인장기요양...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>갑종부동산관리신탁계약서 \\n \\n \\n위탁자  (이하  위탁자 라 한다)는(은)  ...</td>\n",
       "      <td>제1조(목적) 이 약관은 예식장을 운영하는 사업자(이하  사업자 라 합니다)와 예식...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>제1조(계약금액 및 납부기한)\\n1.  을 은 계약과 동시에 계약금을 지불하고,  ...</td>\n",
       "      <td>(1) 계약금(2) 중도금 1차(3) 중도금 2차(4) 잔금제2조(계약의 해제)1....</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>제1조 (분양금액)\\n위 표시 물건의 분양금액은 금      (     )원정(부가...</td>\n",
       "      <td>2. 제2조 제2항에 해당하는 사유로 본 계약이 해제된 때에는  갑 은  을 에게 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7995</th>\n",
       "      <td>00000 약관 \\n\\n \\n제1관 목적 및 용어의 정의 \\n \\n제1조 ( 목적 ...</td>\n",
       "      <td>중요한 사항  계약 전 알릴 의무와 관련하여 회사가 그 사실을 알았더라면 계약의 청...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7996</th>\n",
       "      <td>여신거래 약관\\n이 여신금융회사 여신거래기본약관(이하  약관 이라 합니다)은 000...</td>\n",
       "      <td>채무자가 금융회사에 대한 채무의 이행을 지체한 경우에는 곧 지급기로 한 금액에 대하...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7997</th>\n",
       "      <td>1. 총칙 \\n이 서비스 약관은 회원이 000(이하  병원 )에서 제공하는 서비스(...</td>\n",
       "      <td>1. 총칙이 서비스 약관은 회원이 000(이하  병원 )에서 제공하는 서비스(이하서...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7998</th>\n",
       "      <td>주택화재보험 보통약관 \\n\\n 제1조(보험계약의 성립) \\n ①보험계약은 보험계약자...</td>\n",
       "      <td>제2항에 따라 계약이 취소된 경우에는 회사는 이미 납입한 보험료를 계약자에게 돌려 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7999</th>\n",
       "      <td>제1조 (영업표지의 사용권 부여에 관한 사항)\\n① 갑은 가맹사업을 영위하기 위하여...</td>\n",
       "      <td>제1조 (영업표지의 사용권 부여에 관한 사항)① 갑은 가맹사업을 영위하기 위하여 을...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>7943 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   text  \\\n",
       "0     제 1 조 (계약의 목적)\\n본 계약은 을이 갑의 000 상품을 상호 협의한 할인매...   \n",
       "1     제1조 (목 적)\\n000(이하 요양센터)는 시설에 입소한 이용자에 대하여 노인장기...   \n",
       "2     갑종부동산관리신탁계약서 \\n \\n \\n위탁자  (이하  위탁자 라 한다)는(은)  ...   \n",
       "3     제1조(계약금액 및 납부기한)\\n1.  을 은 계약과 동시에 계약금을 지불하고,  ...   \n",
       "4     제1조 (분양금액)\\n위 표시 물건의 분양금액은 금      (     )원정(부가...   \n",
       "...                                                 ...   \n",
       "7995  00000 약관 \\n\\n \\n제1관 목적 및 용어의 정의 \\n \\n제1조 ( 목적 ...   \n",
       "7996  여신거래 약관\\n이 여신금융회사 여신거래기본약관(이하  약관 이라 합니다)은 000...   \n",
       "7997  1. 총칙 \\n이 서비스 약관은 회원이 000(이하  병원 )에서 제공하는 서비스(...   \n",
       "7998  주택화재보험 보통약관 \\n\\n 제1조(보험계약의 성립) \\n ①보험계약은 보험계약자...   \n",
       "7999  제1조 (영업표지의 사용권 부여에 관한 사항)\\n① 갑은 가맹사업을 영위하기 위하여...   \n",
       "\n",
       "                                                summary  \n",
       "0     제7조 (근저당권 설정)을은 제4조 대금지급의무 기타 본 계약상의 의무 이행을 담보...  \n",
       "1     제1조 (목 적)000(이하 요양센터)는 시설에 입소한 이용자에 대하여 노인장기요양...  \n",
       "2     제1조(목적) 이 약관은 예식장을 운영하는 사업자(이하  사업자 라 합니다)와 예식...  \n",
       "3     (1) 계약금(2) 중도금 1차(3) 중도금 2차(4) 잔금제2조(계약의 해제)1....  \n",
       "4     2. 제2조 제2항에 해당하는 사유로 본 계약이 해제된 때에는  갑 은  을 에게 ...  \n",
       "...                                                 ...  \n",
       "7995  중요한 사항  계약 전 알릴 의무와 관련하여 회사가 그 사실을 알았더라면 계약의 청...  \n",
       "7996  채무자가 금융회사에 대한 채무의 이행을 지체한 경우에는 곧 지급기로 한 금액에 대하...  \n",
       "7997  1. 총칙이 서비스 약관은 회원이 000(이하  병원 )에서 제공하는 서비스(이하서...  \n",
       "7998  제2항에 따라 계약이 취소된 경우에는 회사는 이미 납입한 보험료를 계약자에게 돌려 ...  \n",
       "7999  제1조 (영업표지의 사용권 부여에 관한 사항)① 갑은 가맹사업을 영위하기 위하여 을...  \n",
       "\n",
       "[7943 rows x 2 columns]"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "droped_df = df.drop(columns=['id', 'title', 'index', 'label'], axis=1)\n",
    "droped_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Dataset({\n",
       "    features: ['text', 'summary', '__index_level_0__'],\n",
       "    num_rows: 7943\n",
       "})"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset = Dataset.from_pandas(droped_df)\n",
    "dataset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset = dataset.map(tokenizer_map_wrapper)\n",
    "pprint(dataset.select(range(1)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset.save_to_disk('./data/tokenized-dataset')"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.6"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}