openaiAPI_embedding.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Script Execution:  0.0027740001678466797\n"
     ]
    }
   ],
   "source": [
    "import os\n",
    "import time\n",
    "import pandas as pd\n",
    "import openai\n",
    "import re\n",
    "import requests\n",
    "import sys\n",
    "import numpy as np\n",
    "from openai.embeddings_utils import get_embedding, cosine_similarity\n",
    "import tiktoken\n",
    "\n",
    "openai.api_key = os.getenv(\"OPENAI_API_KEY\") \n",
    "openai.organization = os.getenv(\"OPENAI_ORGANIZATION\") \n",
    "\n",
    "start_time=time.time()\n",
    "path ='./QnA/'\n",
    "\n",
    "########### This helps takes care of removing metadata\n",
    "search_string = \"\" \n",
    "metadata_counter = 0\n",
    "############\n",
    "d = []\n",
    "text=\"\"\n",
    "\n",
    "for root, directories, files in os.walk(path , topdown=False):\n",
    "    for file in files:\n",
    "        if file.lower().endswith(\".txt\"):\n",
    "            name =(os.path.join(root,file))\n",
    "            f = open(name, \"r\",encoding=\"utf-8\")\n",
    "            for line in f:\n",
    "                text +=line\n",
    "            f.close()\n",
    "            d.append({'FILE NAME': file ,'CONTENT': text})\n",
    "            pd.DataFrame(d)\n",
    "            metadata_counter = 0\n",
    "            text=\"\"\n",
    "end_time = time.time()\n",
    "duration = end_time - start_time\n",
    "\n",
    "print (\"Script Execution: \", duration)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>FILE NAME</th>\n",
       "      <th>CONTENT</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>회원가입을 했는데, 서비스 신청을 꼭 해야만 하나요?.txt</td>\n",
       "      <td>회원가입은 파스토 계정을 생성하는 단계이며, [서비스 신청]을 통해 고객님의 정보 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>고가 상품도 보관 가능한가요?.txt</td>\n",
       "      <td>고가 상품의 경우, 별도의 공간에서 상품 특성에 맞추어 보관하고 있으며 이 경우 추...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>회사소개서를 받아보고 싶어요..txt</td>\n",
       "      <td>아래 링크를 통해 파스토 회사소개서를 다운받으실 수 있습니다.\\n 회사소개서 다운받...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>사업자등록을 하지 않았는데, 서비스를 이용할 수 있나요?.txt</td>\n",
       "      <td>사업자 등록을 하지 않으신 고객님께서도 일반 회원으로 FASSTO 서비스 이용이 가...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>입고가 불가한 상품이 있나요?.txt</td>\n",
       "      <td>파스토는 고객님들의 다양한 상품에 대해서 서비스를 제공해드리기 위해 노력하고 있습니...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>냉동 식품의 경우 얼마간의 판매 예상분을 입고하면 되나요?.txt</td>\n",
       "      <td>물류비 절감을 위해서는 회전율을 고려하여 1~2개월의 판매 예상분을 입고하시는 것이...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>신용카드는 왜 등록하나요?.txt</td>\n",
       "      <td>신용카드 등록은 보증금 대용으로 사용되며, 서비스 신청 완료 이후 물류센터로 상품을...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>서비스 이용절차는 어떻게 되나요?.txt</td>\n",
       "      <td>[서비스 이용절차]\\n 회원가입 → 서비스 신청 → 서비스 심사 및 센터 배정 → ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>물류센터 운영시간은 어떻게 되나요?.txt</td>\n",
       "      <td>파스토 센터의 운영시간은 평일 09시 30분 ~ 17시이며, 상품 입고 가능 시간은...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>파스토는 어떤 서비스를 제공하나요?.txt</td>\n",
       "      <td>파스토는 상품 입고부터 보관, 택배출고, 차량납품, 포장, 스티커부착, 라벨링 등 ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                              FILE NAME   \n",
       "0     회원가입을 했는데, 서비스 신청을 꼭 해야만 하나요?.txt  \\\n",
       "1                  고가 상품도 보관 가능한가요?.txt   \n",
       "2                  회사소개서를 받아보고 싶어요..txt   \n",
       "3   사업자등록을 하지 않았는데, 서비스를 이용할 수 있나요?.txt   \n",
       "4                  입고가 불가한 상품이 있나요?.txt   \n",
       "5  냉동 식품의 경우 얼마간의 판매 예상분을 입고하면 되나요?.txt   \n",
       "6                    신용카드는 왜 등록하나요?.txt   \n",
       "7                서비스 이용절차는 어떻게 되나요?.txt   \n",
       "8               물류센터 운영시간은 어떻게 되나요?.txt   \n",
       "9               파스토는 어떤 서비스를 제공하나요?.txt   \n",
       "\n",
       "                                             CONTENT  \n",
       "0  회원가입은 파스토 계정을 생성하는 단계이며, [서비스 신청]을 통해 고객님의 정보 ...  \n",
       "1  고가 상품의 경우, 별도의 공간에서 상품 특성에 맞추어 보관하고 있으며 이 경우 추...  \n",
       "2  아래 링크를 통해 파스토 회사소개서를 다운받으실 수 있습니다.\\n 회사소개서 다운받...  \n",
       "3  사업자 등록을 하지 않으신 고객님께서도 일반 회원으로 FASSTO 서비스 이용이 가...  \n",
       "4  파스토는 고객님들의 다양한 상품에 대해서 서비스를 제공해드리기 위해 노력하고 있습니...  \n",
       "5  물류비 절감을 위해서는 회전율을 고려하여 1~2개월의 판매 예상분을 입고하시는 것이...  \n",
       "6  신용카드 등록은 보증금 대용으로 사용되며, 서비스 신청 완료 이후 물류센터로 상품을...  \n",
       "7  [서비스 이용절차]\\n 회원가입 → 서비스 신청 → 서비스 심사 및 센터 배정 → ...  \n",
       "8  파스토 센터의 운영시간은 평일 09시 30분 ~ 17시이며, 상품 입고 가능 시간은...  \n",
       "9  파스토는 상품 입고부터 보관, 택배출고, 차량납품, 포장, 스티커부착, 라벨링 등 ...  "
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.DataFrame(d)\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "# s is input text\n",
    "def normalize_text(s, sep_token = \" \\n \"):\n",
    "    s = re.sub(r'\\s+',  ' ', s).strip()\n",
    "    s = re.sub(r\". ,\",\"\",s)\n",
    "    # remove all instances of multiple spaces\n",
    "    s = s.replace(\"..\",\".\")\n",
    "    s = s.replace(\". .\",\".\")\n",
    "    s = s.replace(\"\\n\", \"\")\n",
    "    s = s.replace(\"#\",\"\")\n",
    "    s = s.strip()\n",
    "    if s ==\"\":\n",
    "        s = \"<blank>\"\n",
    "    return s\n",
    "df_normalized=df.copy()\n",
    "df_normalized['CONTENT'] = df[\"CONTENT\"].apply(lambda x : normalize_text(x))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>FILE NAME</th>\n",
       "      <th>CONTENT</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>회원가입을 했는데, 서비스 신청을 꼭 해야만 하나요?.txt</td>\n",
       "      <td>회원가입은 파스토 계정을 생성하는 단계이며, [서비스 신청]을 통해 고객님의 정보 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>고가 상품도 보관 가능한가요?.txt</td>\n",
       "      <td>고가 상품의 경우, 별도의 공간에서 상품 특성에 맞추어 보관하고 있으며 이 경우 추...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>회사소개서를 받아보고 싶어요..txt</td>\n",
       "      <td>아래 링크를 통해 파스토 회사소개서를 다운받으실 수 있습니다. 회사소개서 다운받기 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>사업자등록을 하지 않았는데, 서비스를 이용할 수 있나요?.txt</td>\n",
       "      <td>사업자 등록을 하지 않으신 고객님께서도 일반 회원으로 FASSTO 서비스 이용이 가...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>입고가 불가한 상품이 있나요?.txt</td>\n",
       "      <td>파스토는 고객님들의 다양한 상품에 대해서 서비스를 제공해드리기 위해 노력하고 있습니...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>냉동 식품의 경우 얼마간의 판매 예상분을 입고하면 되나요?.txt</td>\n",
       "      <td>물류비 절감을 위해서는 회전율을 고려하여 1~2개월의 판매 예상분을 입고하시는 것이...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>신용카드는 왜 등록하나요?.txt</td>\n",
       "      <td>신용카드 등록은 보증금 대용으로 사용되며, 서비스 신청 완료 이후 물류센터로 상품을...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>서비스 이용절차는 어떻게 되나요?.txt</td>\n",
       "      <td>[서비스 이용절차] 회원가입 → 서비스 신청 → 서비스 심사 및 센터 배정 → 신용...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>물류센터 운영시간은 어떻게 되나요?.txt</td>\n",
       "      <td>파스토 센터의 운영시간은 평일 09시 30분 ~ 17시이며, 상품 입고 가능 시간은...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>파스토는 어떤 서비스를 제공하나요?.txt</td>\n",
       "      <td>파스토는 상품 입고부터 보관, 택배출고, 차량납품, 포장, 스티커부착, 라벨링 등 ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                              FILE NAME   \n",
       "0     회원가입을 했는데, 서비스 신청을 꼭 해야만 하나요?.txt  \\\n",
       "1                  고가 상품도 보관 가능한가요?.txt   \n",
       "2                  회사소개서를 받아보고 싶어요..txt   \n",
       "3   사업자등록을 하지 않았는데, 서비스를 이용할 수 있나요?.txt   \n",
       "4                  입고가 불가한 상품이 있나요?.txt   \n",
       "5  냉동 식품의 경우 얼마간의 판매 예상분을 입고하면 되나요?.txt   \n",
       "6                    신용카드는 왜 등록하나요?.txt   \n",
       "7                서비스 이용절차는 어떻게 되나요?.txt   \n",
       "8               물류센터 운영시간은 어떻게 되나요?.txt   \n",
       "9               파스토는 어떤 서비스를 제공하나요?.txt   \n",
       "\n",
       "                                             CONTENT  \n",
       "0  회원가입은 파스토 계정을 생성하는 단계이며, [서비스 신청]을 통해 고객님의 정보 ...  \n",
       "1  고가 상품의 경우, 별도의 공간에서 상품 특성에 맞추어 보관하고 있으며 이 경우 추...  \n",
       "2  아래 링크를 통해 파스토 회사소개서를 다운받으실 수 있습니다. 회사소개서 다운받기 ...  \n",
       "3  사업자 등록을 하지 않으신 고객님께서도 일반 회원으로 FASSTO 서비스 이용이 가...  \n",
       "4  파스토는 고객님들의 다양한 상품에 대해서 서비스를 제공해드리기 위해 노력하고 있습니...  \n",
       "5  물류비 절감을 위해서는 회전율을 고려하여 1~2개월의 판매 예상분을 입고하시는 것이...  \n",
       "6  신용카드 등록은 보증금 대용으로 사용되며, 서비스 신청 완료 이후 물류센터로 상품을...  \n",
       "7  [서비스 이용절차] 회원가입 → 서비스 신청 → 서비스 심사 및 센터 배정 → 신용...  \n",
       "8  파스토 센터의 운영시간은 평일 09시 30분 ~ 17시이며, 상품 입고 가능 시간은...  \n",
       "9  파스토는 상품 입고부터 보관, 택배출고, 차량납품, 포장, 스티커부착, 라벨링 등 ...  "
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_normalized"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Empty DataFrame\n",
      "Columns: [FILE NAME, CONTENT]\n",
      "Index: []\n"
     ]
    }
   ],
   "source": [
    "df_blank = df_normalized[df_normalized.CONTENT=='<blank>']\n",
    "print(df_blank)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>FILE NAME</th>\n",
       "      <th>CONTENT</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>회원가입을 했는데, 서비스 신청을 꼭 해야만 하나요?.txt</td>\n",
       "      <td>회원가입은 파스토 계정을 생성하는 단계이며, [서비스 신청]을 통해 고객님의 정보 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>고가 상품도 보관 가능한가요?.txt</td>\n",
       "      <td>고가 상품의 경우, 별도의 공간에서 상품 특성에 맞추어 보관하고 있으며 이 경우 추...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>회사소개서를 받아보고 싶어요..txt</td>\n",
       "      <td>아래 링크를 통해 파스토 회사소개서를 다운받으실 수 있습니다. 회사소개서 다운받기 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>사업자등록을 하지 않았는데, 서비스를 이용할 수 있나요?.txt</td>\n",
       "      <td>사업자 등록을 하지 않으신 고객님께서도 일반 회원으로 FASSTO 서비스 이용이 가...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>입고가 불가한 상품이 있나요?.txt</td>\n",
       "      <td>파스토는 고객님들의 다양한 상품에 대해서 서비스를 제공해드리기 위해 노력하고 있습니...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>냉동 식품의 경우 얼마간의 판매 예상분을 입고하면 되나요?.txt</td>\n",
       "      <td>물류비 절감을 위해서는 회전율을 고려하여 1~2개월의 판매 예상분을 입고하시는 것이...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>신용카드는 왜 등록하나요?.txt</td>\n",
       "      <td>신용카드 등록은 보증금 대용으로 사용되며, 서비스 신청 완료 이후 물류센터로 상품을...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>서비스 이용절차는 어떻게 되나요?.txt</td>\n",
       "      <td>[서비스 이용절차] 회원가입 → 서비스 신청 → 서비스 심사 및 센터 배정 → 신용...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>물류센터 운영시간은 어떻게 되나요?.txt</td>\n",
       "      <td>파스토 센터의 운영시간은 평일 09시 30분 ~ 17시이며, 상품 입고 가능 시간은...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>파스토는 어떤 서비스를 제공하나요?.txt</td>\n",
       "      <td>파스토는 상품 입고부터 보관, 택배출고, 차량납품, 포장, 스티커부착, 라벨링 등 ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                              FILE NAME   \n",
       "0     회원가입을 했는데, 서비스 신청을 꼭 해야만 하나요?.txt  \\\n",
       "1                  고가 상품도 보관 가능한가요?.txt   \n",
       "2                  회사소개서를 받아보고 싶어요..txt   \n",
       "3   사업자등록을 하지 않았는데, 서비스를 이용할 수 있나요?.txt   \n",
       "4                  입고가 불가한 상품이 있나요?.txt   \n",
       "5  냉동 식품의 경우 얼마간의 판매 예상분을 입고하면 되나요?.txt   \n",
       "6                    신용카드는 왜 등록하나요?.txt   \n",
       "7                서비스 이용절차는 어떻게 되나요?.txt   \n",
       "8               물류센터 운영시간은 어떻게 되나요?.txt   \n",
       "9               파스토는 어떤 서비스를 제공하나요?.txt   \n",
       "\n",
       "                                             CONTENT  \n",
       "0  회원가입은 파스토 계정을 생성하는 단계이며, [서비스 신청]을 통해 고객님의 정보 ...  \n",
       "1  고가 상품의 경우, 별도의 공간에서 상품 특성에 맞추어 보관하고 있으며 이 경우 추...  \n",
       "2  아래 링크를 통해 파스토 회사소개서를 다운받으실 수 있습니다. 회사소개서 다운받기 ...  \n",
       "3  사업자 등록을 하지 않으신 고객님께서도 일반 회원으로 FASSTO 서비스 이용이 가...  \n",
       "4  파스토는 고객님들의 다양한 상품에 대해서 서비스를 제공해드리기 위해 노력하고 있습니...  \n",
       "5  물류비 절감을 위해서는 회전율을 고려하여 1~2개월의 판매 예상분을 입고하시는 것이...  \n",
       "6  신용카드 등록은 보증금 대용으로 사용되며, 서비스 신청 완료 이후 물류센터로 상품을...  \n",
       "7  [서비스 이용절차] 회원가입 → 서비스 신청 → 서비스 심사 및 센터 배정 → 신용...  \n",
       "8  파스토 센터의 운영시간은 평일 09시 30분 ~ 17시이며, 상품 입고 가능 시간은...  \n",
       "9  파스토는 상품 입고부터 보관, 택배출고, 차량납품, 포장, 스티커부착, 라벨링 등 ...  "
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_normalized"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "|MODEL|GENERATION|TOKENIZER|MAX INPUT TOKENS|KNOWLEDGE CUTOFF|\n",
    "|---|---|---|---|---|\n",
    "|V2|cl100k_base|8191|Sep 2021|  \n",
    "|V1|GPT-2/GPT-3|2046|Aug 2020|"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>FILE NAME</th>\n",
       "      <th>CONTENT</th>\n",
       "      <th>n_tokens</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>회원가입을 했는데, 서비스 신청을 꼭 해야만 하나요?.txt</td>\n",
       "      <td>회원가입은 파스토 계정을 생성하는 단계이며, [서비스 신청]을 통해 고객님의 정보 ...</td>\n",
       "      <td>122</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>고가 상품도 보관 가능한가요?.txt</td>\n",
       "      <td>고가 상품의 경우, 별도의 공간에서 상품 특성에 맞추어 보관하고 있으며 이 경우 추...</td>\n",
       "      <td>124</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>회사소개서를 받아보고 싶어요..txt</td>\n",
       "      <td>아래 링크를 통해 파스토 회사소개서를 다운받으실 수 있습니다. 회사소개서 다운받기 ...</td>\n",
       "      <td>92</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>사업자등록을 하지 않았는데, 서비스를 이용할 수 있나요?.txt</td>\n",
       "      <td>사업자 등록을 하지 않으신 고객님께서도 일반 회원으로 FASSTO 서비스 이용이 가...</td>\n",
       "      <td>104</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>입고가 불가한 상품이 있나요?.txt</td>\n",
       "      <td>파스토는 고객님들의 다양한 상품에 대해서 서비스를 제공해드리기 위해 노력하고 있습니...</td>\n",
       "      <td>1276</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>냉동 식품의 경우 얼마간의 판매 예상분을 입고하면 되나요?.txt</td>\n",
       "      <td>물류비 절감을 위해서는 회전율을 고려하여 1~2개월의 판매 예상분을 입고하시는 것이...</td>\n",
       "      <td>89</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>신용카드는 왜 등록하나요?.txt</td>\n",
       "      <td>신용카드 등록은 보증금 대용으로 사용되며, 서비스 신청 완료 이후 물류센터로 상품을...</td>\n",
       "      <td>141</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>서비스 이용절차는 어떻게 되나요?.txt</td>\n",
       "      <td>[서비스 이용절차] 회원가입 → 서비스 신청 → 서비스 심사 및 센터 배정 → 신용...</td>\n",
       "      <td>369</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>물류센터 운영시간은 어떻게 되나요?.txt</td>\n",
       "      <td>파스토 센터의 운영시간은 평일 09시 30분 ~ 17시이며, 상품 입고 가능 시간은...</td>\n",
       "      <td>102</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>파스토는 어떤 서비스를 제공하나요?.txt</td>\n",
       "      <td>파스토는 상품 입고부터 보관, 택배출고, 차량납품, 포장, 스티커부착, 라벨링 등 ...</td>\n",
       "      <td>239</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                              FILE NAME   \n",
       "0     회원가입을 했는데, 서비스 신청을 꼭 해야만 하나요?.txt  \\\n",
       "1                  고가 상품도 보관 가능한가요?.txt   \n",
       "2                  회사소개서를 받아보고 싶어요..txt   \n",
       "3   사업자등록을 하지 않았는데, 서비스를 이용할 수 있나요?.txt   \n",
       "4                  입고가 불가한 상품이 있나요?.txt   \n",
       "5  냉동 식품의 경우 얼마간의 판매 예상분을 입고하면 되나요?.txt   \n",
       "6                    신용카드는 왜 등록하나요?.txt   \n",
       "7                서비스 이용절차는 어떻게 되나요?.txt   \n",
       "8               물류센터 운영시간은 어떻게 되나요?.txt   \n",
       "9               파스토는 어떤 서비스를 제공하나요?.txt   \n",
       "\n",
       "                                             CONTENT  n_tokens  \n",
       "0  회원가입은 파스토 계정을 생성하는 단계이며, [서비스 신청]을 통해 고객님의 정보 ...       122  \n",
       "1  고가 상품의 경우, 별도의 공간에서 상품 특성에 맞추어 보관하고 있으며 이 경우 추...       124  \n",
       "2  아래 링크를 통해 파스토 회사소개서를 다운받으실 수 있습니다. 회사소개서 다운받기 ...        92  \n",
       "3  사업자 등록을 하지 않으신 고객님께서도 일반 회원으로 FASSTO 서비스 이용이 가...       104  \n",
       "4  파스토는 고객님들의 다양한 상품에 대해서 서비스를 제공해드리기 위해 노력하고 있습니...      1276  \n",
       "5  물류비 절감을 위해서는 회전율을 고려하여 1~2개월의 판매 예상분을 입고하시는 것이...        89  \n",
       "6  신용카드 등록은 보증금 대용으로 사용되며, 서비스 신청 완료 이후 물류센터로 상품을...       141  \n",
       "7  [서비스 이용절차] 회원가입 → 서비스 신청 → 서비스 심사 및 센터 배정 → 신용...       369  \n",
       "8  파스토 센터의 운영시간은 평일 09시 30분 ~ 17시이며, 상품 입고 가능 시간은...       102  \n",
       "9  파스토는 상품 입고부터 보관, 택배출고, 차량납품, 포장, 스티커부착, 라벨링 등 ...       239  "
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenizer = tiktoken.get_encoding(\"cl100k_base\")\n",
    "df_tok=df_normalized.copy()\n",
    "df_tok['n_tokens'] = df_normalized[\"CONTENT\"].apply(lambda x: len(tokenizer.encode(x)))\n",
    "df_tok"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Number of tokens: 2675\n",
      "\n",
      "MODEL        VERSION    COST\n",
      "-----------------------------------\n",
      "Ada\t\tv1\t$0.0107\n",
      "Babbage\t\tv1\t$0.013375\n",
      "Curie\t\tv1\t$0.0535\n",
      "Davinci\t\tv1\t$0.535\n",
      "Ada\t\tv2\t$0.00107\n"
     ]
    }
   ],
   "source": [
    "# Based on https://openai.com/api/pricing/ on 01/29/2023\n",
    "# If you were using this for approximating pricing with Azure OpenAI adjust the values below with: https://azure.microsoft.com/pricing/details/cognitive-services/openai-service/\n",
    "\n",
    "#MODEL\tUSAGE\n",
    "#Ada     v1\t$0.0040 / 1K tokens\n",
    "#Babbage v1\t$0.0050 / 1K tokens\n",
    "#Curie   v1\t$0.0200 / 1K tokens\n",
    "#Davinci v1\t$0.2000 / 1K tokens\n",
    "\n",
    "#MODEL\tUSAGE\n",
    "#Ada     v2\t$0.0004 / 1K tokens\n",
    "#This Ada model, text-embedding-ada-002, is a better and lower cost replacement for our older embedding models. \n",
    "\n",
    "n_tokens_sum = df['n_tokens'].sum()\n",
    "\n",
    "ada_v1_embeddings_cost = (n_tokens_sum/1000) *.0040\n",
    "babbage_v1_embeddings_cost = (n_tokens_sum/1000) *.0050\n",
    "curie_v1_embeddings_cost = (n_tokens_sum/1000) *.02\n",
    "davinci_v1_embeddings_cost = (n_tokens_sum/1000) *.2\n",
    "\n",
    "ada_v2_embeddings_cost = (n_tokens_sum/1000) *.0004\n",
    "\n",
    "print(\"Number of tokens: \" + str(n_tokens_sum) + \"\\n\")\n",
    "\n",
    "print(\"MODEL        VERSION    COST\")\n",
    "print(\"-----------------------------------\")\n",
    "print(\"Ada\" + \"\\t\\t\" + \"v1\" + \"\\t$\" + '%.8s' % str(ada_v1_embeddings_cost))\n",
    "print(\"Babbage\" + \"\\t\\t\" + \"v1\" + \"\\t$\" + '%.8s' % str(babbage_v1_embeddings_cost))\n",
    "print(\"Curie\" + \"\\t\\t\" + \"v1\" + \"\\t$\" + '%.8s' % str(curie_v1_embeddings_cost))\n",
    "print(\"Davinci\" + \"\\t\\t\" + \"v1\" + \"\\t$\" + '%.8s' % str(davinci_v1_embeddings_cost))\n",
    "print(\"Ada\" + \"\\t\\t\" + \"v2\" + \"\\t$\" + '%.8s' %str(ada_v2_embeddings_cost))"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Model dimension\n",
    "\n",
    "https://platform.openai.com/docs/guides/embeddings/what-are-embeddings \n",
    "\n",
    "|MODEL|OUTPUT DIMENSIONS|\n",
    "|---|---|\n",
    "|Ada|1024|\n",
    "|Babbage|2048|\n",
    "|Curie|4096|\n",
    "|Davinci|12288|\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "def generate_embeddings(text, model=\"text-embedding-ada-002\"):\n",
    "    return openai.Embedding.create(input = [text], model=model)['data'][0]['embedding']\n",
    " \n",
    "df['ada_v2_embedding'] = df.CONTENT.apply(lambda x: generate_embeddings(x, model='text-embedding-ada-002'))\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1536"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df['ada_v2_embedding'][1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "9"
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_tok = df_tok[df_tok.n_tokens<400]\n",
    "\n",
    "len(df_tok)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Text search embeddings\n",
    "\n",
    "- 가장 많이 사용 문서 탐색\n",
    "\n",
    "|USE CASES|AVAILABLE MODELS|\n",
    "|---|---|\n",
    "|Search, context relevance, information retrieval|text-search-ada-doc-001 text-search-ada-query-001 text-search-babbage-doc-001 text-search-babbage-query-001 text-search-curie-doc-001 text-search-curie-query-001 text-search-davinci-doc-001 text-search-davinci-query-001|\n"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### OpenAI Text & Embedding Rate Limits?\n",
    "\n",
    "- Rate limits are enforced at the organization level, not user level, based on the specific endpoint used as well as the type of account you have.\n",
    "\n",
    "- Rate limits are measured in two ways: RPM (requests per minute) and TPM (tokens per minute).\n",
    "\n",
    "- TEXT & EMBEDDING\n",
    "- Free trial users •20 RPM •150,000 TPM\n",
    "\n",
    "- Pay-as-you-go users (first 48 hours) •60 RPM •250,000 TPM\n",
    "\n",
    "- Pay-as-you-go users (after 48 hours) •3,000 RPM •250,000 TPM\n",
    "\n",
    "- https://beta.openai.com/docs/guides/rate-limits/overview\n",
    "\n",
    "\n",
    "|TYPE|\t1 TPM EQUALS|\n",
    "|---|---|\n",
    "|davinci|\t1 token per minute|\n",
    "|curie|\t25 tokens per minute|\n",
    "|babbage|\t100 tokens per minute|\n",
    "|ada|\t200 tokens per minute|"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "3.782973051071167\n",
      "Request counter:  9\n",
      "Total requests sent:  9\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>FILE NAME</th>\n",
       "      <th>CONTENT</th>\n",
       "      <th>n_tokens</th>\n",
       "      <th>ada_v2_embedding</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>회원가입을 했는데, 서비스 신청을 꼭 해야만 하나요?.txt</td>\n",
       "      <td>회원가입은 파스토 계정을 생성하는 단계이며, [서비스 신청]을 통해 고객님의 정보 ...</td>\n",
       "      <td>122</td>\n",
       "      <td>[0.0030568114016205072, -0.003844072110950947,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>고가 상품도 보관 가능한가요?.txt</td>\n",
       "      <td>고가 상품의 경우, 별도의 공간에서 상품 특성에 맞추어 보관하고 있으며 이 경우 추...</td>\n",
       "      <td>124</td>\n",
       "      <td>[0.0180361308157444, -0.011002039536833763, 0....</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>회사소개서를 받아보고 싶어요..txt</td>\n",
       "      <td>아래 링크를 통해 파스토 회사소개서를 다운받으실 수 있습니다. 회사소개서 다운받기 ...</td>\n",
       "      <td>92</td>\n",
       "      <td>[-0.008481170050799847, 0.00138533441349864, 0...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>사업자등록을 하지 않았는데, 서비스를 이용할 수 있나요?.txt</td>\n",
       "      <td>사업자 등록을 하지 않으신 고객님께서도 일반 회원으로 FASSTO 서비스 이용이 가...</td>\n",
       "      <td>104</td>\n",
       "      <td>[-0.003308518324047327, -0.02395676262676716, ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>냉동 식품의 경우 얼마간의 판매 예상분을 입고하면 되나요?.txt</td>\n",
       "      <td>물류비 절감을 위해서는 회전율을 고려하여 1~2개월의 판매 예상분을 입고하시는 것이...</td>\n",
       "      <td>89</td>\n",
       "      <td>[-0.00674519082531333, -0.02381369099020958, 0...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>신용카드는 왜 등록하나요?.txt</td>\n",
       "      <td>신용카드 등록은 보증금 대용으로 사용되며, 서비스 신청 완료 이후 물류센터로 상품을...</td>\n",
       "      <td>141</td>\n",
       "      <td>[-0.007321336306631565, -0.019554371014237404,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>서비스 이용절차는 어떻게 되나요?.txt</td>\n",
       "      <td>[서비스 이용절차] 회원가입 → 서비스 신청 → 서비스 심사 및 센터 배정 → 신용...</td>\n",
       "      <td>369</td>\n",
       "      <td>[0.00035062094684690237, 0.0010457402095198631...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>물류센터 운영시간은 어떻게 되나요?.txt</td>\n",
       "      <td>파스토 센터의 운영시간은 평일 09시 30분 ~ 17시이며, 상품 입고 가능 시간은...</td>\n",
       "      <td>102</td>\n",
       "      <td>[-0.0005161305307410657, 0.001048737671226263,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>파스토는 어떤 서비스를 제공하나요?.txt</td>\n",
       "      <td>파스토는 상품 입고부터 보관, 택배출고, 차량납품, 포장, 스티커부착, 라벨링 등 ...</td>\n",
       "      <td>239</td>\n",
       "      <td>[0.0068297921679914, -0.0012520139571279287, 0...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                              FILE NAME   \n",
       "0     회원가입을 했는데, 서비스 신청을 꼭 해야만 하나요?.txt  \\\n",
       "1                  고가 상품도 보관 가능한가요?.txt   \n",
       "2                  회사소개서를 받아보고 싶어요..txt   \n",
       "3   사업자등록을 하지 않았는데, 서비스를 이용할 수 있나요?.txt   \n",
       "5  냉동 식품의 경우 얼마간의 판매 예상분을 입고하면 되나요?.txt   \n",
       "6                    신용카드는 왜 등록하나요?.txt   \n",
       "7                서비스 이용절차는 어떻게 되나요?.txt   \n",
       "8               물류센터 운영시간은 어떻게 되나요?.txt   \n",
       "9               파스토는 어떤 서비스를 제공하나요?.txt   \n",
       "\n",
       "                                             CONTENT  n_tokens   \n",
       "0  회원가입은 파스토 계정을 생성하는 단계이며, [서비스 신청]을 통해 고객님의 정보 ...       122  \\\n",
       "1  고가 상품의 경우, 별도의 공간에서 상품 특성에 맞추어 보관하고 있으며 이 경우 추...       124   \n",
       "2  아래 링크를 통해 파스토 회사소개서를 다운받으실 수 있습니다. 회사소개서 다운받기 ...        92   \n",
       "3  사업자 등록을 하지 않으신 고객님께서도 일반 회원으로 FASSTO 서비스 이용이 가...       104   \n",
       "5  물류비 절감을 위해서는 회전율을 고려하여 1~2개월의 판매 예상분을 입고하시는 것이...        89   \n",
       "6  신용카드 등록은 보증금 대용으로 사용되며, 서비스 신청 완료 이후 물류센터로 상품을...       141   \n",
       "7  [서비스 이용절차] 회원가입 → 서비스 신청 → 서비스 심사 및 센터 배정 → 신용...       369   \n",
       "8  파스토 센터의 운영시간은 평일 09시 30분 ~ 17시이며, 상품 입고 가능 시간은...       102   \n",
       "9  파스토는 상품 입고부터 보관, 택배출고, 차량납품, 포장, 스티커부착, 라벨링 등 ...       239   \n",
       "\n",
       "                                    ada_v2_embedding  \n",
       "0  [0.0030568114016205072, -0.003844072110950947,...  \n",
       "1  [0.0180361308157444, -0.011002039536833763, 0....  \n",
       "2  [-0.008481170050799847, 0.00138533441349864, 0...  \n",
       "3  [-0.003308518324047327, -0.02395676262676716, ...  \n",
       "5  [-0.00674519082531333, -0.02381369099020958, 0...  \n",
       "6  [-0.007321336306631565, -0.019554371014237404,...  \n",
       "7  [0.00035062094684690237, 0.0010457402095198631...  \n",
       "8  [-0.0005161305307410657, 0.001048737671226263,...  \n",
       "9  [0.0068297921679914, -0.0012520139571279287, 0...  "
      ]
     },
     "execution_count": 45,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import time\n",
    "from IPython.display import clear_output\n",
    "\n",
    "request_counter = 0\n",
    "total_requests_sent = 0\n",
    "rate_limit= 3000\n",
    "\n",
    "start_timer=time.time()\n",
    "\n",
    "def generate_embeddings(text, model=\"text-embedding-ada-002\"):\n",
    "    global request_counter\n",
    "    global rate_limit\n",
    "    global total_requests_sent\n",
    "    global start_timer\n",
    "    clear_output(wait=True)\n",
    "    check_timer = time.time()\n",
    "    duration = check_timer-start_timer\n",
    "    print(duration)\n",
    "    \n",
    "    if int(duration) >= 60:\n",
    "        start_timer=time.time()\n",
    "        request_counter=0\n",
    "    if request_counter == rate_limit and int(duration) <= 59:\n",
    "        sleep_for = 60-int(duration)\n",
    "        print(\"Sleeping for \" + str(sleep_for) +\" seconds\")\n",
    "        print(\"Total requests sent: \", total_requests_sent)\n",
    "        time.sleep(sleep_for)\n",
    "        start_timer = time.time()\n",
    "        request_counter =0\n",
    "    if request_counter < rate_limit:\n",
    "        request_counter+=1\n",
    "        total_requests_sent+=1\n",
    "        print(\"Request counter: \", request_counter)\n",
    "        print(\"Total requests sent: \", total_requests_sent)\n",
    "        \n",
    "    return openai.Embedding.create(input = [text], model=model)['data'][0]['embedding']\n",
    "\n",
    "df_embeddings = df_tok.copy()\n",
    "df_embeddings['ada_v2_embedding'] = df_tok.CONTENT.transform(lambda x: generate_embeddings(x, model='text-embedding-ada-002'))\n",
    "\n",
    "df_embeddings"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>FILE NAME</th>\n",
       "      <th>CONTENT</th>\n",
       "      <th>n_tokens</th>\n",
       "      <th>ada_v2_embedding</th>\n",
       "      <th>similarities</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>파스토는 어떤 서비스를 제공하나요?.txt</td>\n",
       "      <td>파스토는 상품 입고부터 보관, 택배출고, 차량납품, 포장, 스티커부착, 라벨링 등 ...</td>\n",
       "      <td>239</td>\n",
       "      <td>[0.0068297921679914, -0.0012520139571279287, 0...</td>\n",
       "      <td>0.870424</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>회사소개서를 받아보고 싶어요..txt</td>\n",
       "      <td>아래 링크를 통해 파스토 회사소개서를 다운받으실 수 있습니다. 회사소개서 다운받기 ...</td>\n",
       "      <td>92</td>\n",
       "      <td>[-0.008481170050799847, 0.00138533441349864, 0...</td>\n",
       "      <td>0.864256</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>회원가입을 했는데, 서비스 신청을 꼭 해야만 하나요?.txt</td>\n",
       "      <td>회원가입은 파스토 계정을 생성하는 단계이며, [서비스 신청]을 통해 고객님의 정보 ...</td>\n",
       "      <td>122</td>\n",
       "      <td>[0.0030568114016205072, -0.003844072110950947,...</td>\n",
       "      <td>0.854982</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                           FILE NAME   \n",
       "9            파스토는 어떤 서비스를 제공하나요?.txt  \\\n",
       "2               회사소개서를 받아보고 싶어요..txt   \n",
       "0  회원가입을 했는데, 서비스 신청을 꼭 해야만 하나요?.txt   \n",
       "\n",
       "                                             CONTENT  n_tokens   \n",
       "9  파스토는 상품 입고부터 보관, 택배출고, 차량납품, 포장, 스티커부착, 라벨링 등 ...       239  \\\n",
       "2  아래 링크를 통해 파스토 회사소개서를 다운받으실 수 있습니다. 회사소개서 다운받기 ...        92   \n",
       "0  회원가입은 파스토 계정을 생성하는 단계이며, [서비스 신청]을 통해 고객님의 정보 ...       122   \n",
       "\n",
       "                                    ada_v2_embedding  similarities  \n",
       "9  [0.0068297921679914, -0.0012520139571279287, 0...      0.870424  \n",
       "2  [-0.008481170050799847, 0.00138533441349864, 0...      0.864256  \n",
       "0  [0.0030568114016205072, -0.003844072110950947,...      0.854982  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# search embedded docs based on cosine similarity\n",
    "\n",
    "df_similarities = df_embeddings.copy()\n",
    "\n",
    "def get_embedding(text, model=\"text-embedding-ada-002\"):\n",
    "   return openai.Embedding.create(input = [text], model=model)['data'][0]['embedding']\n",
    "\n",
    "def search_docs(df, user_query, top_n=3, to_print=True):\n",
    "    embedding = get_embedding(\n",
    "        user_query,\n",
    "        model=\"text-embedding-ada-002\"\n",
    "    )\n",
    "\n",
    "    df_similarities[\"similarities\"] = df_embeddings.ada_v2_embedding.apply(lambda x: cosine_similarity(x, embedding))\n",
    "\n",
    "    res = (\n",
    "        df_similarities.sort_values(\"similarities\", ascending=False)\n",
    "        .head(top_n)\n",
    "    )\n",
    "    if to_print:\n",
    "        display(res)\n",
    "    return res\n",
    "\n",
    "question = input(\"무엇을 도와드릴까요?\\n\\n\")\n",
    "\n",
    "res = search_docs(df, question, top_n=3)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "similarities 유사도를 비교해 원하는 QA를 찾을 수 있다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "파스토는 상품 입고부터 보관, 택배출고, 차량납품, 포장, 스티커부착, 라벨링 등 온라인 판매자에게 특화된 물류 서비스를 제공합니다.\n",
      "\n",
      " 특히, 자체 개발한 FMS를 통해 네이버 스마트스토어, 사방넷, NHN커머스(구 고도몰) 등 국내 주요 온라인 서비스들과 주문 연동이 가능한 IT 물류 플랫폼입니다.\n",
      "\n",
      " 파스토의 국내 풀필먼트 서비스 보러가기 더 궁금하신 사항은 [1:1 문의]에 문의 글을 남겨주세요.\n",
      "\n",
      ".\n",
      "\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "[None, None, None, None]"
      ]
     },
     "execution_count": 62,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "[print(sent + '.\\n') for sent in res.CONTENT.values[0].split('.')]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>FILE NAME</th>\n",
       "      <th>CONTENT</th>\n",
       "      <th>n_tokens</th>\n",
       "      <th>ada_v2_embedding</th>\n",
       "      <th>similarities</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>회원가입을 했는데, 서비스 신청을 꼭 해야만 하나요?.txt</td>\n",
       "      <td>회원가입은 파스토 계정을 생성하는 단계이며, [서비스 신청]을 통해 고객님의 정보 ...</td>\n",
       "      <td>122</td>\n",
       "      <td>[0.0030568114016205072, -0.003844072110950947,...</td>\n",
       "      <td>0.854982</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>고가 상품도 보관 가능한가요?.txt</td>\n",
       "      <td>고가 상품의 경우, 별도의 공간에서 상품 특성에 맞추어 보관하고 있으며 이 경우 추...</td>\n",
       "      <td>124</td>\n",
       "      <td>[0.0180361308157444, -0.011002039536833763, 0....</td>\n",
       "      <td>0.818307</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>회사소개서를 받아보고 싶어요..txt</td>\n",
       "      <td>아래 링크를 통해 파스토 회사소개서를 다운받으실 수 있습니다. 회사소개서 다운받기 ...</td>\n",
       "      <td>92</td>\n",
       "      <td>[-0.008481170050799847, 0.00138533441349864, 0...</td>\n",
       "      <td>0.864256</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>사업자등록을 하지 않았는데, 서비스를 이용할 수 있나요?.txt</td>\n",
       "      <td>사업자 등록을 하지 않으신 고객님께서도 일반 회원으로 FASSTO 서비스 이용이 가...</td>\n",
       "      <td>104</td>\n",
       "      <td>[-0.003308518324047327, -0.02395676262676716, ...</td>\n",
       "      <td>0.828535</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>냉동 식품의 경우 얼마간의 판매 예상분을 입고하면 되나요?.txt</td>\n",
       "      <td>물류비 절감을 위해서는 회전율을 고려하여 1~2개월의 판매 예상분을 입고하시는 것이...</td>\n",
       "      <td>89</td>\n",
       "      <td>[-0.00674519082531333, -0.02381369099020958, 0...</td>\n",
       "      <td>0.773964</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>신용카드는 왜 등록하나요?.txt</td>\n",
       "      <td>신용카드 등록은 보증금 대용으로 사용되며, 서비스 신청 완료 이후 물류센터로 상품을...</td>\n",
       "      <td>141</td>\n",
       "      <td>[-0.007321336306631565, -0.019554371014237404,...</td>\n",
       "      <td>0.785221</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>서비스 이용절차는 어떻게 되나요?.txt</td>\n",
       "      <td>[서비스 이용절차] 회원가입 → 서비스 신청 → 서비스 심사 및 센터 배정 → 신용...</td>\n",
       "      <td>369</td>\n",
       "      <td>[0.00035062094684690237, 0.0010457402095198631...</td>\n",
       "      <td>0.817186</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>물류센터 운영시간은 어떻게 되나요?.txt</td>\n",
       "      <td>파스토 센터의 운영시간은 평일 09시 30분 ~ 17시이며, 상품 입고 가능 시간은...</td>\n",
       "      <td>102</td>\n",
       "      <td>[-0.0005161305307410657, 0.001048737671226263,...</td>\n",
       "      <td>0.849398</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>파스토는 어떤 서비스를 제공하나요?.txt</td>\n",
       "      <td>파스토는 상품 입고부터 보관, 택배출고, 차량납품, 포장, 스티커부착, 라벨링 등 ...</td>\n",
       "      <td>239</td>\n",
       "      <td>[0.0068297921679914, -0.0012520139571279287, 0...</td>\n",
       "      <td>0.870424</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                              FILE NAME   \n",
       "0     회원가입을 했는데, 서비스 신청을 꼭 해야만 하나요?.txt  \\\n",
       "1                  고가 상품도 보관 가능한가요?.txt   \n",
       "2                  회사소개서를 받아보고 싶어요..txt   \n",
       "3   사업자등록을 하지 않았는데, 서비스를 이용할 수 있나요?.txt   \n",
       "5  냉동 식품의 경우 얼마간의 판매 예상분을 입고하면 되나요?.txt   \n",
       "6                    신용카드는 왜 등록하나요?.txt   \n",
       "7                서비스 이용절차는 어떻게 되나요?.txt   \n",
       "8               물류센터 운영시간은 어떻게 되나요?.txt   \n",
       "9               파스토는 어떤 서비스를 제공하나요?.txt   \n",
       "\n",
       "                                             CONTENT  n_tokens   \n",
       "0  회원가입은 파스토 계정을 생성하는 단계이며, [서비스 신청]을 통해 고객님의 정보 ...       122  \\\n",
       "1  고가 상품의 경우, 별도의 공간에서 상품 특성에 맞추어 보관하고 있으며 이 경우 추...       124   \n",
       "2  아래 링크를 통해 파스토 회사소개서를 다운받으실 수 있습니다. 회사소개서 다운받기 ...        92   \n",
       "3  사업자 등록을 하지 않으신 고객님께서도 일반 회원으로 FASSTO 서비스 이용이 가...       104   \n",
       "5  물류비 절감을 위해서는 회전율을 고려하여 1~2개월의 판매 예상분을 입고하시는 것이...        89   \n",
       "6  신용카드 등록은 보증금 대용으로 사용되며, 서비스 신청 완료 이후 물류센터로 상품을...       141   \n",
       "7  [서비스 이용절차] 회원가입 → 서비스 신청 → 서비스 심사 및 센터 배정 → 신용...       369   \n",
       "8  파스토 센터의 운영시간은 평일 09시 30분 ~ 17시이며, 상품 입고 가능 시간은...       102   \n",
       "9  파스토는 상품 입고부터 보관, 택배출고, 차량납품, 포장, 스티커부착, 라벨링 등 ...       239   \n",
       "\n",
       "                                    ada_v2_embedding  similarities  \n",
       "0  [0.0030568114016205072, -0.003844072110950947,...      0.854982  \n",
       "1  [0.0180361308157444, -0.011002039536833763, 0....      0.818307  \n",
       "2  [-0.008481170050799847, 0.00138533441349864, 0...      0.864256  \n",
       "3  [-0.003308518324047327, -0.02395676262676716, ...      0.828535  \n",
       "5  [-0.00674519082531333, -0.02381369099020958, 0...      0.773964  \n",
       "6  [-0.007321336306631565, -0.019554371014237404,...      0.785221  \n",
       "7  [0.00035062094684690237, 0.0010457402095198631...      0.817186  \n",
       "8  [-0.0005161305307410657, 0.001048737671226263,...      0.849398  \n",
       "9  [0.0068297921679914, -0.0012520139571279287, 0...      0.870424  "
      ]
     },
     "execution_count": 63,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_similarities"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      ".파스토는 요금 정책을 개별 상품 및 사용 기간에 따른 가격을 책정하고 있습니다.이 가격에는 물류 서비스 이용료, 재고관리 수수료, 입고 및 적시 출고 수수료, 택배 및 차량 운송 수수료, 기본 포장 비용 및 패키지 부가 기능 비용, 라벨링 및 스티커 부착 비용 등이 포함되어 있습니다. 또한 이용 기간과 어떤 매장에 사용할지와 같은 상황에 따라 다른 요금 정책이 적용될 수 있습니다. 가격에 대한 보다 자세한 내용은 홈페이지에서 확인해주세요.\n"
     ]
    }
   ],
   "source": [
    "\n",
    "def search_docs(df, user_query, top_n=3, to_print=True):\n",
    "    embedding = get_embedding(\n",
    "        user_query,\n",
    "        model=\"text-embedding-ada-002\"\n",
    "    )\n",
    "    \n",
    "    df_question = df_similarities.copy()\n",
    "    df_question[\"similarities\"] = df_similarities.ada_v2_embedding.apply(lambda x: cosine_similarity(x, embedding))\n",
    "\n",
    "    res = (\n",
    "        df_question.sort_values(\"similarities\", ascending=False)\n",
    "        .head(top_n)\n",
    "    )\n",
    "    return res\n",
    "\n",
    "res = search_docs(df, question, top_n=1)\n",
    "\n",
    "ai_question = input(\"무엇을 도와드릴까요?\\n\\n\")\n",
    "context= res.CONTENT.values\n",
    "completion_model='text-davinci-003'\n",
    "\n",
    "initial_prompt = \"AI 도우미 봇 입니다. 원하는 서비스 질문을 대답해드립니다.\"\n",
    "\n",
    "combined_prompt = initial_prompt + str(context) + \"Q: \" + ai_question\n",
    "response = openai.Completion.create(model=completion_model, prompt=combined_prompt, max_tokens=1000)\n",
    "ai_response = response['choices'][0]['text'].replace('\\n', '').replace(' .', '.').strip()\n",
    "\n",
    "print(\"\\n\"+ ai_response)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      ".\n",
      "\n",
      "파스토는 요금 정책을 개별 상품 및 사용 기간에 따른 가격을 책정하고 있습니다.\n",
      "\n",
      "이 가격에는 물류 서비스 이용료, 재고관리 수수료, 입고 및 적시 출고 수수료, 택배 및 차량 운송 수수료, 기본 포장 비용 및 패키지 부가 기능 비용, 라벨링 및 스티커 부착 비용 등이 포함되어 있습니다.\n",
      "\n",
      " 또한 이용 기간과 어떤 매장에 사용할지와 같은 상황에 따라 다른 요금 정책이 적용될 수 있습니다.\n",
      "\n",
      " 가격에 대한 보다 자세한 내용은 홈페이지에서 확인해주세요.\n",
      "\n",
      ".\n",
      "\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "[None, None, None, None, None, None]"
      ]
     },
     "execution_count": 66,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "[print(sent + '.\\n') for sent in ai_response.split('.')]"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.7"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}