Sprint 2

README.md

@@ -1,4 +1,4 @@
-# pymongo-api
+# Шардирование
 
 ## Как запустить
 
@@ -8,28 +8,169 @@
 docker compose up -d
 ```
 
-Заполняем mongodb данными
+Подключаемся к серверу конфигурации и проводим инициализацию
 
 ```shell
-./scripts/mongo-init.sh
+docker exec -it configSrv mongosh --port 27017
+```
+
+```shell
+rs.initiate(
+  {
+    _id : "config_server",
+       configsvr: true,
+    members: [
+      { _id : 0, host : "configSrv:27017" }
+    ]
+  }
+);
+
+exit();
+```
+
+Инициализируем шард №1 с набором реплик
+
+```shell
+docker exec -it shard1-node1 mongosh --port 27018
+```
+
+```shell
+rs.initiate(
+    {
+      _id : "shard1",
+      members: [
+        { _id : 0, host : "shard1-node1:27018" },
+        { _id : 1, host : "shard1-node2:27018" },
+        { _id : 2, host : "shard1-node3:27018" }
+      ]
+    }
+);
+
+exit();
+```
+
+Инициализируем шард №2 с набором реплик
+
+```shell
+docker exec -it shard2-node1 mongosh --port 27019
+```
+
+```shell
+rs.initiate(
+    {
+      _id : "shard2",
+      members: [
+        { _id : 3, host : "shard2-node1:27019" },
+        { _id : 4, host : "shard2-node2:27019" },
+        { _id : 5, host : "shard2-node3:27019" }
+      ]
+    }
+);
+
+exit();
+```
+
+Инициализируем роутер и наполняем его тестовыми данными
+
+```shell
+docker exec -it mongos_router mongosh --port 27020
+```
+
+```shell
+# Добавление реплика-сетов как шардов
+sh.addShard( "shard1/shard1-node1:27018,shard1-node2:27018,shard1-node3:27018");
+sh.addShard( "shard2/shard2-node1:27019,shard2-node2:27019,shard2-node3:27019");
+
+sh.enableSharding("somedb");
+sh.shardCollection("somedb.helloDoc", { "name" : "hashed" } );
+
+use somedb;
+
+for(var i = 0; i < 1000; i++) db.helloDoc.insert({age:i, name:"ly"+i});
+
+# Выводим кол-во документов
+db.helloDoc.countDocuments();
+exit();
 ```
 
 ## Как проверить
 
-### Если вы запускаете проект на локальной машине
+Для этого проведем проверку кол-ва документов на шардах и в репликах.
 
-Откройте в браузере http://localhost:8080
+Шард №1 реплика 1
 
-### Если вы запускаете проект на предоставленной виртуальной машине
+```shell
+docker exec -it shard1-node1 mongosh --port 27018
+```
 
-Узнать белый ip виртуальной машины
+```shell
+use somedb;
+db.helloDoc.countDocuments();
+exit();
+```
+
+Шард №1 реплика 2
+
+```shell
+docker exec -it shard1-node2 mongosh --port 27018
+```
+
+```shell
+use somedb;
+db.helloDoc.countDocuments();
+exit();
+```
+
+Шард №1 реплика 3
+
+```shell
+docker exec -it shard1-node3 mongosh --port 27018
+```
+
+```shell
+use somedb;
+db.helloDoc.countDocuments();
+exit();
+```
+
+Кол-во документов во всех репликах должно совпадать
+
+Шард №2 реплика 1
 
 ```shell
-curl --silent http://ifconfig.me
+docker exec -it shard2-node1 mongosh --port 27019
 ```
 
-Откройте в браузере http://<ip виртуальной машины>:8080
+```shell
+use somedb;
+db.helloDoc.countDocuments();
+exit();
+```
+
+Шард №2 реплика 2
+
+```shell
+docker exec -it shard2-node2 mongosh --port 27019
+```
+
+```shell
+use somedb;
+db.helloDoc.countDocuments();
+exit();
+```
+
+Шард №2 реплика 3
+
+```shell
+docker exec -it shard2-node3 mongosh --port 27019
+```
+
+```shell
+use somedb;
+db.helloDoc.countDocuments();
+exit();
+```
 
-## Доступные эндпоинты
+Кол-во документов во всех репликах должно совпадать
 
-Список доступных эндпоинтов, swagger http://<ip виртуальной машины>:8080/docs
+Сумма документов в обоих шардах (в одной из реплик на каждом) должна быть равна кол-ву документов, которое было получено при проверке на шаге инициализации роутера.

compose.yaml

@@ -7,7 +7,7 @@ services:
 
   pymongo_api:
     container_name: pymongo_api
-    build: 
+    build:
       context: api_app
       dockerfile: Dockerfile
     image: kazhem/pymongo_api:1.0.0
@@ -19,6 +19,5 @@ services:
       MONGODB_URL: "mongodb://mongodb1"
       MONGODB_DATABASE_NAME: "somedb"
 
-
 volumes:
-  mongodb1_data_container:
+  mongodb1_data_container:

mongo-sharding-repl/README.md

@@ -0,0 +1,176 @@
+# Шардирование
+
+## Как запустить
+
+Запускаем mongodb и приложение
+
+```shell
+docker compose up -d
+```
+
+Подключаемся к серверу конфигурации и проводим инициализацию
+
+```shell
+docker exec -it configSrv mongosh --port 27017
+```
+
+```shell
+rs.initiate(
+  {
+    _id : "config_server",
+       configsvr: true,
+    members: [
+      { _id : 0, host : "configSrv:27017" }
+    ]
+  }
+);
+
+exit();
+```
+
+Инициализируем шард №1 с набором реплик
+
+```shell
+docker exec -it shard1-node1 mongosh --port 27018
+```
+
+```shell
+rs.initiate(
+    {
+      _id : "shard1",
+      members: [
+        { _id : 0, host : "shard1-node1:27018" },
+        { _id : 1, host : "shard1-node2:27018" },
+        { _id : 2, host : "shard1-node3:27018" }
+      ]
+    }
+);
+
+exit();
+```
+
+Инициализируем шард №2 с набором реплик
+
+```shell
+docker exec -it shard2-node1 mongosh --port 27019
+```
+
+```shell
+rs.initiate(
+    {
+      _id : "shard2",
+      members: [
+        { _id : 3, host : "shard2-node1:27019" },
+        { _id : 4, host : "shard2-node2:27019" },
+        { _id : 5, host : "shard2-node3:27019" }
+      ]
+    }
+);
+
+exit();
+```
+
+Инициализируем роутер и наполняем его тестовыми данными
+
+```shell
+docker exec -it mongos_router mongosh --port 27020
+```
+
+```shell
+# Добавление реплика-сетов как шардов
+sh.addShard( "shard1/shard1-node1:27018,shard1-node2:27018,shard1-node3:27018");
+sh.addShard( "shard2/shard2-node1:27019,shard2-node2:27019,shard2-node3:27019");
+
+sh.enableSharding("somedb");
+sh.shardCollection("somedb.helloDoc", { "name" : "hashed" } );
+
+use somedb;
+
+for(var i = 0; i < 1000; i++) db.helloDoc.insert({age:i, name:"ly"+i});
+
+# Выводим кол-во документов
+db.helloDoc.countDocuments();
+exit();
+```
+
+## Как проверить
+
+Для этого проведем проверку кол-ва документов на шардах и в репликах.
+
+Шард №1 реплика 1
+
+```shell
+docker exec -it shard1-node1 mongosh --port 27018
+```
+
+```shell
+use somedb;
+db.helloDoc.countDocuments();
+exit();
+```
+
+Шард №1 реплика 2
+
+```shell
+docker exec -it shard1-node2 mongosh --port 27018
+```
+
+```shell
+use somedb;
+db.helloDoc.countDocuments();
+exit();
+```
+
+Шард №1 реплика 3
+
+```shell
+docker exec -it shard1-node3 mongosh --port 27018
+```
+
+```shell
+use somedb;
+db.helloDoc.countDocuments();
+exit();
+```
+
+Кол-во документов во всех репликах должно совпадать
+
+Шард №2 реплика 1
+
+```shell
+docker exec -it shard2-node1 mongosh --port 27019
+```
+
+```shell
+use somedb;
+db.helloDoc.countDocuments();
+exit();
+```
+
+Шард №2 реплика 2
+
+```shell
+docker exec -it shard2-node2 mongosh --port 27019
+```
+
+```shell
+use somedb;
+db.helloDoc.countDocuments();
+exit();
+```
+
+Шард №2 реплика 3
+
+```shell
+docker exec -it shard2-node3 mongosh --port 27019
+```
+
+```shell
+use somedb;
+db.helloDoc.countDocuments();
+exit();
+```
+
+Кол-во документов во всех репликах должно совпадать
+
+Сумма документов в обоих шардах (в одной из реплик на каждом) должна быть равна кол-ву документов, которое было получено при проверке на шаге инициализации роутера.

mongo-sharding-repl/api_app/Dockerfile

@@ -0,0 +1,10 @@
+FROM python:3.12.1-slim
+WORKDIR /app
+EXPOSE 8080
+COPY requirements.txt ./
+# Устанавливаем зависимости python не пересобирая их
+RUN pip install --no-cache --no-cache-dir -r requirements.txt
+# Копирование кода приложения
+COPY app.py /app/
+ENTRYPOINT ["uvicorn"]
+CMD ["app:app", "--host", "0.0.0.0", "--port", "8080"]