[FEATURE] Créer un script pour supprimer des références dans "snapshot" de la table "knowledge-element-snapshots" (PIX-15756) #11231
Conversation
lionelB
added
👀 Tech Review Needed
👀 Func Review Needed
|
Une fois les applications déployées, elles seront accessibles via les liens suivants :
Les variables d'environnement seront accessibles via les liens suivants : |
lionelB
force-pushed
the
pix-15756/purge-ke-snapshot
branch
from
aa9979d to
0a8d8bb
Compare
Alexandre-Monney
changed the title
This comment was marked as outdated.
This comment was marked as outdated.
Sorry, something went wrong.
lionelB
force-pushed
the
pix-15756/purge-ke-snapshot
branch
from
26d0bdf to
95292f4
Compare
lionelB
force-pushed
the
pix-15756/purge-ke-snapshot
branch
from
95292f4 to
95a6177
Compare
|
Je rebondis sur la remarque (Il faudra faire une 2ieme PR pour arréter d'enregistrer ces données dans les snapshot) : ne devrait-on pas d'abord arrêter d'enregistrer avant de nettoyer les données ? |
| await dependencies.pause(options.pauseDuration); | ||
| } | ||
| chunkDone += 1; | ||
| logInfo(`${chunkDone}/${nbChunk} chunk done ! `); |
There was a problem hiding this comment.
| logInfo(`${chunkDone}/${nbChunk} chunk done ! `); | |
| logInfo(`${chunkDone}/${nbChunk} chunks done ! `); |
| .where('id', id) | ||
| .update({ | ||
| // we keep only these property from snapshot | ||
| snapshot: JSON.stringify( |
There was a problem hiding this comment.
on a lodash côté backend, on peut simplifier l'écriture avec la fonction pick:
cleanedSnapshot = pick(snapshot, ['source', 'status', 'skillId', 'answerId', 'createdAt', 'earnedPix', 'competenceId'])
...
snapshot: JSON.stringify(cleanedSnapshot)
|
@HEYGUL oui c'est ce qu'il faut qu'on fasse avant pour éviter de relancer plusieurs le script. |
| .orderBy('id', 'asc'); | ||
| } | ||
| function getKnowlegdeElementSnapshotCount() { | ||
| return getKnowlegdeElementSnapshotsQuery().count().first(); |
There was a problem hiding this comment.
todo : on aimerait faire un count(1) vu la taille de table
There was a problem hiding this comment.
There was a problem hiding this comment.
.count({ count: 1 }) ce genre d'écriture devrait fonctionner
🥞 Problème
Dans le cadre de la mise en conformité RGPD, on souhaite supprimer les références à
userId/assessmentIddans le champ jsonbsnapshot🥓 Proposition
Faire un script qui supprime les données déjà présentes.
🧃 Remarques
Il faudra faire une 2ieme PR pour arréter d'enregistrer ces données dans les snapshot
😋 Pour tester
scalingo -a pix-api-review-prxxx pgsql-consoleselect snapshot from "knowledge-element-snapshots"userIdassessmentIdscalingo -a pix-api-review-prxxx run "node scripts/prod/clean-ke-snapshots.js"userIdassessmentIdselect snapshot from "knowledge-element-snapshots"