ottimizzate update e insert

Author: januabisconti

src/Console/ProcessCacheInvalidationEventsCommand.php

@@ -109,7 +109,7 @@ protected function processEvents(int $shardId, int $priority, int $limit, int $t
         $counter = 0;
 
         // Fetch associated identifiers for the events
-        // TODO JB 31/12/2024: per adesso commentato, da riattivare quando tutto funziona alla perfezione usando la partizione
+        // TODO JB 31/12/2024: per adesso commentato, da riattivare quando tutto funziona alla perfezione usando la partizione e soprattutto quando l'insertGetId è stato riattivato nll'helper
         $associations = collect();
         /*
         $eventIds = $events->pluck('id')->all();
@@ -255,6 +255,7 @@ protected function getRecordsFromDb(array $tuples): array
             $params[] = $identifier;
         }
 
+        // ATTENZIONE, qui non si può usare la partizione diretta perchè i record possono essere in partizioni diverse
         $sql = "SELECT identifier_type,
                         identifier,
                         last_invalidated
@@ -303,7 +304,11 @@ protected function updateLastInvalidationTimes(array $identifiers): void
 
         foreach ($identifiers as $key) {
             [$type, $identifier] = explode(':', $key, 2);
-            DB::table('cache_invalidation_timestamps')
+            // Qui si può usare la partizione
+            $partitionCache_invalidation_timestamps = $this->helper->getCacheInvalidationTimestampsPartitionName();
+
+            //DB::table('cache_invalidation_timestamps')
+            DB::table(DB::raw("`cache_invalidation_timestamps` PARTITION ({$partitionCache_invalidation_timestamps})"))
                 ->updateOrInsert(
                     ['identifier_type' => $type, 'identifier' => $identifier],
                     ['last_invalidated' => $now]
@@ -371,30 +376,39 @@ protected function processBatch(array $batchIdentifiers, array $eventsToUpdate,
             $this->invalidateTags($tags);
         }
 
-        while ($attempts < $maxAttempts && !$updatedOk) {
-            // Begin transaction for the batch
-            DB::beginTransaction();
-
-            try {
-                // Mark events as processed
-                $partitionCache_invalidation_events = $this->helper->getCacheInvalidationEventsPartitionName($shard, $priority);
-                DB::table(DB::raw("`cache_invalidation_events` PARTITION ({$partitionCache_invalidation_events})"))
-                    ->whereIn('id', $eventsToUpdate)
-                    ->update(['processed' => 1])
-                ;
-
-                // Commit transaction
-                DB::commit();
-                $updatedOk = true;
-            } catch (\Throwable $e) {
-                // Rollback transaction on error
-                DB::rollBack();
-                $attempts++;
-                $this->warn(now()->toDateTimeString() . ": Tentativo $attempts di $maxAttempts: " . $e->getMessage());
-                // Logica per gestire i tentativi falliti
-                if ($attempts >= $maxAttempts) {
-                    // Salta il record dopo il numero massimo di tentativi
-                    throw $e;
+        $shards = config('super_cache_invalidate.total_shards', 10);
+        $partitionCache_invalidation_events = $this->helper->getCacheInvalidationEventsPartitionName($shard, $priority);
+        $partitionKey = ($priority * $shards) + $shard + 1;
+        foreach ($eventsToUpdate as $eventToUpdateId) {
+            while ($attempts < $maxAttempts && !$updatedOk) {
+                // Begin transaction for the batch
+                DB::beginTransaction();
+                try {
+                    // Disabilita i controlli delle chiavi esterne e dei vincoli univoci
+                    DB::statement('SET FOREIGN_KEY_CHECKS=0;');
+                    DB::statement('SET UNIQUE_CHECKS=0;');
+                    // Mark event as processed
+                    DB::table(DB::raw("`cache_invalidation_events` PARTITION ({$partitionCache_invalidation_events})"))
+                        ->where('id', $eventToUpdateId)
+                        ->where('partition_key', $partitionKey)
+                        ->update(['processed' => 1])
+                    ;
+                    // Riattiva i controlli
+                    DB::statement('SET UNIQUE_CHECKS=1;');
+                    DB::statement('SET FOREIGN_KEY_CHECKS=1;');
+                    // Commit transaction
+                    DB::commit();
+                    $updatedOk = true;
+                } catch (\Throwable $e) {
+                    // Rollback transaction on error
+                    DB::rollBack();
+                    $attempts++;
+                    $this->warn(now()->toDateTimeString() . ": Tentativo $attempts di $maxAttempts: " . $e->getMessage());
+                    // Logica per gestire i tentativi falliti
+                    if ($attempts >= $maxAttempts) {
+                        // Salta il record dopo il numero massimo di tentativi
+                        throw $e;
+                    }
                 }
             }
         }

src/Helpers/SuperCacheInvalidationHelper.php

@@ -53,10 +53,11 @@ public function insertInvalidationEvent(
                 // Cerca di bloccare il record per l'inserimento
                 $partitionCache_invalidation_events = $this->getCacheInvalidationEventsPartitionName($shard, $priority);
 
-                $eventId = DB::table(DB::raw("`cache_invalidation_events` PARTITION ({$partitionCache_invalidation_events})"))->insertGetId($data);
-
+                //$eventId = DB::table(DB::raw("`cache_invalidation_events` PARTITION ({$partitionCache_invalidation_events})"))->insertGetId($data);
+                DB::table(DB::raw("`cache_invalidation_events` PARTITION ({$partitionCache_invalidation_events})"))->insert($data);
                 // Insert associated identifiers
-                // TODO JB 31/12/2024: per adesso commentato, da riattivare quando tutto funziona alla perfezione usando la partizione
+                // TODO JB 31/12/2024: per adesso commentato, da riattivare quando tutto funziona alla perfezione usando la partizione,
+                // anche perchè la chiave primaria è data da id e partiton_key, per cui va capito cosa restituisce insertGetId e se è bloccante
                 /*
                 if (!empty($associatedIdentifiers)) {
                     $associations = [];
@@ -136,8 +137,6 @@ public function getCacheInvalidationEventsPartitionName(int $shardId, int $prior
         $shards = config('super_cache_invalidate.total_shards', 10);
         $priorities = [0, 1];
 
-        $partitionStatements = [];
-
         $partitionValueId = ($priorityId * $shards) + $shardId + 1;
 
         // Partitions for unprocessed events
@@ -153,4 +152,23 @@ public function getCacheInvalidationEventsPartitionName(int $shardId, int $prior
 
         return '';
     }
+
+    public function getCacheInvalidationTimestampsPartitionName(): string
+    {
+        $now = now();
+        $partitionValueId = ($now->year * 100 + $now->weekOfYear) + 1;
+        $startYear = 2024;
+        $endYear = 2030;
+
+        for ($year = $startYear; $year <= $endYear; $year++) {
+            for ($week = 1; $week <= 53; $week++) {
+                $partitionName = "p_{$year}w{$week}";
+                $partitionValue = ($year * 100 + $week) + 1;
+                if ($partitionValueId < $partitionValue) {
+                    return $partitionName;
+                }
+            }
+        }
+        return '';
+    }
 }