-fixed _clear() in peers "helper"
[oweals/gnunet.git] / src / namestore / plugin_namestore_sqlite.c
index 729b916ca4ef962ff9a54f752146a82153c9759b..836aa4d37d3c66ec51ca6f9f5863b91a243889d3 100644 (file)
@@ -1,6 +1,6 @@
  /*
   * This file is part of GNUnet
-  * (C) 2009-2013 Christian Grothoff (and other contributing authors)
+  * Copyright (C) 2009-2013 Christian Grothoff (and other contributing authors)
   *
   * GNUnet is free software; you can redistribute it and/or modify
   * it under the terms of the GNU General Public License as published
@@ -14,8 +14,8 @@
   *
   * You should have received a copy of the GNU General Public License
   * along with GNUnet; see the file COPYING.  If not, write to the
-  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
-  * Boston, MA 02111-1307, USA.
+  * Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
+  * Boston, MA 02110-1301, USA.
   */
 
 /**
@@ -27,6 +27,7 @@
 #include "platform.h"
 #include "gnunet_namestore_plugin.h"
 #include "gnunet_namestore_service.h"
+#include "gnunet_gnsrecord_lib.h"
 #include "namestore.h"
 #include <sqlite3.h>
 
@@ -71,26 +72,6 @@ struct Plugin
    */
   sqlite3 *dbh;
 
-  /**
-   * Precompiled SQL for caching a block
-   */
-  sqlite3_stmt *cache_block;
-
-  /**
-   * Precompiled SQL for deleting an older block
-   */
-  sqlite3_stmt *delete_block;
-
-  /**
-   * Precompiled SQL for looking up a block
-   */
-  sqlite3_stmt *lookup_block;
-
-  /**
-   * Precompiled SQL for removing expired blocks
-   */
-  sqlite3_stmt *expire_blocks;
-
   /**
    * Precompiled SQL to store records.
    */
@@ -116,6 +97,10 @@ struct Plugin
    */
   sqlite3_stmt *zone_to_name;
 
+  /**
+   * Precompiled SQL to lookup records based on label.
+   */
+  sqlite3_stmt *lookup_label;
 };
 
 
@@ -152,12 +137,6 @@ create_indices (sqlite3 * dbh)
 {
   /* create indices */
   if ( (SQLITE_OK !=
-       sqlite3_exec (dbh, "CREATE INDEX IF NOT EXISTS ir_query_hash ON ns096blocks (query,expiration_time)",
-                     NULL, NULL, NULL)) ||
-       (SQLITE_OK !=
-       sqlite3_exec (dbh, "CREATE INDEX IF NOT EXISTS ir_block_expiration ON ns096blocks (expiration_time)",
-                     NULL, NULL, NULL)) ||
-       (SQLITE_OK !=
        sqlite3_exec (dbh, "CREATE INDEX IF NOT EXISTS ir_pkey_reverse ON ns097records (zone_private_key,pkey)",
                      NULL, NULL, NULL)) ||
        (SQLITE_OK !=
@@ -177,7 +156,7 @@ create_indices (sqlite3 * dbh)
 #else
 #define ENULL &e
 #define ENULL_DEFINED 1
-#define CHECK(a) if (! a) { GNUNET_log(GNUNET_ERROR_TYPE_ERROR, "%s\n", e); sqlite3_free(e); }
+#define CHECK(a) if (! (a)) { GNUNET_log(GNUNET_ERROR_TYPE_ERROR, "%s\n", e); sqlite3_free(e); }
 #endif
 
 
@@ -244,9 +223,6 @@ database_setup (struct Plugin *plugin)
   CHECK (SQLITE_OK ==
          sqlite3_exec (plugin->dbh, "PRAGMA locking_mode=EXCLUSIVE", NULL, NULL,
                        ENULL));
-  CHECK (SQLITE_OK ==
-         sqlite3_exec (plugin->dbh, "PRAGMA count_changes=OFF", NULL, NULL,
-                       ENULL));
   CHECK (SQLITE_OK ==
          sqlite3_exec (plugin->dbh, "PRAGMA page_size=4092", NULL, NULL,
                        ENULL));
@@ -254,27 +230,7 @@ database_setup (struct Plugin *plugin)
   CHECK (SQLITE_OK == sqlite3_busy_timeout (plugin->dbh, BUSY_TIMEOUT_MS));
 
 
-  /* Create tables */
-  CHECK (SQLITE_OK ==
-         sq_prepare (plugin->dbh,
-                     "SELECT 1 FROM sqlite_master WHERE tbl_name = 'ns096blocks'",
-                     &stmt));
-  if ((sqlite3_step (stmt) == SQLITE_DONE) &&
-      (sqlite3_exec
-       (plugin->dbh,
-        "CREATE TABLE ns096blocks ("
-        " query BLOB NOT NULL DEFAULT '',"
-        " block BLOB NOT NULL DEFAULT '',"
-        " expiration_time INT8 NOT NULL DEFAULT 0"
-       ")",
-       NULL, NULL, NULL) != SQLITE_OK))
-  {
-    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR, "sqlite3_exec");
-    sqlite3_finalize (stmt);
-    return GNUNET_SYSERR;
-  }
-  sqlite3_finalize (stmt);
-
+  /* Create table */
   CHECK (SQLITE_OK ==
          sq_prepare (plugin->dbh,
                      "SELECT 1 FROM sqlite_master WHERE tbl_name = 'ns097records'",
@@ -301,22 +257,6 @@ database_setup (struct Plugin *plugin)
   create_indices (plugin->dbh);
 
   if ((sq_prepare
-       (plugin->dbh,
-        "INSERT INTO ns096blocks (query,block,expiration_time) VALUES (?, ?, ?)",
-        &plugin->cache_block) != SQLITE_OK) ||
-      (sq_prepare
-       (plugin->dbh,
-        "DELETE FROM ns096blocks WHERE expiration_time<?",
-        &plugin->expire_blocks) != SQLITE_OK) ||
-      (sq_prepare
-       (plugin->dbh,
-        "DELETE FROM ns096blocks WHERE query=? AND expiration_time<=?",
-        &plugin->delete_block) != SQLITE_OK) ||
-      (sq_prepare
-       (plugin->dbh,
-        "SELECT block FROM ns096blocks WHERE query=? ORDER BY expiration_time DESC LIMIT 1",
-        &plugin->lookup_block) != SQLITE_OK) ||
-      (sq_prepare
        (plugin->dbh,
         "INSERT INTO ns097records (zone_private_key, pkey, rvalue, record_count, record_data, label)"
        " VALUES (?, ?, ?, ?, ?, ?)",
@@ -339,7 +279,12 @@ database_setup (struct Plugin *plugin)
        (plugin->dbh,
        "SELECT record_count,record_data,label,zone_private_key"
        " FROM ns097records ORDER BY rvalue LIMIT 1 OFFSET ?",
-       &plugin->iterate_all_zones) != SQLITE_OK)
+       &plugin->iterate_all_zones) != SQLITE_OK)  ||
+      (sq_prepare
+       (plugin->dbh,
+        "SELECT record_count,record_data,label,zone_private_key"
+        " FROM ns097records WHERE zone_private_key=? AND label=?",
+        &plugin->lookup_label) != SQLITE_OK)
       )
   {
     LOG_SQLITE (plugin,GNUNET_ERROR_TYPE_ERROR, "precompiling");
@@ -360,14 +305,6 @@ database_shutdown (struct Plugin *plugin)
   int result;
   sqlite3_stmt *stmt;
 
-  if (NULL != plugin->cache_block)
-    sqlite3_finalize (plugin->cache_block);
-  if (NULL != plugin->lookup_block)
-    sqlite3_finalize (plugin->lookup_block);
-  if (NULL != plugin->expire_blocks)
-    sqlite3_finalize (plugin->expire_blocks);
-  if (NULL != plugin->delete_block)
-    sqlite3_finalize (plugin->delete_block);
   if (NULL != plugin->store_records)
     sqlite3_finalize (plugin->store_records);
   if (NULL != plugin->delete_records)
@@ -378,6 +315,8 @@ database_shutdown (struct Plugin *plugin)
     sqlite3_finalize (plugin->iterate_all_zones);
   if (NULL != plugin->zone_to_name)
     sqlite3_finalize (plugin->zone_to_name);
+  if (NULL != plugin->zone_to_name)
+    sqlite3_finalize (plugin->lookup_label);
   result = sqlite3_close (plugin->dbh);
   if (result == SQLITE_BUSY)
   {
@@ -403,246 +342,6 @@ database_shutdown (struct Plugin *plugin)
 }
 
 
-/**
- * Removes any expired block.
- *
- * @param plugin the plugin
- */
-static void
-namestore_sqlite_expire_blocks (struct Plugin *plugin)
-{
-  struct GNUNET_TIME_Absolute now;
-  int n;
-
-  now = GNUNET_TIME_absolute_get ();
-  if (SQLITE_OK != sqlite3_bind_int64 (plugin->expire_blocks,
-                                      1, now.abs_value_us))
-  {
-    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-                "sqlite3_bind_XXXX");
-    if (SQLITE_OK != sqlite3_reset (plugin->expire_blocks))
-      LOG_SQLITE (plugin,
-                  GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-                  "sqlite3_reset");
-    return;
-  }
-  n = sqlite3_step (plugin->expire_blocks);
-  if (SQLITE_OK != sqlite3_reset (plugin->expire_blocks))
-    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-                "sqlite3_reset");
-  switch (n)
-  {
-  case SQLITE_DONE:
-    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, "sqlite", "Records expired\n");
-    return;
-  case SQLITE_BUSY:
-    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_WARNING | GNUNET_ERROR_TYPE_BULK,
-                "sqlite3_step");
-    return;
-  default:
-    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-                "sqlite3_step");
-    return;
-  }
-}
-
-
-/**
- * Cache a block in the datastore.
- *
- * @param cls closure (internal context for the plugin)
- * @param block block to cache
- * @return #GNUNET_OK on success, else #GNUNET_SYSERR
- */
-static int
-namestore_sqlite_cache_block (void *cls,
-                             const struct GNUNET_NAMESTORE_Block *block)
-{
-  struct Plugin *plugin = cls;
-  struct GNUNET_HashCode query;
-  struct GNUNET_TIME_Absolute expiration;
-  int64_t dval;
-  size_t block_size;
-  int n;
-
-  namestore_sqlite_expire_blocks (plugin);
-  GNUNET_CRYPTO_hash (&block->derived_key,
-                     sizeof (struct GNUNET_CRYPTO_EcdsaPublicKey),
-                     &query);
-  expiration = GNUNET_TIME_absolute_ntoh (block->expiration_time);
-  dval = (int64_t) expiration.abs_value_us;
-  if (dval < 0)
-    dval = INT64_MAX;
-  block_size = ntohl (block->purpose.size) +
-    sizeof (struct GNUNET_CRYPTO_EcdsaPublicKey) +
-    sizeof (struct GNUNET_CRYPTO_EcdsaSignature);
-  if (block_size > 64 * 65536)
-  {
-    GNUNET_break (0);
-    return GNUNET_SYSERR;
-  }
-
-  /* delete old version of the block */
-  if ( (SQLITE_OK !=
-        sqlite3_bind_blob (plugin->delete_block, 1,
-                           &query, sizeof (struct GNUNET_HashCode),
-                           SQLITE_STATIC)) ||
-       (SQLITE_OK !=
-        sqlite3_bind_int64 (plugin->delete_block,
-                            2, dval)) )
-  {
-    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-                "sqlite3_bind_XXXX");
-    if (SQLITE_OK != sqlite3_reset (plugin->delete_block))
-      LOG_SQLITE (plugin,
-                  GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-                  "sqlite3_reset");
-    return GNUNET_SYSERR;
-  }
-  n = sqlite3_step (plugin->delete_block);
-  switch (n)
-  {
-  case SQLITE_DONE:
-    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, "sqlite", "Old block deleted\n");
-    break;
-  case SQLITE_BUSY:
-    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_WARNING | GNUNET_ERROR_TYPE_BULK,
-                "sqlite3_step");
-    break;
-  default:
-    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-                "sqlite3_step");
-    break;
-  }
-  if (SQLITE_OK != sqlite3_reset (plugin->delete_block))
-    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-               "sqlite3_reset");
-
-  /* insert new version of the block */
-  if ((SQLITE_OK !=
-       sqlite3_bind_blob (plugin->cache_block, 1,
-                         &query, sizeof (struct GNUNET_HashCode),
-                         SQLITE_STATIC)) ||
-      (SQLITE_OK !=
-       sqlite3_bind_blob (plugin->cache_block, 2,
-                         block, block_size,
-                         SQLITE_STATIC)) ||
-      (SQLITE_OK !=
-       sqlite3_bind_int64 (plugin->cache_block, 3,
-                          dval)))
-  {
-    LOG_SQLITE (plugin,
-               GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-               "sqlite3_bind_XXXX");
-    if (SQLITE_OK != sqlite3_reset (plugin->cache_block))
-      LOG_SQLITE (plugin,
-                 GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-                 "sqlite3_reset");
-    return GNUNET_SYSERR;
-
-  }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Caching block under derived key `%s'\n",
-             GNUNET_h2s_full (&query));
-  n = sqlite3_step (plugin->cache_block);
-  if (SQLITE_OK != sqlite3_reset (plugin->cache_block))
-    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-               "sqlite3_reset");
-  switch (n)
-  {
-  case SQLITE_DONE:
-    LOG (GNUNET_ERROR_TYPE_DEBUG,
-        "Record stored\n");
-    return GNUNET_OK;
-  case SQLITE_BUSY:
-    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_WARNING | GNUNET_ERROR_TYPE_BULK,
-               "sqlite3_step");
-    return GNUNET_NO;
-  default:
-    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-               "sqlite3_step");
-    return GNUNET_SYSERR;
-  }
-}
-
-
-/**
- * Get the block for a particular zone and label in the
- * datastore.  Will return at most one result to the iterator.
- *
- * @param cls closure (internal context for the plugin)
- * @param query hash of public key derived from the zone and the label
- * @param iter function to call with the result
- * @param iter_cls closure for @a iter
- * @return #GNUNET_OK on success, #GNUNET_NO if there were no results, #GNUNET_SYSERR on error
- */
-static int
-namestore_sqlite_lookup_block (void *cls,
-                              const struct GNUNET_HashCode *query,
-                              GNUNET_NAMESTORE_BlockCallback iter, void *iter_cls)
-{
-  struct Plugin *plugin = cls;
-  int ret;
-  int sret;
-  size_t block_size;
-  const struct GNUNET_NAMESTORE_Block *block;
-
-  if (SQLITE_OK != sqlite3_bind_blob (plugin->lookup_block, 1,
-                                     query, sizeof (struct GNUNET_HashCode),
-                                     SQLITE_STATIC))
-  {
-    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-               "sqlite3_bind_XXXX");
-    if (SQLITE_OK != sqlite3_reset (plugin->lookup_block))
-      LOG_SQLITE (plugin,
-                 GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-                 "sqlite3_reset");
-    return GNUNET_SYSERR;
-  }
-  ret = GNUNET_NO;
-  if (SQLITE_ROW == (sret = sqlite3_step (plugin->lookup_block)))
-  {
-    block = sqlite3_column_blob (plugin->lookup_block, 0);
-    block_size = sqlite3_column_bytes (plugin->lookup_block, 0);
-    if ( (block_size < sizeof (struct GNUNET_NAMESTORE_Block)) ||
-        (ntohl (block->purpose.size) +
-         sizeof (struct GNUNET_CRYPTO_EcdsaPublicKey) +
-         sizeof (struct GNUNET_CRYPTO_EcdsaSignature) != block_size) )
-    {
-      GNUNET_break (0);
-      ret = GNUNET_SYSERR;
-    }
-    else
-    {
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                 "Found block under derived key `%s'\n",
-                 GNUNET_h2s_full (query));
-      iter (iter_cls, block);
-      ret = GNUNET_YES;
-    }
-  }
-  else
-  {
-    if (SQLITE_DONE != sret)
-    {
-      LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR, "sqlite_step");
-      ret = GNUNET_SYSERR;
-    }
-    else
-    {
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                 "No block found under derived key `%s'\n",
-                 GNUNET_h2s_full (query));
-    }
-  }
-  if (SQLITE_OK != sqlite3_reset (plugin->lookup_block))
-    LOG_SQLITE (plugin,
-               GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-               "sqlite3_reset");
-  return ret;
-}
-
-
 /**
  * Store a record in the datastore.  Removes any existing record in the
  * same zone with the same name.
@@ -659,7 +358,7 @@ namestore_sqlite_store_records (void *cls,
                                const struct GNUNET_CRYPTO_EcdsaPrivateKey *zone_key,
                                const char *label,
                                unsigned int rd_count,
-                               const struct GNUNET_NAMESTORE_RecordData *rd)
+                               const struct GNUNET_GNSRECORD_Data *rd)
 {
   struct Plugin *plugin = cls;
   int n;
@@ -670,7 +369,7 @@ namestore_sqlite_store_records (void *cls,
 
   memset (&pkey, 0, sizeof (pkey));
   for (i=0;i<rd_count;i++)
-    if (GNUNET_NAMESTORE_TYPE_PKEY == rd[i].record_type)
+    if (GNUNET_GNSRECORD_TYPE_PKEY == rd[i].record_type)
     {
       GNUNET_break (sizeof (struct GNUNET_CRYPTO_EcdsaPublicKey) == rd[i].data_size);
       memcpy (&pkey,
@@ -679,7 +378,7 @@ namestore_sqlite_store_records (void *cls,
       break;
     }
   rvalue = GNUNET_CRYPTO_random_u64 (GNUNET_CRYPTO_QUALITY_WEAK, UINT64_MAX);
-  data_size = GNUNET_NAMESTORE_records_get_size (rd_count, rd);
+  data_size = GNUNET_GNSRECORD_records_get_size (rd_count, rd);
   if (data_size > 64 * 65536)
   {
     GNUNET_break (0);
@@ -688,7 +387,7 @@ namestore_sqlite_store_records (void *cls,
   {
     char data[data_size];
 
-    if (data_size != GNUNET_NAMESTORE_records_serialize (rd_count, rd,
+    if (data_size != GNUNET_GNSRECORD_records_serialize (rd_count, rd,
                                                         data_size, data))
     {
       GNUNET_break (0);
@@ -816,10 +515,10 @@ get_record_and_call_iterator (struct Plugin *plugin,
     }
     else
     {
-      struct GNUNET_NAMESTORE_RecordData rd[record_count];
+      struct GNUNET_GNSRECORD_Data rd[record_count];
 
       if (GNUNET_OK !=
-         GNUNET_NAMESTORE_records_deserialize (data_size, data,
+         GNUNET_GNSRECORD_records_deserialize (data_size, data,
                                                record_count, rd))
       {
        GNUNET_break (0);
@@ -845,6 +544,51 @@ get_record_and_call_iterator (struct Plugin *plugin,
   return ret;
 }
 
+/**
+ * Lookup records in the datastore for which we are the authority.
+ *
+ * @param cls closure (internal context for the plugin)
+ * @param zone private key of the zone
+ * @param label name of the record in the zone
+ * @param iter function to call with the result
+ * @param iter_cls closure for @a iter
+ * @return #GNUNET_OK on success, else #GNUNET_SYSERR
+ */
+static int
+namestore_sqlite_lookup_records (void *cls,
+    const struct GNUNET_CRYPTO_EcdsaPrivateKey *zone, const char *label,
+    GNUNET_NAMESTORE_RecordIterator iter, void *iter_cls)
+{
+  struct Plugin *plugin = cls;
+  sqlite3_stmt *stmt;
+  int err;
+
+  if (NULL == zone)
+  {
+    return GNUNET_SYSERR;
+  }
+  else
+  {
+    stmt = plugin->lookup_label;
+    err = ( (SQLITE_OK != sqlite3_bind_blob (stmt, 1,
+                                             zone, sizeof (struct GNUNET_CRYPTO_EcdsaPrivateKey),
+                                             SQLITE_STATIC)) ||
+            (SQLITE_OK != sqlite3_bind_text (stmt, 2,
+                                              label, -1, SQLITE_STATIC)) );
+  }
+  if (err)
+  {
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+                "sqlite3_bind_XXXX");
+    if (SQLITE_OK != sqlite3_reset (stmt))
+      LOG_SQLITE (plugin,
+                  GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+                  "sqlite3_reset");
+    return GNUNET_SYSERR;
+  }
+  return get_record_and_call_iterator (plugin, stmt, zone, iter, iter_cls);
+}
+
 
 /**
  * Iterate over the results for a particular key and zone in the
@@ -934,7 +678,7 @@ namestore_sqlite_zone_to_name (void *cls,
   }
   LOG (GNUNET_ERROR_TYPE_DEBUG,
        "Performing reverse lookup for `%s'\n",
-       GNUNET_NAMESTORE_z2s (value_zone));
+       GNUNET_GNSRECORD_z2s (value_zone));
 
   return get_record_and_call_iterator (plugin, stmt, zone, iter, iter_cls);
 }
@@ -964,11 +708,10 @@ libgnunet_plugin_namestore_sqlite_init (void *cls)
   }
   api = GNUNET_new (struct GNUNET_NAMESTORE_PluginFunctions);
   api->cls = &plugin;
-  api->cache_block = &namestore_sqlite_cache_block;
-  api->lookup_block = &namestore_sqlite_lookup_block;
   api->store_records = &namestore_sqlite_store_records;
   api->iterate_records = &namestore_sqlite_iterate_records;
   api->zone_to_name = &namestore_sqlite_zone_to_name;
+  api->lookup_records = &namestore_sqlite_lookup_records;
   LOG (GNUNET_ERROR_TYPE_INFO,
        _("Sqlite database running\n"));
   return api;