-more debug messages
[oweals/gnunet.git] / src / namestore / plugin_namestore_sqlite.c
index bb51f093c93dc0a305584249e595408f49895923..b3f57033a563c3f872fd15a2c3a64caa41efa0af 100644 (file)
@@ -26,6 +26,8 @@
 
 #include "platform.h"
 #include "gnunet_namestore_plugin.h"
+#include "gnunet_namestore_service.h"
+#include "namestore.h"
 #include <sqlite3.h>
 
 /**
@@ -46,7 +48,7 @@
  * a failure of the command 'cmd' on file 'filename'
  * with the message given by strerror(errno).
  */
-#define LOG_SQLITE(db, msg, level, cmd) do { GNUNET_log_from (level, "namestore-sqlite", _("`%s' failed at %s:%d with error: %s\n"), cmd, __FILE__, __LINE__, sqlite3_errmsg(db->dbh)); if (msg != NULL) GNUNET_asprintf(msg, _("`%s' failed at %s:%u with error: %s"), cmd, __FILE__, __LINE__, sqlite3_errmsg(db->dbh)); } while(0)
+#define LOG_SQLITE(db, level, cmd) do { GNUNET_log_from (level, "namestore-sqlite", _("`%s' failed at %s:%d with error: %s\n"), cmd, __FILE__, __LINE__, sqlite3_errmsg(db->dbh)); } while(0)
 
 #define LOG(kind,...) GNUNET_log_from (kind, "namestore-sqlite", __VA_ARGS__)
 
@@ -72,47 +74,42 @@ struct Plugin
   /**
    * Precompiled SQL for put record
    */
-  sqlite3_stmt *put_record;
+  sqlite3_stmt *put_records;
 
   /**
-   * Precompiled SQL for put node
+   * Precompiled SQL for remove record
    */
-  sqlite3_stmt *put_node;
+  sqlite3_stmt *remove_records;
 
   /**
-   * Precompiled SQL for put signature
+   * Precompiled SQL for iterate over all records.
    */
-  sqlite3_stmt *put_signature;
+  sqlite3_stmt *iterate_all;
 
   /**
-   * Precompiled SQL for iterate records
+   * Precompiled SQL for iterate records with same name.
    */
-  sqlite3_stmt *iterate_records;
-
-  /**
-   * Precompiled SQL for get node
-   */
-  sqlite3_stmt *get_node;
+  sqlite3_stmt *iterate_by_name;
 
   /**
-   * Precompiled SQL for get signature
+   * Precompiled SQL for iterate records with same zone.
    */
-  sqlite3_stmt *get_signature;
+  sqlite3_stmt *iterate_by_zone;
 
   /**
-   * Precompiled SQL for delete zone
+   * Precompiled SQL for iterate records with same name and zone.
    */
-  sqlite3_stmt *delete_zone_records;
+  sqlite3_stmt *iterate_records;
 
   /**
-   * Precompiled SQL for delete zone
+   * Precompiled SQL to get the name for a given zone-value.
    */
-  sqlite3_stmt *delete_zone_nodes;
+  sqlite3_stmt *zone_to_name;
 
   /**
    * Precompiled SQL for delete zone
    */
-  sqlite3_stmt *delete_zone_signatures;
+  sqlite3_stmt *delete_zone;
 
 };
 
@@ -149,23 +146,24 @@ static void
 create_indices (sqlite3 * dbh)
 {
   /* create indices */
-  if (SQLITE_OK !=
-      sqlite3_exec (dbh, "CREATE INDEX IF NOT EXISTS ir_zone_name_hash ON ns090records (zone_hash,record_name_hash)",
-                   NULL, NULL, NULL))
-    LOG (GNUNET_ERROR_TYPE_ERROR, 
-        "Failed to create indices: %s\n", sqlite3_errmsg (dbh));
-
-
-  if (SQLITE_OK !=
-      sqlite3_exec (dbh, "CREATE INDEX IF NOT EXISTS in_zone_location ON ns090nodes (zone_hash,zone_revision,node_location_depth,node_location_offset DESC)",
-                   NULL, NULL, NULL))
-    LOG (GNUNET_ERROR_TYPE_ERROR, 
-        "Failed to create indices: %s\n", sqlite3_errmsg (dbh));
-
-
-  if (SQLITE_OK !=
-      sqlite3_exec (dbh, "CREATE INDEX IF NOT EXISTS is_zone ON ns090signatures (zone_hash)",
-                   NULL, NULL, NULL))
+  if ( (SQLITE_OK !=
+       sqlite3_exec (dbh, "CREATE INDEX IF NOT EXISTS ir_zone_name_rv ON ns091records (zone_hash,record_name_hash,rvalue)",
+                     NULL, NULL, NULL)) ||
+       (SQLITE_OK !=
+       sqlite3_exec (dbh, "CREATE INDEX IF NOT EXISTS ir_zone_delegation ON ns091records (zone_hash,zone_delegation)",
+                     NULL, NULL, NULL)) ||
+       (SQLITE_OK !=
+       sqlite3_exec (dbh, "CREATE INDEX IF NOT EXISTS ir_zone_rv ON ns091records (zone_hash,rvalue)",
+                     NULL, NULL, NULL)) ||
+       (SQLITE_OK !=
+       sqlite3_exec (dbh, "CREATE INDEX IF NOT EXISTS ir_zone ON ns091records (zone_hash)",
+                     NULL, NULL, NULL)) ||
+       (SQLITE_OK !=
+       sqlite3_exec (dbh, "CREATE INDEX IF NOT EXISTS ir_name_rv ON ns091records (record_name_hash,rvalue)",
+                     NULL, NULL, NULL)) ||
+       (SQLITE_OK !=
+       sqlite3_exec (dbh, "CREATE INDEX IF NOT EXISTS ir_rv ON ns091records (rvalue)",
+                     NULL, NULL, NULL)) )    
     LOG (GNUNET_ERROR_TYPE_ERROR, 
         "Failed to create indices: %s\n", sqlite3_errmsg (dbh));
 }
@@ -244,6 +242,9 @@ database_setup (struct Plugin *plugin)
   CHECK (SQLITE_OK ==
          sqlite3_exec (plugin->dbh, "PRAGMA auto_vacuum=INCREMENTAL", NULL,
                        NULL, ENULL));
+  CHECK (SQLITE_OK ==
+         sqlite3_exec (plugin->dbh, "PRAGMA encoding=\"UTF-8\"", NULL,
+                       NULL, ENULL));
   CHECK (SQLITE_OK ==
          sqlite3_exec (plugin->dbh, "PRAGMA locking_mode=EXCLUSIVE", NULL, NULL,
                        ENULL));
@@ -260,132 +261,77 @@ database_setup (struct Plugin *plugin)
   /* Create tables */
   CHECK (SQLITE_OK ==
          sq_prepare (plugin->dbh,
-                     "SELECT 1 FROM sqlite_master WHERE tbl_name = 'ns090records'",
+                     "SELECT 1 FROM sqlite_master WHERE tbl_name = 'ns091records'",
                      &stmt));
   if ((sqlite3_step (stmt) == SQLITE_DONE) &&
       (sqlite3_exec
        (plugin->dbh,
-        "CREATE TABLE ns090records (" 
-        " zone_hash TEXT NOT NULL DEFAULT ''," 
-        " zone_revision INT4 NOT NULL DEFAULT 0," 
-        " record_name_hash TEXT NOT NULL DEFAULT ''," 
+        "CREATE TABLE ns091records (" 
+        " zone_key BLOB NOT NULL DEFAULT ''," 
+        " zone_delegation BLOB NOT NULL DEFAULT ''," 
+        " zone_hash BLOB NOT NULL DEFAULT ''," 
+       " record_count INT NOT NULL DEFAULT 0,"
+        " record_data BLOB NOT NULL DEFAULT '',"
+        " block_expiration_time INT8 NOT NULL DEFAULT 0," 
+        " signature BLOB NOT NULL DEFAULT '',"
         " record_name TEXT NOT NULL DEFAULT ''," 
-       " record_type INT4 NOT NULL DEFAULT 0,"
-        " node_location_depth INT4 NOT NULL DEFAULT 0," 
-        " node_location_offset INT8 NOT NULL DEFAULT 0," 
-        " record_expiration_time INT8 NOT NULL DEFAULT 0," 
-       " record_flags INT4 NOT NULL DEFAULT 0,"
-        " record_value BLOB NOT NULL DEFAULT ''"
-       ")", 
-       NULL, NULL, NULL) != SQLITE_OK))
-  {
-    LOG_SQLITE (plugin, NULL, GNUNET_ERROR_TYPE_ERROR, "sqlite3_exec");
-    sqlite3_finalize (stmt);
-    return GNUNET_SYSERR;
-  }
-  sqlite3_finalize (stmt);
-
-  CHECK (SQLITE_OK ==
-         sq_prepare (plugin->dbh,
-                     "SELECT 1 FROM sqlite_master WHERE tbl_name = 'ns090nodes'",
-                     &stmt));
-  if ((sqlite3_step (stmt) == SQLITE_DONE) &&
-      (sqlite3_exec
-       (plugin->dbh,
-        "CREATE TABLE ns090nodes (" 
-        " zone_hash TEXT NOT NULL DEFAULT ''," 
-        " zone_revision INT4 NOT NULL DEFAULT 0," 
-        " node_location_depth INT4 NOT NULL DEFAULT 0," 
-        " node_location_offset INT8 NOT NULL DEFAULT 0," 
-        " node_parent_offset INT8 NOT NULL DEFAULT 0," 
-        " node_hashcodes BLOB NOT NULL DEFAULT ''"
-       ")", 
-       NULL, NULL, NULL) != SQLITE_OK))
-  {
-    LOG_SQLITE (plugin, NULL, GNUNET_ERROR_TYPE_ERROR, "sqlite3_exec");
-    sqlite3_finalize (stmt);
-    return GNUNET_SYSERR;
-  }
-  sqlite3_finalize (stmt);
-
-
-  CHECK (SQLITE_OK ==
-         sq_prepare (plugin->dbh,
-                     "SELECT 1 FROM sqlite_master WHERE tbl_name = 'ns090signatures'",
-                     &stmt));
-  if ((sqlite3_step (stmt) == SQLITE_DONE) &&
-      (sqlite3_exec
-       (plugin->dbh,
-        "CREATE TABLE ns090signatures (" 
-        " zone_hash TEXT NOT NULL DEFAULT ''," 
-        " zone_revision INT4 NOT NULL DEFAULT 0," 
-        " zone_time INT8 NOT NULL DEFAULT 0," 
-        " zone_root_hash TEXT NOT NULL DEFAULT 0," 
-        " zone_root_depth INT4 NOT NULL DEFAULT 0," 
-        " zone_public_key BLOB NOT NULL DEFAULT 0," 
-        " zone_signature BLOB NOT NULL DEFAULT 0" 
+        " record_name_hash BLOB NOT NULL DEFAULT ''," 
+       " rvalue INT8 NOT NULL DEFAULT ''"
        ")", 
        NULL, NULL, NULL) != SQLITE_OK))
   {
-    LOG_SQLITE (plugin, NULL, GNUNET_ERROR_TYPE_ERROR, "sqlite3_exec");
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR, "sqlite3_exec");
     sqlite3_finalize (stmt);
     return GNUNET_SYSERR;
   }
   sqlite3_finalize (stmt);
 
-
   create_indices (plugin->dbh);
 
+#define ALL "zone_key, record_name, record_count, record_data, block_expiration_time, signature"
   if ((sq_prepare
        (plugin->dbh,
-        "INSERT INTO ns090records (zone_hash, zone_revision, record_name_hash, record_name, "
-       "record_type, node_location_depth, node_location_offset, "
-       "record_expiration_time, record_flags, record_value) VALUES "
+        "INSERT INTO ns091records (" ALL ", zone_delegation, zone_hash, record_name_hash, rvalue) VALUES "
        "(?, ?, ?, ?, ?, ?, ?, ?, ?, ?)",
-        &plugin->put_record) != SQLITE_OK) ||
-      (sq_prepare
-       (plugin->dbh,
-        "INSERT INTO ns090nodes (zone_hash, zone_revision, "
-       "node_location_depth, node_location_offset, node_parent_offset, node_hashcodes) "
-       "VALUES (?, ?, ?, ?, ?, ?)",
-        &plugin->put_node) != SQLITE_OK) ||
+        &plugin->put_records) != SQLITE_OK) ||
       (sq_prepare
        (plugin->dbh,
-        "INSERT INTO ns090signatures (zone_hash, zone_revision, zone_time, zone_root_hash, "
-       "zone_root_depth, zone_public_key, zone_signature) "
-       "VALUES (?, ?, ?, ?, ?, ?)",
-        &plugin->put_signature) != SQLITE_OK) ||
+        "DELETE FROM ns091records WHERE zone_hash=? AND record_name_hash=?",
+        &plugin->remove_records) != SQLITE_OK) ||
       (sq_prepare
        (plugin->dbh,
-        "SELECT zone_revision,record_name,record_type,node_location_depth,node_location_offset,record_expiration_time,record_flags,record_value "
-       "FROM ns090records WHERE zone_hash=? AND record_name_hash=?",
+        "SELECT " ALL
+       " FROM ns091records WHERE zone_hash=? AND record_name_hash=? ORDER BY rvalue LIMIT 1 OFFSET ?",
         &plugin->iterate_records) != SQLITE_OK) ||
       (sq_prepare
        (plugin->dbh,
-        "SELECT node_parent_offset,node_hashcodes FROM ns090nodes "
-       "WHERE zone_hash=? AND zone_revision=? AND node_location_depth=? AND node_location_offset<=? ORDER BY node_location_offset DESC LIMIT 1",
-        &plugin->get_node) != SQLITE_OK) ||
+        "SELECT " ALL
+       " FROM ns091records WHERE zone_hash=? ORDER BY rvalue  LIMIT 1 OFFSET ?",
+        &plugin->iterate_by_zone) != SQLITE_OK) ||
       (sq_prepare
        (plugin->dbh,
-        "SELECT zone_revision,zone_time,zone_root_hash,zone_root_depth,zone_public_key,zone_signature "
-       "FROM ns090signatures WHERE zone_hash=?",
-        &plugin->get_signature) != SQLITE_OK) ||
+        "SELECT " ALL 
+       " FROM ns091records WHERE record_name_hash=? ORDER BY rvalue LIMIT 1 OFFSET ?",
+        &plugin->iterate_by_name) != SQLITE_OK) ||
       (sq_prepare
-       (plugin->dbh,
-        "DELETE FROM gn090records WHERE zone_hash=?",
-        &plugin->delete_zone_records) != SQLITE_OK) ||
+       (plugin->dbh,
+        "SELECT " ALL
+       " FROM ns091records ORDER BY rvalue LIMIT 1 OFFSET ?",
+        &plugin->iterate_all) != SQLITE_OK) ||
       (sq_prepare
-       (plugin->dbh,
-        "DELETE FROM gn090nodes WHERE zone_hash=?",
-        &plugin->delete_zone_nodes) != SQLITE_OK) ||
+       (plugin->dbh,
+        "SELECT " ALL
+       " FROM ns091records WHERE zone_hash=? AND zone_delegation=?",
+        &plugin->zone_to_name) != SQLITE_OK) ||
       (sq_prepare
        (plugin->dbh,
-        "DELETE FROM gn090signatures WHERE zone_hash=?",
-        &plugin->delete_zone_signatures) != SQLITE_OK) )
+        "DELETE FROM ns091records WHERE zone_hash=?",
+        &plugin->delete_zone) != SQLITE_OK) )
   {
-    LOG_SQLITE (plugin, NULL, GNUNET_ERROR_TYPE_ERROR, "precompiling");
+    LOG_SQLITE (plugin,GNUNET_ERROR_TYPE_ERROR, "precompiling");
     return GNUNET_SYSERR;
   }
+#undef ALL
   return GNUNET_OK;
 }
 
@@ -401,24 +347,22 @@ database_shutdown (struct Plugin *plugin)
   int result;
   sqlite3_stmt *stmt;
 
-  if (NULL != plugin->put_record)
-    sqlite3_finalize (plugin->put_record);
-  if (NULL != plugin->put_node)
-    sqlite3_finalize (plugin->put_node);
-  if (NULL != plugin->put_signature)
-    sqlite3_finalize (plugin->put_signature);
+  if (NULL != plugin->put_records)
+    sqlite3_finalize (plugin->put_records);
+  if (NULL != plugin->remove_records)
+    sqlite3_finalize (plugin->remove_records);
   if (NULL != plugin->iterate_records)
     sqlite3_finalize (plugin->iterate_records);
-  if (NULL != plugin->get_node)
-    sqlite3_finalize (plugin->get_node);
-  if (NULL != plugin->get_signature)
-    sqlite3_finalize (plugin->get_signature);
-  if (NULL != plugin->delete_zone_records)
-    sqlite3_finalize (plugin->delete_zone_records);
-  if (NULL != plugin->delete_zone_nodes)
-    sqlite3_finalize (plugin->delete_zone_nodes);
-  if (NULL != plugin->delete_zone_signatures)
-    sqlite3_finalize (plugin->delete_zone_signatures);
+  if (NULL != plugin->iterate_by_zone)
+    sqlite3_finalize (plugin->iterate_by_zone);
+  if (NULL != plugin->iterate_by_name)
+    sqlite3_finalize (plugin->iterate_by_name);
+  if (NULL != plugin->iterate_all)
+    sqlite3_finalize (plugin->iterate_all);
+  if (NULL != plugin->zone_to_name)
+    sqlite3_finalize (plugin->zone_to_name);
+  if (NULL != plugin->delete_zone)
+    sqlite3_finalize (plugin->delete_zone);
   result = sqlite3_close (plugin->dbh);
   if (result == SQLITE_BUSY)
   {
@@ -438,296 +382,423 @@ database_shutdown (struct Plugin *plugin)
     result = sqlite3_close (plugin->dbh);
   }
   if (SQLITE_OK != result)
-    LOG_SQLITE (plugin, NULL, GNUNET_ERROR_TYPE_ERROR, "sqlite3_close");
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR, "sqlite3_close");
 
   GNUNET_free_non_null (plugin->fn);
 }
 
 
 /**
- * Store a record in the datastore.
+ * Removes any existing record in the given zone with the same name.
  *
  * @param cls closure (internal context for the plugin)
  * @param zone hash of the public key of the zone
- * @param name name that is being mapped (at most 255 characters long)
- * @param record_type type of the record (A, AAAA, PKEY, etc.)
- * @param loc location of the signature for the record
- * @param expiration expiration time for the content
- * @param flags flags for the content
- * @param data_size number of bytes in data
- * @param data value, semantics depend on 'record_type' (see RFCs for DNS and 
- *             GNS specification for GNS extensions)
+ * @param name name to remove (at most 255 characters long)
  * @return GNUNET_OK on success
  */
 static int 
-namestore_sqlite_put_record (void *cls, 
-                            const GNUNET_HashCode *zone,
-                            const char *name,
-                            uint32_t record_type,
-                            const struct GNUNET_NAMESTORE_SignatureLocation *loc,
-                            struct GNUNET_TIME_Absolute expiration,
-                            enum GNUNET_NAMESTORE_RecordFlags flags,
-                            size_t data_size,
-                            const void *data)
+namestore_sqlite_remove_records (void *cls, 
+                                const struct GNUNET_CRYPTO_ShortHashCode *zone,
+                                const char *name)
 {
-#if 0
   struct Plugin *plugin = cls;
+  struct GNUNET_CRYPTO_ShortHashCode nh;
+  size_t name_len;
   int n;
+  name_len = strlen (name);
+  GNUNET_CRYPTO_short_hash (name, name_len, &nh);
 
-  if ((SQLITE_OK != sqlite3_bind_int (plugin->updPrio, 1, delta)) ||
-      (SQLITE_OK != sqlite3_bind_int64 (plugin->updPrio, 2, expire.abs_value))
-      || (SQLITE_OK != sqlite3_bind_int64 (plugin->updPrio, 3, uid)))
+  if ((SQLITE_OK != sqlite3_bind_blob (plugin->remove_records, 1, zone, sizeof (struct GNUNET_CRYPTO_ShortHashCode), SQLITE_STATIC)) ||
+      (SQLITE_OK != sqlite3_bind_blob (plugin->remove_records, 2, &nh, sizeof (struct GNUNET_CRYPTO_ShortHashCode), SQLITE_STATIC)))
   {
-    LOG_SQLITE (plugin, msg, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
                 "sqlite3_bind_XXXX");
-    if (SQLITE_OK != sqlite3_reset (plugin->updPrio))
-      LOG_SQLITE (plugin, NULL,
+    if (SQLITE_OK != sqlite3_reset (plugin->remove_records))
+      LOG_SQLITE (plugin,
                   GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
                   "sqlite3_reset");
     return GNUNET_SYSERR;
-
   }
-  n = sqlite3_step (plugin->updPrio);
-  if (SQLITE_OK != sqlite3_reset (plugin->updPrio))
-    LOG_SQLITE (plugin, NULL, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+  n = sqlite3_step (plugin->remove_records);
+  if (SQLITE_OK != sqlite3_reset (plugin->remove_records))
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
                 "sqlite3_reset");
   switch (n)
   {
   case SQLITE_DONE:
-    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, "sqlite", "Block updated\n");
+    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, "sqlite", "Record removed\n");
     return GNUNET_OK;
   case SQLITE_BUSY:
-    LOG_SQLITE (plugin, msg, GNUNET_ERROR_TYPE_WARNING | GNUNET_ERROR_TYPE_BULK,
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_WARNING | GNUNET_ERROR_TYPE_BULK,
                 "sqlite3_step");
     return GNUNET_NO;
   default:
-    LOG_SQLITE (plugin, msg, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
                 "sqlite3_step");
     return GNUNET_SYSERR;
   }
-#endif
-  return GNUNET_SYSERR;
 }
 
 
 /**
- * Store a Merkle tree node in the datastore.
+ * Store a record in the datastore.  Removes any existing record in the
+ * same zone with the same name.
  *
  * @param cls closure (internal context for the plugin)
- * @param zone hash of public key of the zone
- * @param loc location in the B-tree
- * @param ploc parent's location in the B-tree (must have depth = loc.depth - 1), NULL for root
- * @param num_entries number of entries at this node in the B-tree
- * @param entries the 'num_entries' entries to store (hashes over the
- *                records)
- * @return GNUNET_OK on success
+ * @param zone_key public key of the zone
+ * @param expire when does the corresponding block in the DHT expire (until
+ *               when should we never do a DHT lookup for the same name again)?
+ * @param name name that is being mapped (at most 255 characters long)
+ * @param rd_count number of entries in 'rd' array
+ * @param rd array of records with data to store
+ * @param signature signature of the record block, NULL if signature is unavailable (i.e. 
+ *        because the user queried for a particular record type only)
+ * @return GNUNET_OK on success, else GNUNET_SYSERR
  */
 static int 
-namestore_sqlite_put_node (void *cls, 
-                          const GNUNET_HashCode *zone,
-                          const struct GNUNET_NAMESTORE_SignatureLocation *loc,
-                          const struct GNUNET_NAMESTORE_SignatureLocation *ploc,
-                          unsigned int num_entries,
-                          const GNUNET_HashCode *entries)
+namestore_sqlite_put_records (void *cls, 
+                             const struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded *zone_key,
+                             struct GNUNET_TIME_Absolute expire,
+                             const char *name,
+                             unsigned int rd_count,
+                             const struct GNUNET_NAMESTORE_RecordData *rd,
+                             const struct GNUNET_CRYPTO_RsaSignature *signature)
 {
-  return GNUNET_SYSERR;
+  struct Plugin *plugin = cls;
+  int n;
+  struct GNUNET_CRYPTO_ShortHashCode zone;
+  struct GNUNET_CRYPTO_ShortHashCode zone_delegation;
+  struct GNUNET_CRYPTO_ShortHashCode nh;
+  size_t name_len;
+  uint64_t rvalue;
+  size_t data_size;
+  unsigned int i;
+
+  GNUNET_CRYPTO_short_hash (zone_key, sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded), &zone);
+  (void) namestore_sqlite_remove_records (plugin, &zone, name);
+  name_len = strlen (name);
+  GNUNET_CRYPTO_short_hash (name, name_len, &nh);
+  memset (&zone_delegation, 0, sizeof (zone_delegation));
+  for (i=0;i<rd_count;i++)
+    if (rd[i].record_type == GNUNET_NAMESTORE_TYPE_PKEY)
+    {
+      GNUNET_assert (sizeof (struct GNUNET_CRYPTO_ShortHashCode) == rd[i].data_size);
+      memcpy (&zone_delegation,
+             rd[i].data,
+             sizeof (struct GNUNET_CRYPTO_ShortHashCode));
+      break;
+    }
+  rvalue = GNUNET_CRYPTO_random_u64 (GNUNET_CRYPTO_QUALITY_WEAK, UINT64_MAX);
+  data_size = GNUNET_NAMESTORE_records_get_size (rd_count, rd);
+  if (data_size > 64 * 65536)
+  {
+    GNUNET_break (0);
+    return GNUNET_SYSERR;
+  }
+  {
+    char data[data_size];
+
+    if (data_size != GNUNET_NAMESTORE_records_serialize (rd_count, rd,
+                                                        data_size, data))
+    {
+      GNUNET_break (0);
+      return GNUNET_SYSERR;
+    }
+    if ((SQLITE_OK != sqlite3_bind_blob (plugin->put_records, 1, zone_key, sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded), SQLITE_STATIC)) ||
+       (SQLITE_OK != sqlite3_bind_text (plugin->put_records, 2, name, -1, SQLITE_STATIC)) ||
+       (SQLITE_OK != sqlite3_bind_int (plugin->put_records, 3, rd_count)) ||
+       (SQLITE_OK != sqlite3_bind_blob (plugin->put_records, 4, data, data_size, SQLITE_STATIC)) ||
+       (SQLITE_OK != sqlite3_bind_int64 (plugin->put_records, 5, expire.abs_value)) ||
+       (SQLITE_OK != sqlite3_bind_blob (plugin->put_records, 6, signature, sizeof (struct GNUNET_CRYPTO_RsaSignature), SQLITE_STATIC)) ||
+       (SQLITE_OK != sqlite3_bind_blob (plugin->put_records, 7, &zone_delegation, sizeof (struct GNUNET_CRYPTO_ShortHashCode), SQLITE_STATIC)) ||
+       (SQLITE_OK != sqlite3_bind_blob (plugin->put_records, 8, &zone, sizeof (struct GNUNET_CRYPTO_ShortHashCode), SQLITE_STATIC)) ||
+       (SQLITE_OK != sqlite3_bind_blob (plugin->put_records, 9, &nh, sizeof (struct GNUNET_CRYPTO_ShortHashCode), SQLITE_STATIC)) ||
+       (SQLITE_OK != sqlite3_bind_int64 (plugin->put_records, 10, rvalue)) )
+    {
+      LOG_SQLITE (plugin, 
+                 GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+                 "sqlite3_bind_XXXX");
+      if (SQLITE_OK != sqlite3_reset (plugin->put_records))
+       LOG_SQLITE (plugin, 
+                   GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+                   "sqlite3_reset");
+      return GNUNET_SYSERR;
+      
+    }
+    n = sqlite3_step (plugin->put_records);
+    if (SQLITE_OK != sqlite3_reset (plugin->put_records))
+      LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+                 "sqlite3_reset");
+  }
+  switch (n)
+  {
+  case SQLITE_DONE:
+    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, "sqlite", "Record stored\n");
+    return GNUNET_OK;
+  case SQLITE_BUSY:
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_WARNING | GNUNET_ERROR_TYPE_BULK,
+               "sqlite3_step");
+    return GNUNET_NO;
+  default:
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+               "sqlite3_step");
+    return GNUNET_SYSERR;  
+  }
 }
-  
+
 
 /**
- * Store a zone signature in the datastore.  If a signature for the zone with a
- * lower depth exists, the old signature is removed.  If a signature for an
- * older revision of the zone exists, this will delete all records, nodes
- * and signatures for the older revision of the zone.
+ * The given 'sqlite' statement has been prepared to be run.
+ * It will return a record which should be given to the iterator.
+ * Runs the statement and parses the returned record.
  *
- * @param cls closure (internal context for the plugin)
- * @param zone_key public key of the zone
- * @param loc location in the B-tree (top of the tree, offset 0, depth at 'maximum')
- * @param top_sig signature at the top, NULL if 'loc.depth > 0'
- * @param root_hash top level hash that is signed
- * @param zone_time time the zone was signed
- * @return GNUNET_OK on success
+ * @param plugin plugin context
+ * @param stmt to run (and then clean up)
+ * @param iter iterator to call with the result
+ * @param iter_cls closure for 'iter'
+ * @return GNUNET_OK on success, GNUNET_NO if there were no results, GNUNET_SYSERR on error
  */
 static int
-namestore_sqlite_put_signature (void *cls, 
-                               const struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded *zone_key,
-                               const struct GNUNET_NAMESTORE_SignatureLocation *loc,
-                               const struct GNUNET_CRYPTO_RsaSignature *top_sig,
-                               const GNUNET_HashCode *root_hash,
-                               struct GNUNET_TIME_Absolute zone_time)
+get_record_and_call_iterator (struct Plugin *plugin,
+                             sqlite3_stmt *stmt,                             
+                             GNUNET_NAMESTORE_RecordIterator iter, void *iter_cls)
 {
-  return GNUNET_SYSERR;
+  int ret;
+  int sret;
+  unsigned int record_count;
+  size_t data_size;
+  const struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded *zone_key;
+  const struct GNUNET_CRYPTO_RsaSignature *sig;
+  struct GNUNET_TIME_Absolute expiration;
+  const char *data;
+  const char *name;
+
+  ret = GNUNET_NO;
+  if (SQLITE_ROW == (sret = sqlite3_step (stmt)))
+  {     
+    ret = GNUNET_YES;
+    zone_key =  sqlite3_column_blob (stmt, 0);
+    name = (const char*) sqlite3_column_text (stmt, 1);
+    record_count = sqlite3_column_int (stmt, 2);
+    data_size = sqlite3_column_bytes (stmt, 3);
+    data = sqlite3_column_blob (stmt, 3);
+    expiration.abs_value = (uint64_t) sqlite3_column_int64 (stmt, 4);
+    sig = sqlite3_column_blob (stmt, 5);
+
+    if ( (sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded) != sqlite3_column_bytes (stmt, 0)) ||
+        (sizeof (struct GNUNET_CRYPTO_RsaSignature) != sqlite3_column_bytes (stmt, 5)) )
+    {
+      GNUNET_break (0);
+      ret = GNUNET_SYSERR;
+    }
+    else if (record_count > 64 * 1024)
+    {
+      /* sanity check, don't stack allocate far too much just
+        because database might contain a large value here */
+      GNUNET_break (0);
+      ret = GNUNET_SYSERR;
+    } 
+    else
+    {
+      struct GNUNET_NAMESTORE_RecordData rd[record_count];
+
+      if (GNUNET_OK !=
+         GNUNET_NAMESTORE_records_deserialize (data_size, data,
+                                               record_count, rd))
+      {
+       GNUNET_break (0);
+       ret = GNUNET_SYSERR;
+      }
+      else
+      {
+       iter (iter_cls, zone_key, expiration, name, 
+             record_count, rd, sig);
+      }
+    }
+  }
+  else
+  {
+    if (SQLITE_DONE != sret)
+      LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR, "sqlite_step");
+    iter (iter_cls, NULL, GNUNET_TIME_UNIT_ZERO_ABS, NULL, 0, NULL, NULL);
+  }
+  if (SQLITE_OK != sqlite3_reset (stmt))
+    LOG_SQLITE (plugin,
+               GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+               "sqlite3_reset");
+  return ret;
 }
   
   
 /**
  * Iterate over the results for a particular key and zone in the
- * datastore.  Will only query the latest revision known for the
- * zone (as adding a new zone revision will cause the plugin to
- * delete all records from previous revisions).
+ * datastore.  Will return at most one result to the iterator.
  *
  * @param cls closure (internal context for the plugin)
- * @param zone hash of public key of the zone
- * @param name_hash hash of name, NULL to iterate over all records of the zone
- * @param iter maybe NULL (to just count)
+ * @param zone hash of public key of the zone, NULL to iterate over all zones
+ * @param name name as string, NULL to iterate over all records of the zone
+ * @param offset offset in the list of all matching records
+ * @param iter function to call with the result
  * @param iter_cls closure for iter
- * @return the number of results found
+ * @return GNUNET_OK on success, GNUNET_NO if there were no results, GNUNET_SYSERR on error
  */
-static unsigned int 
+static int 
 namestore_sqlite_iterate_records (void *cls, 
-                                 const GNUNET_HashCode *zone,
-                                 const GNUNET_HashCode *name_hash,
+                                 const struct GNUNET_CRYPTO_ShortHashCode *zone,
+                                 const char *name,
+                                 uint64_t offset,
                                  GNUNET_NAMESTORE_RecordIterator iter, void *iter_cls)
 {
-#if 0
-  int n;
-  struct GNUNET_TIME_Absolute expiration;
-  unsigned long long rowid;
-  unsigned int size;
-  int ret;
+  struct Plugin *plugin = cls;
+  sqlite3_stmt *stmt;
+  struct GNUNET_CRYPTO_ShortHashCode name_hase;
+  unsigned int boff;
 
-  n = sqlite3_step (stmt);
-  switch (n)
-  {
-  case SQLITE_ROW:
-    size = sqlite3_column_bytes (stmt, 5);
-    rowid = sqlite3_column_int64 (stmt, 6);
-    if (sqlite3_column_bytes (stmt, 4) != sizeof (GNUNET_HashCode))
+  if (NULL == zone)
+    if (NULL == name)
+      stmt = plugin->iterate_all;
+    else
     {
-      GNUNET_log_from (GNUNET_ERROR_TYPE_WARNING, "sqlite",
-                       _
-                       ("Invalid data in database.  Trying to fix (by deletion).\n"));
-      if (SQLITE_OK != sqlite3_reset (stmt))
-        LOG_SQLITE (plugin, NULL,
-                    GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-                    "sqlite3_reset");
-      if (GNUNET_OK == delete_by_rowid (plugin, rowid))
-        plugin->env->duc (plugin->env->cls,
-                          -(size + GNUNET_NAMESTORE_ENTRY_OVERHEAD));
-      break;
+      GNUNET_CRYPTO_short_hash (name, strlen(name), &name_hase);
+      stmt = plugin->iterate_by_name;
     }
-    expiration.abs_value = sqlite3_column_int64 (stmt, 3);
-#if DEBUG_SQLITE
-    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, "sqlite",
-                     "Found reply in database with expiration %llu\n",
-                     (unsigned long long) expiration.abs_value);
-#endif
-    ret = proc (proc_cls, sqlite3_column_blob (stmt, 4) /* key */ ,
-                size, sqlite3_column_blob (stmt, 5) /* data */ ,
-                sqlite3_column_int (stmt, 0) /* type */ ,
-                sqlite3_column_int (stmt, 1) /* priority */ ,
-                sqlite3_column_int (stmt, 2) /* anonymity */ ,
-                expiration, rowid);
+  else
+    if (NULL == name)
+      stmt = plugin->iterate_by_zone;
+    else
+    {
+      GNUNET_CRYPTO_short_hash (name, strlen(name), &name_hase);
+      stmt = plugin->iterate_records;
+    }
+
+  boff = 0;
+  if ( (NULL != zone) &&
+       (SQLITE_OK != sqlite3_bind_blob (stmt, ++boff, 
+                                       zone, sizeof (struct GNUNET_CRYPTO_ShortHashCode),
+                                       SQLITE_STATIC)) )
+  {
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+               "sqlite3_bind_XXXX");
     if (SQLITE_OK != sqlite3_reset (stmt))
-      LOG_SQLITE (plugin, NULL,
-                  GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-                  "sqlite3_reset");
-    if ((GNUNET_NO == ret) && (GNUNET_OK == delete_by_rowid (plugin, rowid)))
-      plugin->env->duc (plugin->env->cls,
-                        -(size + GNUNET_NAMESTORE_ENTRY_OVERHEAD));
-    return;
-  case SQLITE_DONE:
-    /* database must be empty */
+      LOG_SQLITE (plugin,
+                 GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+                 "sqlite3_reset");
+    return GNUNET_SYSERR;
+  }      
+  if ( (NULL != name) &&
+       (SQLITE_OK != sqlite3_bind_blob (stmt, ++boff, 
+                                       &name_hase, sizeof (struct GNUNET_CRYPTO_ShortHashCode),
+                                       SQLITE_STATIC)) )
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "ITERATE NAME HASH: `%8s'", GNUNET_short_h2s(&name_hase));
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+               "sqlite3_bind_XXXX");
     if (SQLITE_OK != sqlite3_reset (stmt))
-      LOG_SQLITE (plugin, NULL,
-                  GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-                  "sqlite3_reset");
-    break;
-  case SQLITE_BUSY:
-  case SQLITE_ERROR:
-  case SQLITE_MISUSE:
-  default:
-    LOG_SQLITE (plugin, NULL, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-                "sqlite3_step");
+      LOG_SQLITE (plugin,
+                 GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+                 "sqlite3_reset");
+    return GNUNET_SYSERR;
+  }      
+
+  if (SQLITE_OK != sqlite3_bind_int64 (stmt, ++boff, 
+                                      offset)) 
+  {
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+                "sqlite3_bind_XXXX");
     if (SQLITE_OK != sqlite3_reset (stmt))
-      LOG_SQLITE (plugin, NULL,
+      LOG_SQLITE (plugin,
                   GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
                   "sqlite3_reset");
-    GNUNET_break (0);
-    database_shutdown (plugin);
-    database_setup (plugin->env->cfg, plugin);
-    break;
-  }
-  if (SQLITE_OK != sqlite3_reset (stmt))
-    LOG_SQLITE (plugin, NULL, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-                "sqlite3_reset");
-  proc (proc_cls, NULL, 0, NULL, 0, 0, 0, GNUNET_TIME_UNIT_ZERO_ABS, 0);
-
-
-
-
-
-  const GNUNET_HashCode *key;
-  sqlite3_stmt *stmt;
-  int ret;
-
-  GNUNET_assert (proc != NULL);
-  if (sq_prepare (plugin->dbh, "SELECT hash FROM gn090", &stmt) != SQLITE_OK)
-  {
-    LOG_SQLITE (plugin, NULL, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
-               "sqlite_prepare");
-    return;
-  }
-  while (SQLITE_ROW == (ret = sqlite3_step (stmt)))
-  {
-    key = sqlite3_column_blob (stmt, 1);
-    if (sizeof (GNUNET_HashCode) == sqlite3_column_bytes (stmt, 1))
-      proc (proc_cls, key, 1);
+    return GNUNET_SYSERR;
   }
-  if (SQLITE_DONE != ret)
-    LOG_SQLITE (plugin, NULL, GNUNET_ERROR_TYPE_ERROR, "sqlite_step");
-  sqlite3_finalize (stmt);
 
-#endif
-  return 0;
+  return get_record_and_call_iterator (plugin, stmt, iter, iter_cls);
 }
 
+
 /**
- * Get a particular node from the signature tree.
+ * Look for an existing PKEY delegation record for a given public key.
+ * Returns at most one result to the iterator.
  *
  * @param cls closure (internal context for the plugin)
- * @param zone hash of public key of the zone
- * @param loc location of the node in the signature tree
- * @param cb function to call with the result
- * @param cb_cls closure for cont
+ * @param zone hash of public key of the zone to look up in, never NULL
+ * @param value_zone hash of the public key of the target zone (value), never NULL
+ * @param iter function to call with the result
+ * @param iter_cls closure for iter
+ * @return GNUNET_OK on success, GNUNET_NO if there were no results, GNUNET_SYSERR on error
  */
-static void
-namestore_sqlite_get_node (void *cls, 
-                          const GNUNET_HashCode *zone,
-                          const struct GNUNET_NAMESTORE_SignatureLocation *loc,
-                          GNUNET_NAMESTORE_NodeCallback cb, void *cb_cls)
+static int
+namestore_sqlite_zone_to_name (void *cls, 
+                              const struct GNUNET_CRYPTO_ShortHashCode *zone,
+                              const struct GNUNET_CRYPTO_ShortHashCode *value_zone,
+                              GNUNET_NAMESTORE_RecordIterator iter, void *iter_cls)
 {
-}
+  struct Plugin *plugin = cls;
+  sqlite3_stmt *stmt;
 
+  stmt = plugin->zone_to_name;
+  if ( (SQLITE_OK != sqlite3_bind_blob (stmt, 1, 
+                                       zone, sizeof (struct GNUNET_CRYPTO_ShortHashCode),
+                                       SQLITE_STATIC)) ||
+       (SQLITE_OK != sqlite3_bind_blob (stmt, 2, 
+                                       value_zone, sizeof (struct GNUNET_CRYPTO_ShortHashCode),
+                                       SQLITE_STATIC)) )
+  {
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+               "sqlite3_bind_XXXX");
+    if (SQLITE_OK != sqlite3_reset (stmt))
+      LOG_SQLITE (plugin,
+                 GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+                 "sqlite3_reset");
+    return GNUNET_SYSERR;
+  }      
 
-/**
- * Get the current signature for a zone.
- *
- * @param cls closure (internal context for the plugin)
- * @param zone hash of public key of the zone
- * @param cb function to call with the result
- * @param cb_cls closure for cont
- */
-static void 
-namestore_sqlite_get_signature (void *cls, 
-                               const GNUNET_HashCode *zone,
-                               GNUNET_NAMESTORE_SignatureCallback cb, void *cb_cls)
-{
+  return get_record_and_call_iterator (plugin, stmt, iter, iter_cls);
 }
 
 
 /**
- * Delete an entire zone (all revisions, all records, all nodes,
- * all signatures).  Not used in normal operation.
+ * Delete an entire zone (all records).  Not used in normal operation.
  *
  * @param cls closure (internal context for the plugin)
  * @param zone zone to delete
  */
 static void 
 namestore_sqlite_delete_zone (void *cls,
-                             const GNUNET_HashCode *zone)
+                             const struct GNUNET_CRYPTO_ShortHashCode *zone)
 {
+  struct Plugin *plugin = cls;
+  sqlite3_stmt *stmt = plugin->delete_zone;
+  int n;
+
+  if (SQLITE_OK != sqlite3_bind_blob (stmt, 1, zone, sizeof (struct GNUNET_CRYPTO_ShortHashCode), SQLITE_STATIC))
+  {
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+                "sqlite3_bind_XXXX");
+    if (SQLITE_OK != sqlite3_reset (stmt))
+      LOG_SQLITE (plugin,
+                  GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+                  "sqlite3_reset");
+    return;
+  }
+  n = sqlite3_step (stmt);
+  if (SQLITE_OK != sqlite3_reset (stmt))
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+               "sqlite3_reset");
+  switch (n)
+  {
+  case SQLITE_DONE:
+    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, "sqlite", "Values deleted\n");
+    break;
+  case SQLITE_BUSY:
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_WARNING | GNUNET_ERROR_TYPE_BULK,
+               "sqlite3_step");
+    break;
+  default:
+    LOG_SQLITE (plugin, GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
+               "sqlite3_step");
+    break;
+  }
 }
 
 
@@ -755,12 +826,10 @@ libgnunet_plugin_namestore_sqlite_init (void *cls)
   }
   api = GNUNET_malloc (sizeof (struct GNUNET_NAMESTORE_PluginFunctions));
   api->cls = &plugin;
-  api->put_record = &namestore_sqlite_put_record;
-  api->put_node = &namestore_sqlite_put_node;
-  api->put_signature = &namestore_sqlite_put_signature;
+  api->put_records = &namestore_sqlite_put_records;
+  api->remove_records = &namestore_sqlite_remove_records;
   api->iterate_records = &namestore_sqlite_iterate_records;
-  api->get_node = &namestore_sqlite_get_node;
-  api->get_signature = &namestore_sqlite_get_signature;
+  api->zone_to_name = &namestore_sqlite_zone_to_name;
   api->delete_zone = &namestore_sqlite_delete_zone;
   LOG (GNUNET_ERROR_TYPE_INFO, 
        _("Sqlite database running\n"));