(no commit message)
[oweals/gnunet.git] / src / datastore / plugin_datastore_mysql.c
index 5fc3f68785726210d1478f711a403d39f0d4799e..0aefbb75d225d341888163651d0207cd36cbda1a 100644 (file)
  * MANUAL SETUP INSTRUCTIONS
  *
  * 1) in /etc/gnunet.conf, set
- *    <pre>
*     [datastore]
*     DATABASE = "mysql"
- *    </pre>
+ * @verbatim
      [datastore]
      DATABASE = "mysql"
+   @endverbatim
  * 2) Then access mysql as root,
- *    <pre>
- *
- *    $ mysql -u root -p
- *
- *    </pre>
+ * @verbatim
+     $ mysql -u root -p
+   @endverbatim
  *    and do the following. [You should replace $USER with the username
  *    that will be running the gnunetd process].
- *    <pre>
- *
+ * @verbatim
       CREATE DATABASE gnunet;
       GRANT select,insert,update,delete,create,alter,drop,create temporary tables
          ON gnunet.* TO $USER@localhost;
       SET PASSWORD FOR $USER@localhost=PASSWORD('$the_password_you_like');
       FLUSH PRIVILEGES;
- *
- *    </pre>
+   @endverbatim
  * 3) In the $HOME directory of $USER, create a ".my.cnf" file
  *    with the following lines
- *    <pre>
-
+ * @verbatim
       [client]
       user=$USER
       password=$the_password_you_like
-
- *    </pre>
+   @endverbatim
  *
  * Thats it. Note that .my.cnf file is a security risk unless its on
  * a safe partition etc. The $HOME/.my.cnf can of course be a symbolic
  * 4) Still, perhaps you should briefly try if the DB connection
  *    works. First, login as $USER. Then use,
  *
- *    <pre>
*    $ mysql -u $USER -p $the_password_you_like
*    mysql> use gnunet;
- *    </pre>
+ * @verbatim
+     $ mysql -u $USER -p $the_password_you_like
+     mysql> use gnunet;
+   @endverbatim
  *
  *    If you get the message &quot;Database changed&quot; it probably works.
  *
  * - The tables can be verified/fixed in two ways;
  *   1) by running mysqlcheck -A, or
  *   2) by executing (inside of mysql using the GNUnet database):
- *   mysql> REPAIR TABLE gn080;
- *   mysql> REPAIR TABLE gn072;
+ * @verbatim
+     mysql> REPAIR TABLE gn090;
+     mysql> REPAIR TABLE gn072;
+   @endverbatim
  *
  * PROBLEMS?
  *
  * to it, create tables, issue queries etc.
  *
  * TODO:
- * - implement GET
- * - remove 'size' field in gn080.
  * - use FOREIGN KEY for 'uid/vkey'
  * - consistent naming of uid/vkey
  */
    automatically apply a LIMIT on the outermost clause, so we need to
    repeat ourselves quite a bit.  All hail the performance gods (and thanks
    to #mysql on freenode) */
-#define SELECT_IT_LOW_PRIORITY "(SELECT size,type,prio,anonLevel,expire,hash,vkey FROM gn080 FORCE INDEX(prio) WHERE (prio = ? AND vkey > ?) "\
-                               "ORDER BY prio ASC,vkey ASC LIMIT 1) "\
+#define SELECT_IT_LOW_PRIORITY "(SELECT type,prio,anonLevel,expire,hash,vkey FROM gn090 FORCE INDEX(prio) WHERE (prio = ? AND vkey > ?) "\
+                               "ORDER BY prio ASC,vkey ASC LIMIT 1) "                          \
                                "UNION "\
-                               "(SELECT size,type,prio,anonLevel,expire,hash,vkey FROM gn080 FORCE INDEX(prio) WHERE (prio > ? AND vkey != ?)"\
+                               "(SELECT type,prio,anonLevel,expire,hash,vkey FROM gn090 FORCE INDEX(prio) WHERE (prio > ? AND vkey != ?)"\
                                "ORDER BY prio ASC,vkey ASC LIMIT 1)"\
                                "ORDER BY prio ASC,vkey ASC LIMIT 1"
 
-#define SELECT_IT_NON_ANONYMOUS "(SELECT size,type,prio,anonLevel,expire,hash,vkey FROM gn080 FORCE INDEX(prio) WHERE (prio = ? AND vkey < ?)"\
+#define SELECT_IT_NON_ANONYMOUS "(SELECT type,prio,anonLevel,expire,hash,vkey FROM gn090 FORCE INDEX(prio) WHERE (prio = ? AND vkey < ?)"\
                                 " AND anonLevel=0 ORDER BY prio DESC,vkey DESC LIMIT 1) "\
                                 "UNION "\
-                                "(SELECT size,type,prio,anonLevel,expire,hash,vkey FROM gn080 FORCE INDEX(prio) WHERE (prio < ? AND vkey != ?)"\
+                                "(SELECT type,prio,anonLevel,expire,hash,vkey FROM gn090 FORCE INDEX(prio) WHERE (prio < ? AND vkey != ?)"\
                                 " AND anonLevel=0 ORDER BY prio DESC,vkey DESC LIMIT 1) "\
                                 "ORDER BY prio DESC,vkey DESC LIMIT 1"
 
-#define SELECT_IT_EXPIRATION_TIME "(SELECT size,type,prio,anonLevel,expire,hash,vkey FROM gn080 FORCE INDEX(expire) WHERE (expire = ? AND vkey > ?) "\
+#define SELECT_IT_EXPIRATION_TIME "(SELECT type,prio,anonLevel,expire,hash,vkey FROM gn090 FORCE INDEX(expire) WHERE (expire = ? AND vkey > ?) "\
                                   "ORDER BY expire ASC,vkey ASC LIMIT 1) "\
                                   "UNION "\
-                                  "(SELECT size,type,prio,anonLevel,expire,hash,vkey FROM gn080 FORCE INDEX(expire) WHERE (expire > ? AND vkey != ?) "\
+                                  "(SELECT type,prio,anonLevel,expire,hash,vkey FROM gn090 FORCE INDEX(expire) WHERE (expire > ? AND vkey != ?) "\
                                   "ORDER BY expire ASC,vkey ASC LIMIT 1)"\
                                   "ORDER BY expire ASC,vkey ASC LIMIT 1"
 
 
-#define SELECT_IT_MIGRATION_ORDER "(SELECT size,type,prio,anonLevel,expire,hash,vkey FROM gn080 FORCE INDEX(expire) WHERE (expire = ? AND vkey < ?)"\
+#define SELECT_IT_MIGRATION_ORDER "(SELECT type,prio,anonLevel,expire,hash,vkey FROM gn090 FORCE INDEX(expire) WHERE (expire = ? AND vkey < ?)"\
                                   " AND expire > ? AND type!=3"\
                                   " ORDER BY expire DESC,vkey DESC LIMIT 1) "\
                                   "UNION "\
-                                  "(SELECT size,type,prio,anonLevel,expire,hash,vkey FROM gn080 FORCE INDEX(expire) WHERE (expire < ? AND vkey != ?)"\
+                                  "(SELECT type,prio,anonLevel,expire,hash,vkey FROM gn090 FORCE INDEX(expire) WHERE (expire < ? AND vkey != ?)"\
                                   " AND expire > ? AND type!=3"\
                                   " ORDER BY expire DESC,vkey DESC LIMIT 1)"\
                                   "ORDER BY expire DESC,vkey DESC LIMIT 1"
 
-#define SELECT_SIZE "SELECT sum(size) FROM gn080"
 
 
 struct GNUNET_MysqlStatementHandle
@@ -247,7 +240,7 @@ struct NextRequestClosure
    */
   void *prep_cls;
 
-  MYSQL_BIND rbind[7];
+  MYSQL_BIND rbind[6];
 
   unsigned int type;
   
@@ -311,55 +304,53 @@ struct Plugin
   struct GNUNET_MysqlStatementHandle *insert_value;
 
   /**
-   * Statements dealing with gn080 table 
+   * Statements dealing with gn090 table 
    */
-#define INSERT_ENTRY "INSERT INTO gn080 (size,type,prio,anonLevel,expire,hash,vhash,vkey) VALUES (?,?,?,?,?,?,?,?)"
+#define INSERT_ENTRY "INSERT INTO gn090 (type,prio,anonLevel,expire,hash,vhash,vkey) VALUES (?,?,?,?,?,?,?)"
   struct GNUNET_MysqlStatementHandle *insert_entry;
   
-#define DELETE_ENTRY_BY_VKEY "DELETE FROM gn080 WHERE vkey=?"
+#define DELETE_ENTRY_BY_VKEY "DELETE FROM gn090 WHERE vkey=?"
   struct GNUNET_MysqlStatementHandle *delete_entry_by_vkey;
   
-#define SELECT_ENTRY_BY_HASH "SELECT size,type,prio,anonLevel,expire,hash,vkey FROM gn080 FORCE INDEX (hash_vkey) WHERE hash=? AND vkey > ? ORDER BY vkey ASC LIMIT 1 OFFSET ?"
+#define SELECT_ENTRY_BY_HASH "SELECT type,prio,anonLevel,expire,hash,vkey FROM gn090 FORCE INDEX (hash_vkey) WHERE hash=? AND vkey > ? ORDER BY vkey ASC LIMIT 1 OFFSET ?"
   struct GNUNET_MysqlStatementHandle *select_entry_by_hash;
   
-#define SELECT_ENTRY_BY_HASH_AND_VHASH "SELECT size,type,prio,anonLevel,expire,hash,vkey FROM gn080 FORCE INDEX (hash_vhash_vkey) WHERE hash=? AND vhash=? AND vkey > ? ORDER BY vkey ASC LIMIT 1 OFFSET ?"
+#define SELECT_ENTRY_BY_HASH_AND_VHASH "SELECT type,prio,anonLevel,expire,hash,vkey FROM gn090 FORCE INDEX (hash_vhash_vkey) WHERE hash=? AND vhash=? AND vkey > ? ORDER BY vkey ASC LIMIT 1 OFFSET ?"
   struct GNUNET_MysqlStatementHandle *select_entry_by_hash_and_vhash;
 
-#define SELECT_ENTRY_BY_HASH_AND_TYPE "SELECT size,type,prio,anonLevel,expire,hash,vkey FROM gn080 FORCE INDEX (hash_vkey) WHERE hash=? AND vkey > ? AND type=? ORDER BY vkey ASC LIMIT 1 OFFSET ?"
+#define SELECT_ENTRY_BY_HASH_AND_TYPE "SELECT type,prio,anonLevel,expire,hash,vkey FROM gn090 FORCE INDEX (hash_vkey) WHERE hash=? AND vkey > ? AND type=? ORDER BY vkey ASC LIMIT 1 OFFSET ?"
   struct GNUNET_MysqlStatementHandle *select_entry_by_hash_and_type;
   
-#define SELECT_ENTRY_BY_HASH_VHASH_AND_TYPE "SELECT size,type,prio,anonLevel,expire,hash,vkey FROM gn080 FORCE INDEX (hash_vhash_vkey) WHERE hash=? AND vhash=? AND vkey > ? AND type=? ORDER BY vkey ASC LIMIT 1 OFFSET ?"
+#define SELECT_ENTRY_BY_HASH_VHASH_AND_TYPE "SELECT type,prio,anonLevel,expire,hash,vkey FROM gn090 FORCE INDEX (hash_vhash_vkey) WHERE hash=? AND vhash=? AND vkey > ? AND type=? ORDER BY vkey ASC LIMIT 1 OFFSET ?"
   struct GNUNET_MysqlStatementHandle *select_entry_by_hash_vhash_and_type;
   
-#define COUNT_ENTRY_BY_HASH "SELECT count(*) FROM gn080 FORCE INDEX (hash) WHERE hash=?"
+#define COUNT_ENTRY_BY_HASH "SELECT count(*) FROM gn090 FORCE INDEX (hash) WHERE hash=?"
   struct GNUNET_MysqlStatementHandle *count_entry_by_hash;
 
-#define COUNT_ENTRY_BY_HASH_AND_VHASH "SELECT count(*) FROM gn080 FORCE INDEX (hash_vhash_vkey) WHERE hash=? AND vhash=?"
+#define COUNT_ENTRY_BY_HASH_AND_VHASH "SELECT count(*) FROM gn090 FORCE INDEX (hash_vhash_vkey) WHERE hash=? AND vhash=?"
   struct GNUNET_MysqlStatementHandle *count_entry_by_hash_and_vhash;
 
-#define COUNT_ENTRY_BY_HASH_AND_TYPE "SELECT count(*) FROM gn080 FORCE INDEX (hash) WHERE hash=? AND type=?"
+#define COUNT_ENTRY_BY_HASH_AND_TYPE "SELECT count(*) FROM gn090 FORCE INDEX (hash) WHERE hash=? AND type=?"
   struct GNUNET_MysqlStatementHandle *count_entry_by_hash_and_type;
 
-#define COUNT_ENTRY_BY_HASH_VHASH_AND_TYPE "SELECT count(*) FROM gn080 FORCE INDEX (hash_vhash) WHERE hash=? AND vhash=? AND type=?"
+#define COUNT_ENTRY_BY_HASH_VHASH_AND_TYPE "SELECT count(*) FROM gn090 FORCE INDEX (hash_vhash) WHERE hash=? AND vhash=? AND type=?"
   struct GNUNET_MysqlStatementHandle *count_entry_by_hash_vhash_and_type;
 
-#define UPDATE_ENTRY "UPDATE gn080 SET prio=prio+?,expire=IF(expire>=?,expire,?) WHERE vkey=?"
+#define UPDATE_ENTRY "UPDATE gn090 SET prio=prio+?,expire=IF(expire>=?,expire,?) WHERE vkey=?"
   struct GNUNET_MysqlStatementHandle *update_entry;
 
-  struct GNUNET_MysqlStatementHandle *iter[4];
-
-  //static unsigned int stat_size;
+#define SELECT_SIZE "SELECT SUM(BIT_LENGTH(value) DIV 8) FROM gn072"
+  struct GNUNET_MysqlStatementHandle *get_size;
 
-  /**
-   * Size of the mysql database on disk.
-   */
-  unsigned long long content_size;
+  struct GNUNET_MysqlStatementHandle *iter[4];
 
 };
 
 
 /**
  * Obtain the location of ".my.cnf".
+ *
+ * @param cfg our configuration
  * @return NULL on error
  */
 static char *
@@ -421,6 +412,9 @@ get_my_cnf_path (const struct GNUNET_CONFIGURATION_Handle *cfg)
 
 /**
  * Free a prepared statement.
+ *
+ * @param plugin plugin context
+ * @param s prepared statement
  */
 static void
 prepared_statement_destroy (struct Plugin *plugin, 
@@ -556,6 +550,8 @@ iopen (struct Plugin *ret)
 /**
  * Run the given MySQL statement.
  *
+ * @param plugin plugin context
+ * @param statement SQL statement to run
  * @return GNUNET_OK on success, GNUNET_SYSERR on error
  */
 static int
@@ -576,49 +572,11 @@ run_statement (struct Plugin *plugin,
 }
 
 
-#if 0
-/**
- * Run the given MySQL SELECT statement.  The statement
- * must have only a single result (one column, one row).
- *
- * @return result on success, NULL on error
- */
-static char *
-run_statement_select (struct Plugin *plugin,
-                     const char *statement)
-{
-  MYSQL_RES *sql_res;
-  MYSQL_ROW sql_row;
-  char *ret;
-  
-  if ((NULL == plugin->dbf) && (GNUNET_OK != iopen (plugin)))
-    return NULL;
-  mysql_query (plugin->dbf, statement);
-  if ((mysql_error (plugin->dbf)[0]) ||
-      (!(sql_res = mysql_use_result (plugin->dbf))) ||
-      (!(sql_row = mysql_fetch_row (sql_res))))
-    {
-      LOG_MYSQL (GNUNET_ERROR_TYPE_ERROR,
-                 "mysql_query", plugin);
-      return NULL;
-    }
-  if ((mysql_num_fields (sql_res) != 1) || (sql_row[0] == NULL))
-    {
-      GNUNET_break (mysql_num_fields (sql_res) == 1);
-      if (sql_res != NULL)
-        mysql_free_result (sql_res);
-      return NULL;
-    }
-  ret = GNUNET_strdup (sql_row[0]);
-  mysql_free_result (sql_res);
-  return ret;
-}
-#endif
-
-
 /**
  * Create a prepared statement.
  *
+ * @param plugin plugin context
+ * @param statement SQL statement text to prepare
  * @return NULL on error
  */
 static struct GNUNET_MysqlStatementHandle *
@@ -639,6 +597,8 @@ prepared_statement_create (struct Plugin *plugin,
 /**
  * Prepare a statement for running.
  *
+ * @param plugin plugin context
+ * @param ret handle to prepared statement
  * @return GNUNET_OK on success
  */
 static int
@@ -678,6 +638,7 @@ prepare_statement (struct Plugin *plugin,
  * Bind the parameters for the given MySQL statement
  * and run it.
  *
+ * @param plugin plugin context
  * @param s statement to bind and run
  * @param ap arguments for the binding
  * @return GNUNET_SYSERR on error, GNUNET_OK on success
@@ -702,7 +663,7 @@ init_params (struct Plugin *plugin,
   memset (qbind, 0, sizeof (qbind));
   off = 0;
   ft = 0;
-  while ((pc > 0) && (-1 != (ft = va_arg (ap, enum enum_field_types))))
+  while ((pc > 0) && (-1 != (int) (ft = va_arg (ap, enum enum_field_types))))
     {
       qbind[off].buffer_type = ft;
       switch (ft)
@@ -733,7 +694,7 @@ init_params (struct Plugin *plugin,
       pc--;
       off++;
     }
-  if (!((pc == 0) && (ft != -1) && (va_arg (ap, int) == -1)))
+  if (! ( (pc == 0) && (-1 != (int) ft) && (va_arg (ap, int) == -1) ) )
     {
       GNUNET_break (0);
       return GNUNET_SYSERR;
@@ -776,6 +737,8 @@ typedef int (*GNUNET_MysqlDataProcessor) (void *cls,
 /**
  * Run a prepared SELECT statement.
  *
+ * @param plugin plugin context
+ * @param s statement to run
  * @param result_size number of elements in results array
  * @param results pointer to already initialized MYSQL_BIND
  *        array (of sufficient size) for passing results
@@ -859,11 +822,13 @@ prepared_statement_run_select (struct Plugin *plugin,
 /**
  * Run a prepared statement that does NOT produce results.
  *
+ * @param plugin plugin context
+ * @param s statement to run
+ * @param insert_id NULL or address where to store the row ID of whatever
+ *        was inserted (only for INSERT statements!)
  * @param ... pairs and triplets of "MYSQL_TYPE_XXX" keys and their respective
  *        values (size + buffer-reference for pointers); terminated
  *        with "-1"
- * @param insert_id NULL or address where to store the row ID of whatever
- *        was inserted (only for INSERT statements!)
  * @return GNUNET_SYSERR on error, otherwise
  *         the number of successfully affected rows
  */
@@ -895,6 +860,7 @@ prepared_statement_run (struct Plugin *plugin,
 /**
  * Delete an value from the gn072 table.
  *
+ * @param plugin plugin context
  * @param vkey vkey identifying the value to delete
  * @return GNUNET_OK on success, GNUNET_NO if no such value exists, GNUNET_SYSERR on error
  */
@@ -930,6 +896,7 @@ do_delete_value (struct Plugin *plugin,
 /**
  * Insert a value into the gn072 table.
  *
+ * @param plugin plugin context
  * @param value the value to insert
  * @param size size of the value
  * @param vkey vkey identifying the value henceforth (set)
@@ -967,8 +934,9 @@ do_insert_value (struct Plugin *plugin,
 }
 
 /**
- * Delete an entry from the gn080 table.
+ * Delete an entry from the gn090 table.
  *
+ * @param plugin plugin context
  * @param vkey vkey identifying the entry to delete
  * @return GNUNET_OK on success, GNUNET_NO if no such value exists, GNUNET_SYSERR on error
  */
@@ -980,7 +948,7 @@ do_delete_entry_by_vkey (struct Plugin *plugin,
 
 #if DEBUG_MYSQL
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Deleting value %llu from gn080 table\n",
+             "Deleting value %llu from gn090 table\n",
              vkey);
 #endif
   ret = prepared_statement_run (plugin,
@@ -995,19 +963,37 @@ do_delete_entry_by_vkey (struct Plugin *plugin,
   else
     {
       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                 "Deleting value %llu from gn080 table failed\n",
+                 "Deleting value %llu from gn090 table failed\n",
                  vkey);
     }
   return ret;
 }
 
+
+/**
+ * Function that simply returns GNUNET_OK
+ *
+ * @param cls closure, not used
+ * @param num_values not used
+ * @param values not used
+ * @return GNUNET_OK
+ */
 static int
-return_ok (void *cls, unsigned int num_values, MYSQL_BIND * values)
+return_ok (void *cls, 
+          unsigned int num_values, 
+          MYSQL_BIND * values)
 {
   return GNUNET_OK;
 }
 
 
+/**
+ * Run the prepared statement to get the next data item ready.
+ * 
+ * @param cls not used
+ * @param nrc closure for the next request iterator
+ * @return GNUNET_OK on success, GNUNET_NO if there is no additional item
+ */
 static int
 iterator_helper_prepare (void *cls,
                         struct NextRequestClosure *nrc)
@@ -1025,7 +1011,7 @@ iterator_helper_prepare (void *cls,
     case 1:
       ret = prepared_statement_run_select (plugin,
                                           plugin->iter[nrc->iter_select],
-                                          7,
+                                          6,
                                           nrc->rbind,
                                           &return_ok,
                                           NULL,
@@ -1045,7 +1031,7 @@ iterator_helper_prepare (void *cls,
     case 2:
       ret = prepared_statement_run_select (plugin,
                                           plugin->iter[nrc->iter_select],
-                                          7,
+                                          6,
                                           nrc->rbind,
                                           &return_ok,
                                           NULL,
@@ -1065,7 +1051,7 @@ iterator_helper_prepare (void *cls,
     case 3:
       ret = prepared_statement_run_select (plugin,
                                           plugin->iter[nrc->iter_select],
-                                          7,
+                                          6,
                                           nrc->rbind,
                                           &return_ok,
                                           NULL,
@@ -1076,7 +1062,7 @@ iterator_helper_prepare (void *cls,
                                           &nrc->last_vkey,
                                           GNUNET_YES,
                                           MYSQL_TYPE_LONGLONG,
-                                          &nrc->now.value,
+                                          &nrc->now.abs_value,
                                           GNUNET_YES,
                                           MYSQL_TYPE_LONGLONG,
                                           &nrc->last_expire,
@@ -1085,7 +1071,7 @@ iterator_helper_prepare (void *cls,
                                           &nrc->last_vkey,
                                           GNUNET_YES,
                                           MYSQL_TYPE_LONGLONG,
-                                          &nrc->now.value,
+                                          &nrc->now.abs_value,
                                           GNUNET_YES, -1);
       break;
     default:
@@ -1103,12 +1089,11 @@ iterator_helper_prepare (void *cls,
  */
 static void 
 mysql_next_request_cont (void *next_cls,
-                         const struct GNUNET_SCHEDULER_TaskContext *tc)
+                        const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct NextRequestClosure *nrc = next_cls;
   struct Plugin *plugin;
   int ret;
-  unsigned int size;
   unsigned int type;
   unsigned int priority;
   unsigned int anonymity;
@@ -1133,74 +1118,52 @@ mysql_next_request_cont (void *next_cls,
   memset (nrc->rbind, 0, sizeof (nrc->rbind));
   rbind = nrc->rbind;
   rbind[0].buffer_type = MYSQL_TYPE_LONG;
-  rbind[0].buffer = &size;
+  rbind[0].buffer = &type;
   rbind[0].is_unsigned = 1;
   rbind[1].buffer_type = MYSQL_TYPE_LONG;
-  rbind[1].buffer = &type;
+  rbind[1].buffer = &priority;
   rbind[1].is_unsigned = 1;
   rbind[2].buffer_type = MYSQL_TYPE_LONG;
-  rbind[2].buffer = &priority;
+  rbind[2].buffer = &anonymity;
   rbind[2].is_unsigned = 1;
-  rbind[3].buffer_type = MYSQL_TYPE_LONG;
-  rbind[3].buffer = &anonymity;
+  rbind[3].buffer_type = MYSQL_TYPE_LONGLONG;
+  rbind[3].buffer = &exp;
   rbind[3].is_unsigned = 1;
-  rbind[4].buffer_type = MYSQL_TYPE_LONGLONG;
-  rbind[4].buffer = &exp;
-  rbind[4].is_unsigned = 1;
-  rbind[5].buffer_type = MYSQL_TYPE_BLOB;
-  rbind[5].buffer = &key;
-  rbind[5].buffer_length = hashSize;
-  rbind[5].length = &hashSize;
-  rbind[6].buffer_type = MYSQL_TYPE_LONGLONG;
-  rbind[6].buffer = &vkey;
-  rbind[6].is_unsigned = GNUNET_YES;
+  rbind[4].buffer_type = MYSQL_TYPE_BLOB;
+  rbind[4].buffer = &key;
+  rbind[4].buffer_length = hashSize;
+  rbind[4].length = &hashSize;
+  rbind[5].buffer_type = MYSQL_TYPE_LONGLONG;
+  rbind[5].buffer = &vkey;
+  rbind[5].is_unsigned = GNUNET_YES;
 
   if ( (GNUNET_YES == nrc->end_it) ||
        (GNUNET_OK != nrc->prep (nrc->prep_cls,
                                nrc)))
     goto END_SET;
   GNUNET_assert (nrc->plugin->next_task == GNUNET_SCHEDULER_NO_TASK);
-  if (size >= GNUNET_SERVER_MAX_MESSAGE_SIZE)
-    {
-      GNUNET_break (0); /* far too big */
-      goto END_SET;
-    }
   nrc->last_vkey = vkey;
   nrc->last_prio = priority;
   nrc->last_expire = exp;
-  if ((rbind[0].buffer_type != MYSQL_TYPE_LONG) ||
-      (!rbind[0].is_unsigned) ||
-      (rbind[1].buffer_type != MYSQL_TYPE_LONG) ||
-      (!rbind[1].is_unsigned) ||
-      (rbind[2].buffer_type != MYSQL_TYPE_LONG) ||
-      (!rbind[2].is_unsigned) ||
-      (rbind[3].buffer_type != MYSQL_TYPE_LONG) ||
-      (!rbind[3].is_unsigned) ||
-      (rbind[4].buffer_type != MYSQL_TYPE_LONGLONG) ||
-      (!rbind[4].is_unsigned) ||
-      (rbind[5].buffer_type != MYSQL_TYPE_BLOB) ||
-      (rbind[5].buffer_length != sizeof (GNUNET_HashCode)) ||
-      (*rbind[5].length != sizeof (GNUNET_HashCode)) ||
-      (rbind[6].buffer_type != MYSQL_TYPE_LONGLONG) ||
-      (!rbind[6].is_unsigned))
+  if ( (rbind[4].buffer_length != sizeof (GNUNET_HashCode)) ||
+       (hashSize != sizeof (GNUNET_HashCode)) )
     {
       GNUNET_break (0);
       goto END_SET;
     }    
 #if DEBUG_MYSQL
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Found value %llu with size %u, prio %u, anon %u, expire %llu selecting from gn080 table\n",
-             vkey,
-             size,
+             "Found value %llu with prio %u, anon %u, expire %llu selecting from gn090 table\n",
+             vkey,           
              priority,
              anonymity,
              exp);
 #endif
   /* now do query on gn072 */
-  length = size;
+  length = sizeof (datum);
   memset (dbind, 0, sizeof (dbind));
   dbind[0].buffer_type = MYSQL_TYPE_BLOB;
-  dbind[0].buffer_length = size;
+  dbind[0].buffer_length = length;
   dbind[0].length = &length;
   dbind[0].buffer = datum;
   ret = prepared_statement_run_select (plugin,
@@ -1214,40 +1177,33 @@ mysql_next_request_cont (void *next_cls,
   GNUNET_break (ret <= 1);     /* should only have one rbind! */
   if (ret > 0)
     ret = GNUNET_OK;
-  if ((ret != GNUNET_OK) ||
-      (dbind[0].buffer_length != size) || (length != size))
+  if (ret != GNUNET_OK) 
     {
-      GNUNET_break (ret != 0); /* should have one rbind! */
+      GNUNET_break (0);
       GNUNET_log (GNUNET_ERROR_TYPE_WARNING, 
-                 "Failed to obtain %llu from gn072\n",
-                 vkey);
-      GNUNET_break (length == size);    /* length should match! */
-      GNUNET_break (dbind[0].buffer_length == size);    /* length should be internally consistent! */
-      if (ret != 0)
-       {
-         do_delete_value (plugin, vkey);
-         do_delete_entry_by_vkey (plugin, vkey);
-         plugin->content_size -= size;
-       }
+                 _("Failed to obtain value %llu from table `%s'\n"),
+                 vkey,
+                 "gn072");
       goto AGAIN;
     }
+  GNUNET_break (length <= sizeof(datum));
 #if DEBUG_MYSQL
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
              "Calling iterator with value `%s' number %llu of size %u with type %u, priority %u, anonymity %u and expiration %llu\n",
              GNUNET_h2s (&key),
-             vkey,
-             size,
+             vkey,           
+             length,
              type,
              priority,
              anonymity,
              exp);
 #endif
   GNUNET_assert (nrc->plugin->next_task == GNUNET_SCHEDULER_NO_TASK);
-  expiration.value = exp;
+  expiration.abs_value = exp;
   ret = nrc->dviter (nrc->dviter_cls,
                     nrc,
                     &key,
-                    size,
+                    length,
                     datum,
                     type,
                     priority,
@@ -1263,7 +1219,9 @@ mysql_next_request_cont (void *next_cls,
     {
       do_delete_value (plugin, vkey);
       do_delete_entry_by_vkey (plugin, vkey);
-      plugin->content_size -= size;
+      if (length != 0)
+       plugin->env->duc (plugin->env->cls,
+                         - length);
     }
   return;
  END_SET:
@@ -1311,14 +1269,16 @@ mysql_plugin_next_request (void *next_cls,
  * using the given query to select and order
  * the items.
  *
+ * @param plugin plugin context
  * @param type entries of which type should be considered?
- *        Use 0 for any type.
- * @param iter never NULL
+ * @param iter_select which iterator statement are we using
  * @param is_asc are we using ascending order?
+ * @param dviter function to call on each matching item
+ * @param dviter_cls closure for dviter
  */
 static void
 iterateHelper (struct Plugin *plugin,
-              unsigned int type,
+              enum GNUNET_BLOCK_Type type,
                int is_asc,
                unsigned int iter_select, 
               PluginIterator dviter,
@@ -1353,14 +1313,29 @@ iterateHelper (struct Plugin *plugin,
  * Get an estimate of how much space the database is
  * currently using.
  *
- * @param cls our "struct Plugin*"
+ * @param cls our "struct Plugin *"
  * @return number of bytes used on disk
  */
 static unsigned long long
 mysql_plugin_get_size (void *cls)
 {
   struct Plugin *plugin = cls;
-  return plugin->content_size;
+  MYSQL_BIND cbind[1];
+  long long total;
+
+  memset (cbind, 0, sizeof (cbind));
+  total = 0;
+  cbind[0].buffer_type = MYSQL_TYPE_LONGLONG;
+  cbind[0].buffer = &total;
+  cbind[0].is_unsigned = GNUNET_NO;
+  if (GNUNET_OK != 
+      prepared_statement_run_select (plugin,
+                                    plugin->get_size,
+                                    1, cbind, 
+                                    &return_ok, NULL,
+                                    -1))
+    return 0;
+  return total;
 }
 
 
@@ -1380,21 +1355,20 @@ mysql_plugin_get_size (void *cls)
  */
 static int
 mysql_plugin_put (void *cls,
-                    const GNUNET_HashCode * key,
-                    uint32_t size,
-                    const void *data,
-                    enum GNUNET_BLOCK_Type type,
-                    uint32_t priority,
-                    uint32_t anonymity,
-                    struct GNUNET_TIME_Absolute expiration,
-                    char **msg)
+                 const GNUNET_HashCode * key,
+                 uint32_t size,
+                 const void *data,
+                 enum GNUNET_BLOCK_Type type,
+                 uint32_t priority,
+                 uint32_t anonymity,
+                 struct GNUNET_TIME_Absolute expiration,
+                 char **msg)
 {
   struct Plugin *plugin = cls;
   unsigned int itype = type;
-  unsigned int isize = size;
   unsigned int ipriority = priority;
   unsigned int ianonymity = anonymity;
-  unsigned long long lexpiration = expiration.value;
+  unsigned long long lexpiration = expiration.abs_value;
   unsigned long hashSize;
   unsigned long hashSize2;
   unsigned long long vkey;
@@ -1416,9 +1390,6 @@ mysql_plugin_put (void *cls,
                              plugin->insert_entry,
                              NULL,
                              MYSQL_TYPE_LONG,
-                             &isize,
-                             GNUNET_YES,
-                             MYSQL_TYPE_LONG,
                              &itype,
                              GNUNET_YES,
                              MYSQL_TYPE_LONG,
@@ -1446,12 +1417,14 @@ mysql_plugin_put (void *cls,
     }
 #if DEBUG_MYSQL
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Inserted value `%s' number %llu with size %u into gn080 table\n",
+             "Inserted value `%s' number %llu with size %u into gn090 table\n",
              GNUNET_h2s (key),
              vkey,
-             isize);
+             (unsigned int) size);
 #endif
-  plugin->content_size += size;
+  if (size > 0)
+    plugin->env->duc (plugin->env->cls,
+                     size);
   return GNUNET_OK;
 }
 
@@ -1492,7 +1465,6 @@ struct GetContext
   int off;
   int count;
   int have_vhash;
-  unsigned long size; /* OBSOLETE! */
 };
 
 
@@ -1537,7 +1509,7 @@ get_statement_prepare (void *cls,
          ret =
            prepared_statement_run_select
            (plugin,
-            plugin->select_entry_by_hash_vhash_and_type, 7, nrc->rbind, &return_ok,
+            plugin->select_entry_by_hash_vhash_and_type, 6, nrc->rbind, &return_ok,
             NULL, MYSQL_TYPE_BLOB, &gc->key, hashSize, &hashSize,
             MYSQL_TYPE_BLOB, &gc->vhash, hashSize, &hashSize,
             MYSQL_TYPE_LONGLONG, &nrc->last_vkey, GNUNET_YES, MYSQL_TYPE_LONG,
@@ -1549,7 +1521,7 @@ get_statement_prepare (void *cls,
          ret =
            prepared_statement_run_select
            (plugin,
-            plugin->select_entry_by_hash_and_type, 7, nrc->rbind, &return_ok, NULL,
+            plugin->select_entry_by_hash_and_type, 6, nrc->rbind, &return_ok, NULL,
             MYSQL_TYPE_BLOB, &gc->key, hashSize, &hashSize,
             MYSQL_TYPE_LONGLONG, &nrc->last_vkey, GNUNET_YES, MYSQL_TYPE_LONG,
             &nrc->type, GNUNET_YES, MYSQL_TYPE_LONG, &limit_off, GNUNET_YES,
@@ -1563,7 +1535,7 @@ get_statement_prepare (void *cls,
          ret =
            prepared_statement_run_select
            (plugin,
-            plugin->select_entry_by_hash_and_vhash, 7, nrc->rbind, &return_ok, NULL,
+            plugin->select_entry_by_hash_and_vhash, 6, nrc->rbind, &return_ok, NULL,
             MYSQL_TYPE_BLOB, &gc->key, hashSize, &hashSize, MYSQL_TYPE_BLOB,
             &gc->vhash, hashSize, &hashSize, MYSQL_TYPE_LONGLONG,
             &nrc->last_vkey, GNUNET_YES, MYSQL_TYPE_LONG, &limit_off,
@@ -1574,7 +1546,7 @@ get_statement_prepare (void *cls,
          ret =
            prepared_statement_run_select
            (plugin,
-            plugin->select_entry_by_hash, 7, nrc->rbind, &return_ok, NULL,
+            plugin->select_entry_by_hash, 6, nrc->rbind, &return_ok, NULL,
             MYSQL_TYPE_BLOB, &gc->key, hashSize, &hashSize,
             MYSQL_TYPE_LONGLONG, &nrc->last_vkey, GNUNET_YES, MYSQL_TYPE_LONG,
             &limit_off, GNUNET_YES, -1);
@@ -1748,7 +1720,7 @@ mysql_plugin_update (void *cls,
 {
   struct Plugin *plugin = cls;
   unsigned long long vkey = uid;
-  unsigned long long lexpire = expire.value;
+  unsigned long long lexpire = expire.abs_value;
   int ret;
 
 #if DEBUG_MYSQL
@@ -1880,11 +1852,11 @@ mysql_plugin_drop (void *cls)
   struct Plugin *plugin = cls;
 
   if ((GNUNET_OK != run_statement (plugin,
-                                  "DROP TABLE gn080")) ||
+                                  "DROP TABLE gn090")) ||
       (GNUNET_OK != run_statement (plugin,
                                   "DROP TABLE gn072")))
-    return;                     /* error */
-  plugin->content_size = 0;
+    return;           /* error */
+  plugin->env->duc (plugin->env->cls, 0);
 }
 
 
@@ -1913,8 +1885,7 @@ libgnunet_plugin_datastore_mysql_init (void *cls)
     }
 #define MRUNS(a) (GNUNET_OK != run_statement (plugin, a) )
 #define PINIT(a,b) (NULL == (a = prepared_statement_create(plugin, b)))
-  if (MRUNS ("CREATE TABLE IF NOT EXISTS gn080 ("
-             " size INT(11) UNSIGNED NOT NULL DEFAULT 0,"
+  if (MRUNS ("CREATE TABLE IF NOT EXISTS gn090 ("
              " type INT(11) UNSIGNED NOT NULL DEFAULT 0,"
              " prio INT(11) UNSIGNED NOT NULL DEFAULT 0,"
              " anonLevel INT(11) UNSIGNED NOT NULL DEFAULT 0,"
@@ -1945,6 +1916,7 @@ libgnunet_plugin_datastore_mysql_init (void *cls)
       || PINIT (plugin->select_entry_by_hash_vhash_and_type,
                 SELECT_ENTRY_BY_HASH_VHASH_AND_TYPE)
       || PINIT (plugin->count_entry_by_hash, COUNT_ENTRY_BY_HASH)
+      || PINIT (plugin->get_size, SELECT_SIZE)
       || PINIT (plugin->count_entry_by_hash_and_vhash, COUNT_ENTRY_BY_HASH_AND_VHASH)
       || PINIT (plugin->count_entry_by_hash_and_type, COUNT_ENTRY_BY_HASH_AND_TYPE)
       || PINIT (plugin->count_entry_by_hash_vhash_and_type,