fix
[oweals/gnunet.git] / src / datastore / plugin_datastore_sqlite.c
index ce92d3882110ce0520100928d01e26a5e641a089..7417e5d7987657a91b0ca4ed953c0ef82e4b0cb9 100644 (file)
@@ -4,7 +4,7 @@
 
      GNUnet is free software; you can redistribute it and/or modify
      it under the terms of the GNU General Public License as published
-     by the Free Software Foundation; either version 2, or (at your
+     by the Free Software Foundation; either version 3, or (at your
      option) any later version.
 
      GNUnet is distributed in the hope that it will be useful, but
@@ -29,7 +29,7 @@
 #include "plugin_datastore.h"
 #include <sqlite3.h>
 
-#define DEBUG_SQLITE GNUNET_YES
+#define DEBUG_SQLITE GNUNET_NO
 
 /**
  * After how many payload-changing operations
  */
 #define MAX_STAT_SYNC_LAG 50
 
-#define QUOTA_STAT_NAME gettext_noop ("file-sharing datastore utilization (in bytes)")
+#define QUOTA_STAT_NAME gettext_noop ("# bytes used in file-sharing datastore")
 
 /**
  * Log an error message at log-level 'level' that indicates
  * a failure of the command 'cmd' on file 'filename'
  * with the message given by strerror(errno).
  */
-#define LOG_SQLITE(db, msg, level, cmd) do { GNUNET_log_from (level, "sqlite", _("`%s' failed at %s:%d with error: %s\n"), cmd, __FILE__, __LINE__, sqlite3_errmsg(db->dbh)); if (msg != NULL) GNUNET_asprintf(msg, _("`%s' failed with error: %s\n"), cmd, sqlite3_errmsg(db->dbh)); } while(0)
+#define LOG_SQLITE(db, msg, level, cmd) do { GNUNET_log_from (level, "sqlite", _("`%s' failed at %s:%d with error: %s\n"), cmd, __FILE__, __LINE__, sqlite3_errmsg(db->dbh)); if (msg != NULL) GNUNET_asprintf(msg, _("`%s' failed at %s:%u with error: %s"), cmd, __FILE__, __LINE__, sqlite3_errmsg(db->dbh)); } while(0)
 
 #define SELECT_IT_LOW_PRIORITY_1 \
   "SELECT size,type,prio,anonLevel,expire,hash,value,_ROWID_ FROM gn080 WHERE (prio = ? AND hash > ?) "\
@@ -91,6 +91,7 @@
 #define BUSY_TIMEOUT_MS 250
 
 
+
 /**
  * Context for all functions in this plugin.
  */
@@ -125,6 +126,21 @@ struct Plugin
    * Handle to the statistics service.
    */
   struct GNUNET_STATISTICS_Handle *statistics;
+
+  /**
+   * Handle for pending get request.
+   */
+  struct GNUNET_STATISTICS_GetHandle *stat_get;
+
+  /**
+   * Closure of the 'next_task' (must be freed if 'next_task' is cancelled).
+   */
+  struct NextContext *next_task_nc;
+
+  /**
+   * Pending task with scheduler for running the next request.
+   */
+  GNUNET_SCHEDULER_TaskIdentifier next_task;
   
   /**
    * How much data are we currently storing
@@ -143,27 +159,37 @@ struct Plugin
    * Should the database be dropped on shutdown?
    */
   int drop_on_shutdown;
+
+  /**
+   * Did we get an answer from statistics?
+   */
+  int stats_worked;
 };
 
 
 /**
  * @brief Prepare a SQL statement
  *
+ * @param dbh handle to the database
  * @param zSql SQL statement, UTF-8 encoded
+ * @param ppStmt set to the prepared statement
+ * @return 0 on success
  */
 static int
 sq_prepare (sqlite3 * dbh, const char *zSql,
             sqlite3_stmt ** ppStmt)
 {
   char *dummy;
-  return sqlite3_prepare (dbh,
-                          zSql,
-                          strlen (zSql), ppStmt, (const char **) &dummy);
+  return sqlite3_prepare_v2 (dbh,
+                            zSql,
+                            strlen (zSql), ppStmt, (const char **) &dummy);
 }
 
 
 /**
  * Create our database indices.
+ * 
+ * @param dbh handle to the database
  */
 static void
 create_indices (sqlite3 * dbh)
@@ -205,10 +231,12 @@ create_indices (sqlite3 * dbh)
  * data structures (create tables and indices
  * as needed as well).
  *
+ * @param cfg our configuration
+ * @param plugin the plugin context (state for this module)
  * @return GNUNET_OK on success
  */
 static int
-database_setup (struct GNUNET_CONFIGURATION_Handle *cfg,
+database_setup (const struct GNUNET_CONFIGURATION_Handle *cfg,
                struct Plugin *plugin)
 {
   sqlite3_stmt *stmt;
@@ -230,11 +258,21 @@ database_setup (struct GNUNET_CONFIGURATION_Handle *cfg,
                       "datastore-sqlite");
       return GNUNET_SYSERR;
     }
-  if (GNUNET_OK != GNUNET_DISK_directory_create_for_file (afsdir))
+  if (GNUNET_OK != GNUNET_DISK_file_test (afsdir))
     {
-      GNUNET_break (0);
-      GNUNET_free (afsdir);
-      return GNUNET_SYSERR;
+      if (GNUNET_OK != GNUNET_DISK_directory_create_for_file (afsdir))
+       {
+         GNUNET_break (0);
+         GNUNET_free (afsdir);
+         return GNUNET_SYSERR;
+       }
+      /* database is new or got deleted, reset payload to zero! */
+      if (plugin->stat_get != NULL)
+       {
+         GNUNET_STATISTICS_get_cancel (plugin->stat_get);
+         plugin->stat_get = NULL;
+       }
+      plugin->payload = 0;
     }
   plugin->fn = GNUNET_STRINGS_to_utf8 (afsdir, strlen (afsdir),
 #ifdef ENABLE_NLS
@@ -260,11 +298,15 @@ database_setup (struct GNUNET_CONFIGURATION_Handle *cfg,
   CHECK (SQLITE_OK ==
          sqlite3_exec (plugin->dbh,
                        "PRAGMA synchronous=OFF", NULL, NULL, ENULL));
+  CHECK (SQLITE_OK ==
+         sqlite3_exec (plugin->dbh,
+                       "PRAGMA auto_vacuum=INCREMENTAL", NULL, NULL, ENULL));
   CHECK (SQLITE_OK ==
          sqlite3_exec (plugin->dbh,
                        "PRAGMA count_changes=OFF", NULL, NULL, ENULL));
   CHECK (SQLITE_OK ==
-         sqlite3_exec (plugin->dbh, "PRAGMA page_size=4092", NULL, NULL, ENULL));
+         sqlite3_exec (plugin->dbh, 
+                      "PRAGMA page_size=4092", NULL, NULL, ENULL));
 
   CHECK (SQLITE_OK == sqlite3_busy_timeout (plugin->dbh, BUSY_TIMEOUT_MS));
 
@@ -335,6 +377,7 @@ database_setup (struct GNUNET_CONFIGURATION_Handle *cfg,
 /**
  * Synchronize our utilization statistics with the 
  * statistics service.
+ * @param plugin the plugin context (state for this module)
  */
 static void 
 sync_stats (struct Plugin *plugin)
@@ -350,6 +393,7 @@ sync_stats (struct Plugin *plugin)
 /**
  * Shutdown database connection and associate data
  * structures.
+ * @param plugin the plugin context (state for this module)
  */
 static void
 database_shutdown (struct Plugin *plugin)
@@ -368,6 +412,8 @@ database_shutdown (struct Plugin *plugin)
 /**
  * Get an estimate of how much space the database is
  * currently using.
+ *
+ * @param cls our plugin context
  * @return number of bytes used on disk
  */
 static unsigned long long sqlite_plugin_get_size (void *cls)
@@ -380,6 +426,9 @@ static unsigned long long sqlite_plugin_get_size (void *cls)
 /**
  * Delete the database entry with the given
  * row identifier.
+ *
+ * @param plugin the plugin context (state for this module)
+ * @param rid the ID of the row to delete
  */
 static int
 delete_by_rowid (struct Plugin* plugin, 
@@ -502,13 +551,13 @@ struct NextContext
  * Continuation of "sqlite_next_request".
  *
  * @param cls the next context
+ * @param tc the task context (unused)
  */
 static void 
 sqlite_next_request_cont (void *cls,
                          const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  static struct GNUNET_TIME_Absolute zero;
-  struct NextContext * nc= cls;
+  struct NextContext * nc = cls;
   struct Plugin *plugin;
   unsigned long long rowid;
   sqlite3_stmt *stmtd;
@@ -520,9 +569,10 @@ sqlite_next_request_cont (void *cls,
   struct GNUNET_TIME_Absolute expiration;
   const GNUNET_HashCode *key;
   const void *data;
-
+  
   plugin = nc->plugin;
+  plugin->next_task = GNUNET_SCHEDULER_NO_TASK;
+  plugin->next_task_nc = NULL;
   if ( (GNUNET_YES == nc->end_it) ||
        (GNUNET_OK != (nc->prep(nc->prep_cls,
                               nc))) )
@@ -530,7 +580,7 @@ sqlite_next_request_cont (void *cls,
     END:
       nc->iter (nc->iter_cls, 
                NULL, NULL, 0, NULL, 0, 0, 0, 
-               zero, 0);
+               GNUNET_TIME_UNIT_ZERO_ABS, 0);
       nc->prep (nc->prep_cls, NULL);
       GNUNET_free (nc);
       return;
@@ -600,11 +650,32 @@ sqlite_next_request_cont (void *cls,
       nc->end_it = GNUNET_YES;
       return;
     }
+#if DEBUG_SQLITE
+  if (ret == GNUNET_NO)
+    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG,
+                    "sqlite",
+                    "Asked to remove entry %llu (%u bytes)\n",
+                    (unsigned long long) rowid,
+                    size + GNUNET_DATASTORE_ENTRY_OVERHEAD);
+#endif
   if ( (ret == GNUNET_NO) &&
        (GNUNET_OK == delete_by_rowid (plugin, rowid)) )
     {
-      plugin->payload -= (size + GNUNET_DATASTORE_ENTRY_OVERHEAD);
+      if (plugin->payload >= size + GNUNET_DATASTORE_ENTRY_OVERHEAD)
+       plugin->payload -= (size + GNUNET_DATASTORE_ENTRY_OVERHEAD);
+      else
+       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                   _("Datastore payload inaccurate, please fix and restart!\n"));
       plugin->lastSync++; 
+#if DEBUG_SQLITE
+      if (ret == GNUNET_NO)
+       GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG,
+                        "sqlite",
+                        "Removed entry %llu (%u bytes), new payload is %llu\n",
+                        (unsigned long long) rowid,
+                        size + GNUNET_DATASTORE_ENTRY_OVERHEAD,
+                        plugin->payload);
+#endif
       if (plugin->lastSync >= MAX_STAT_SYNC_LAG)
        sync_stats (plugin);
     }
@@ -631,11 +702,10 @@ sqlite_next_request (void *next_cls,
 
   if (GNUNET_YES == end_it)
     nc->end_it = GNUNET_YES;
-  GNUNET_SCHEDULER_add_continuation (nc->plugin->env->sched,
-                                    GNUNET_NO,                              
-                                    &sqlite_next_request_cont,
-                                    nc,
-                                    GNUNET_SCHEDULER_REASON_PREREQ_DONE);
+  nc->plugin->next_task_nc = nc;
+  nc->plugin->next_task = GNUNET_SCHEDULER_add_now (nc->plugin->env->sched,
+                                                   &sqlite_next_request_cont,
+                                                   nc);
 }
 
 
@@ -659,7 +729,7 @@ sqlite_plugin_put (void *cls,
                   const GNUNET_HashCode * key,
                   uint32_t size,
                   const void *data,
-                  uint32_t type,
+                  enum GNUNET_BLOCK_Type type,
                   uint32_t priority,
                   uint32_t anonymity,
                   struct GNUNET_TIME_Absolute expiration,
@@ -706,7 +776,7 @@ sqlite_plugin_put (void *cls,
       return GNUNET_SYSERR;
     }
   n = sqlite3_step (stmt);
-  if (n != SQLITE_DONE)
+  if (n != SQLITE_DONE) 
     {
       if (n == SQLITE_BUSY)
         {
@@ -719,6 +789,9 @@ sqlite_plugin_put (void *cls,
       LOG_SQLITE (plugin, msg,
                   GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK, "sqlite3_step");
       sqlite3_reset (stmt);
+      database_shutdown (plugin);
+      database_setup (plugin->env->cfg,
+                     plugin);
       return GNUNET_SYSERR;
     }
   if (SQLITE_OK != sqlite3_reset (stmt))
@@ -727,6 +800,13 @@ sqlite_plugin_put (void *cls,
                 GNUNET_ERROR_TYPE_BULK, "sqlite3_reset");
   plugin->lastSync++;
   plugin->payload += size + GNUNET_DATASTORE_ENTRY_OVERHEAD;
+#if DEBUG_SQLITE
+  GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG,
+                  "sqlite",
+                  "Stored new entry (%u bytes), new payload is %llu\n",
+                  size + GNUNET_DATASTORE_ENTRY_OVERHEAD,
+                  plugin->payload);
+#endif
   if (plugin->lastSync >= MAX_STAT_SYNC_LAG)
     sync_stats (plugin);
   return GNUNET_OK;
@@ -744,6 +824,7 @@ sqlite_plugin_put (void *cls,
  * Note that it is possible for multiple values to match this put.
  * In that case, all of the respective values are updated.
  *
+ * @param cls the plugin context (state for this module)
  * @param uid unique identifier of the datum
  * @param delta by how much should the priority
  *     change?  If priority + delta < 0 the
@@ -768,7 +849,7 @@ sqlite_plugin_update (void *cls,
   sqlite3_bind_int64 (plugin->updPrio, 2, expire.value);
   sqlite3_bind_int64 (plugin->updPrio, 3, uid);
   n = sqlite3_step (plugin->updPrio);
-  if (n != SQLITE_OK)
+  if (n != SQLITE_DONE)
     LOG_SQLITE (plugin, msg,
                GNUNET_ERROR_TYPE_WARNING | GNUNET_ERROR_TYPE_BULK,
                "sqlite3_step");
@@ -782,22 +863,61 @@ sqlite_plugin_update (void *cls,
 
   if (n == SQLITE_BUSY)
     return GNUNET_NO;
-  return n == SQLITE_OK ? GNUNET_OK : GNUNET_SYSERR;
+  return n == SQLITE_DONE ? GNUNET_OK : GNUNET_SYSERR;
 }
 
 
+/**
+ * Internal context for an iteration.
+ */
 struct IterContext
 {
+  /**
+   * FIXME.
+   */
   sqlite3_stmt *stmt_1;
+
+  /**
+   * FIXME.
+   */
   sqlite3_stmt *stmt_2;
+
+  /**
+   * FIXME.
+   */
   int is_asc;
+
+  /**
+   * FIXME.
+   */
   int is_prio;
+
+  /**
+   * FIXME.
+   */
   int is_migr;
+
+  /**
+   * FIXME.
+   */
   int limit_nonanonymous;
-  uint32_t type;
+
+  /**
+   * Desired type for blocks returned by this iterator.
+   */
+  enum GNUNET_BLOCK_Type type;
 };
 
 
+/**
+ * Prepare our SQL query to obtain the next record from the database.
+ *
+ * @param cls our "struct IterContext"
+ * @param nc NULL to terminate the iteration, otherwise our context for
+ *           getting the next result.
+ * @return GNUNET_OK on success, GNUNET_NO if there are no more results,
+ *         GNUNET_SYSERR on error (or end of iteration)
+ */
 static int
 iter_next_prepare (void *cls,
                   struct NextContext *nc)
@@ -904,16 +1024,22 @@ iter_next_prepare (void *cls,
  * Call a method for each key in the database and
  * call the callback method on it.
  *
+ * @param plugin our plugin context
  * @param type entries of which type should be considered?
+ * @param is_asc are we iterating in ascending order?
+ * @param is_prio are we iterating by priority (otherwise by expiration)
+ * @param is_migr are we iterating in migration order?
+ * @param limit_nonanonymous are we restricting results to those with anonymity
+ *              level zero?
+ * @param stmt_str_1 first SQL statement to execute
+ * @param stmt_str_2 SQL statement to execute to get "more" results (inner iteration)
  * @param iter function to call on each matching value;
  *        will be called once with a NULL value at the end
  * @param iter_cls closure for iter
- * @return the number of results processed,
- *         GNUNET_SYSERR on error
  */
 static void
 basic_iter (struct Plugin *plugin,
-           uint32_t type,
+           enum GNUNET_BLOCK_Type type,
            int is_asc,
            int is_prio,
            int is_migr,
@@ -923,7 +1049,6 @@ basic_iter (struct Plugin *plugin,
            PluginIterator iter,
            void *iter_cls)
 {
-  static struct GNUNET_TIME_Absolute zero;
   struct NextContext *nc;
   struct IterContext *ic;
   sqlite3_stmt *stmt_1;
@@ -940,17 +1065,17 @@ basic_iter (struct Plugin *plugin,
     {
       LOG_SQLITE (plugin, NULL,
                   GNUNET_ERROR_TYPE_ERROR |
-                  GNUNET_ERROR_TYPE_BULK, "sqlite3_prepare");
-      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, zero, 0);
+                  GNUNET_ERROR_TYPE_BULK, "sqlite3_prepare_v2");
+      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, GNUNET_TIME_UNIT_ZERO_ABS, 0);
       return;
     }
   if (sq_prepare (plugin->dbh, stmt_str_2, &stmt_2) != SQLITE_OK)
     {
       LOG_SQLITE (plugin, NULL,
                   GNUNET_ERROR_TYPE_ERROR |
-                  GNUNET_ERROR_TYPE_BULK, "sqlite3_prepare");
+                  GNUNET_ERROR_TYPE_BULK, "sqlite3_prepare_v2");
       sqlite3_finalize (stmt_1);
-      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, zero, 0);
+      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, GNUNET_TIME_UNIT_ZERO_ABS, 0);
       return;
     }
   nc = GNUNET_malloc (sizeof(struct NextContext) + 
@@ -989,6 +1114,7 @@ basic_iter (struct Plugin *plugin,
  * Select a subset of the items in the datastore and call
  * the given iterator for each of them.
  *
+ * @param cls our plugin context
  * @param type entries of which type should be considered?
  *        Use 0 for any type.
  * @param iter function to call on each matching value;
@@ -997,7 +1123,7 @@ basic_iter (struct Plugin *plugin,
  */
 static void
 sqlite_plugin_iter_low_priority (void *cls,
-                                uint32_t type,
+                                enum GNUNET_BLOCK_Type type,
                                 PluginIterator iter,
                                 void *iter_cls)
 {
@@ -1015,6 +1141,7 @@ sqlite_plugin_iter_low_priority (void *cls,
  * Select a subset of the items in the datastore and call
  * the given iterator for each of them.
  *
+ * @param cls our plugin context
  * @param type entries of which type should be considered?
  *        Use 0 for any type.
  * @param iter function to call on each matching value;
@@ -1023,7 +1150,7 @@ sqlite_plugin_iter_low_priority (void *cls,
  */
 static void
 sqlite_plugin_iter_zero_anonymity (void *cls,
-                                  uint32_t type,
+                                  enum GNUNET_BLOCK_Type type,
                                   PluginIterator iter,
                                   void *iter_cls)
 {
@@ -1053,6 +1180,7 @@ sqlite_plugin_iter_zero_anonymity (void *cls,
  * Select a subset of the items in the datastore and call
  * the given iterator for each of them.
  *
+ * @param cls our plugin context
  * @param type entries of which type should be considered?
  *        Use 0 for any type.
  * @param iter function to call on each matching value;
@@ -1061,7 +1189,7 @@ sqlite_plugin_iter_zero_anonymity (void *cls,
  */
 static void
 sqlite_plugin_iter_ascending_expiration (void *cls,
-                                        uint32_t type,
+                                        enum GNUNET_BLOCK_Type type,
                                         PluginIterator iter,
                                         void *iter_cls)
 {
@@ -1089,6 +1217,7 @@ sqlite_plugin_iter_ascending_expiration (void *cls,
  * Select a subset of the items in the datastore and call
  * the given iterator for each of them.
  *
+ * @param cls our plugin context
  * @param type entries of which type should be considered?
  *        Use 0 for any type.
  * @param iter function to call on each matching value;
@@ -1097,7 +1226,7 @@ sqlite_plugin_iter_ascending_expiration (void *cls,
  */
 static void
 sqlite_plugin_iter_migration_order (void *cls,
-                                   uint32_t type,
+                                   enum GNUNET_BLOCK_Type type,
                                    PluginIterator iter,
                                    void *iter_cls)
 {
@@ -1118,6 +1247,15 @@ sqlite_plugin_iter_migration_order (void *cls,
 }
 
 
+/**
+ * Call sqlite using the already prepared query to get
+ * the next result.
+ *
+ * @param cls not used
+ * @param nc context with the prepared query
+ * @return GNUNET_OK on success, GNUNET_SYSERR on error, GNUNET_NO if
+ *        there are no more results 
+ */
 static int
 all_next_prepare (void *cls,
                  struct NextContext *nc)
@@ -1154,6 +1292,7 @@ all_next_prepare (void *cls,
  * Select a subset of the items in the datastore and call
  * the given iterator for each of them.
  *
+ * @param cls our plugin context
  * @param type entries of which type should be considered?
  *        Use 0 for any type.
  * @param iter function to call on each matching value;
@@ -1162,11 +1301,10 @@ all_next_prepare (void *cls,
  */
 static void
 sqlite_plugin_iter_all_now (void *cls,
-                           uint32_t type,
+                           enum GNUNET_BLOCK_Type type,
                            PluginIterator iter,
                            void *iter_cls)
 {
-  static struct GNUNET_TIME_Absolute zero;
   struct Plugin *plugin = cls;
   struct NextContext *nc;
   sqlite3_stmt *stmt;
@@ -1177,8 +1315,8 @@ sqlite_plugin_iter_all_now (void *cls,
     {
       LOG_SQLITE (plugin, NULL,
                   GNUNET_ERROR_TYPE_ERROR |
-                  GNUNET_ERROR_TYPE_BULK, "sqlite3_prepare");
-      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, zero, 0);
+                  GNUNET_ERROR_TYPE_BULK, "sqlite3_prepare_v2");
+      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, GNUNET_TIME_UNIT_ZERO_ABS, 0);
       return;
     }
   nc = GNUNET_malloc (sizeof(struct NextContext));
@@ -1192,18 +1330,59 @@ sqlite_plugin_iter_all_now (void *cls,
 }
 
 
+/**
+ * FIXME.
+ */
 struct GetNextContext
 {
+
+  /**
+   * FIXME.
+   */
   int total;
+
+  /**
+   * FIXME.
+   */
   int off;
+
+  /**
+   * FIXME.
+   */
   int have_vhash;
+
+  /**
+   * FIXME.
+   */
   unsigned int type;
+
+  /**
+   * FIXME.
+   */
   sqlite3_stmt *stmt;
+
+  /**
+   * FIXME.
+   */
   GNUNET_HashCode key;
+
+  /**
+   * FIXME.
+   */
   GNUNET_HashCode vhash;
 };
 
 
+
+/**
+ * FIXME.
+ *
+ * @param cls our "struct GetNextContext*"
+ * @param nc FIXME
+ * @return GNUNET_YES if there are more results, 
+ *         GNUNET_NO if there are no more results,
+ *         GNUNET_SYSERR on internal error
+ */
 static int
 get_next_prepare (void *cls,
                  struct NextContext *nc)
@@ -1273,10 +1452,9 @@ static void
 sqlite_plugin_get (void *cls,
                   const GNUNET_HashCode * key,
                   const GNUNET_HashCode * vhash,
-                  uint32_t type,
+                  enum GNUNET_BLOCK_Type type,
                   PluginIterator iter, void *iter_cls)
 {
-  static struct GNUNET_TIME_Absolute zero;
   struct Plugin *plugin = cls;
   struct GetNextContext *gpc;
   struct NextContext *nc;
@@ -1292,7 +1470,7 @@ sqlite_plugin_get (void *cls,
       sqlite_plugin_iter_low_priority (cls, type, iter, iter_cls);
       return;
     }
-  GNUNET_snprintf (scratch, 256,
+  GNUNET_snprintf (scratch, sizeof (scratch),
                    "SELECT count(*) FROM gn080 WHERE hash=:1%s%s",
                    vhash == NULL ? "" : " AND vhash=:2",
                    type == 0 ? "" : (vhash ==
@@ -1301,7 +1479,7 @@ sqlite_plugin_get (void *cls,
     {
       LOG_SQLITE (plugin, NULL,
                   GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK, "sqlite_prepare");
-      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, zero, 0);
+      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, GNUNET_TIME_UNIT_ZERO_ABS, 0);
       return;
     }
   sqoff = 1;
@@ -1321,7 +1499,7 @@ sqlite_plugin_get (void *cls,
                   GNUNET_ERROR_TYPE_ERROR, "sqlite_bind");
       sqlite3_reset (stmt);
       sqlite3_finalize (stmt);
-      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, zero, 0);
+      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, GNUNET_TIME_UNIT_ZERO_ABS, 0);
       return;
     }
   ret = sqlite3_step (stmt);
@@ -1332,7 +1510,7 @@ sqlite_plugin_get (void *cls,
                  "sqlite_step");
       sqlite3_reset (stmt);
       sqlite3_finalize (stmt);
-      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, zero, 0);
+      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, GNUNET_TIME_UNIT_ZERO_ABS, 0);
       return;
     }
   total = sqlite3_column_int (stmt, 0);
@@ -1340,11 +1518,11 @@ sqlite_plugin_get (void *cls,
   sqlite3_finalize (stmt);
   if (0 == total)
     {
-      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, zero, 0);
+      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, GNUNET_TIME_UNIT_ZERO_ABS, 0);
       return;
     }
 
-  GNUNET_snprintf (scratch, 256,
+  GNUNET_snprintf (scratch, sizeof (scratch),
                    "SELECT size, type, prio, anonLevel, expire, hash, value, _ROWID_ "
                    "FROM gn080 WHERE hash=:1%s%s AND _ROWID_ >= :%d "
                    "ORDER BY _ROWID_ ASC LIMIT 1 OFFSET :d",
@@ -1357,7 +1535,7 @@ sqlite_plugin_get (void *cls,
       LOG_SQLITE (plugin, NULL,
                   GNUNET_ERROR_TYPE_ERROR |
                   GNUNET_ERROR_TYPE_BULK, "sqlite_prepare");
-      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, zero, 0);
+      iter (iter_cls, NULL, NULL, 0, NULL, 0, 0, 0, GNUNET_TIME_UNIT_ZERO_ABS, 0);
       return;
     }
   nc = GNUNET_malloc (sizeof(struct NextContext) + 
@@ -1385,6 +1563,8 @@ sqlite_plugin_get (void *cls,
 
 /**
  * Drop database.
+ *
+ * @param cls our plugin context
  */
 static void 
 sqlite_plugin_drop (void *cls)
@@ -1408,17 +1588,75 @@ static int
 process_stat_in (void *cls,
                 const char *subsystem,
                 const char *name,
-                unsigned long long value,
+                uint64_t value,
                 int is_persistent)
 {
   struct Plugin *plugin = cls;
+
+  plugin->stats_worked = GNUNET_YES;
   plugin->payload += value;
+#if DEBUG_SQLITE
+  GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG,
+                  "sqlite",
+                  "Notification from statistics about existing payload (%llu), new payload is %llu\n",
+                  value,
+                  plugin->payload);
+#endif
   return GNUNET_OK;
 }
+
+
+static void
+process_stat_done (void *cls,
+                  int success)
+{
+  struct Plugin *plugin = cls;
+  sqlite3_stmt *stmt;
+  uint64_t pages;
+  uint64_t page_size;
+
+  plugin->stat_get = NULL;
+  if ( (plugin->stats_worked == GNUNET_NO) &&
+       (SQLITE_VERSION_NUMBER >= 3006000) )
+   {
+      CHECK (SQLITE_OK ==
+            sqlite3_exec (plugin->dbh,
+                          "VACUUM", NULL, NULL, ENULL));
+      CHECK (SQLITE_OK ==
+            sqlite3_exec (plugin->dbh,
+                          "PRAGMA auto_vacuum=INCREMENTAL", NULL, NULL, ENULL));
+      CHECK (SQLITE_OK ==
+            sq_prepare (plugin->dbh,
+                        "PRAGMA page_count",
+                        &stmt));
+      if (SQLITE_ROW ==
+         sqlite3_step (stmt))
+       pages = sqlite3_column_int64 (stmt, 0);
+      else
+       pages = 0;
+      sqlite3_finalize (stmt);
+      CHECK (SQLITE_OK ==
+            sq_prepare (plugin->dbh,
+                        "PRAGMA page_size",
+                        &stmt));
+      CHECK (SQLITE_ROW ==
+            sqlite3_step (stmt));
+      page_size = sqlite3_column_int64 (stmt, 0);
+      sqlite3_finalize (stmt);
+      GNUNET_log (GNUNET_ERROR_TYPE_INFO,
+                 _("Using sqlite page utilization to estimate payload (%llu pages of size %llu bytes)\n"),
+                 (unsigned long long) pages,
+                 (unsigned long long) page_size);
+      plugin->payload = pages * page_size;
+    }
+}
                                         
 
 /**
  * Entry point for the plugin.
+ *
+ * @param cls the "struct GNUNET_DATASTORE_PluginEnvironment*"
+ * @return NULL on error, othrewise the plugin context
  */
 void *
 libgnunet_plugin_datastore_sqlite_init (void *cls)
@@ -1432,15 +1670,15 @@ libgnunet_plugin_datastore_sqlite_init (void *cls)
   memset (&plugin, 0, sizeof(struct Plugin));
   plugin.env = env;
   plugin.statistics = GNUNET_STATISTICS_create (env->sched,
-                                               "sqlite",
+                                               "ds-sqlite",
                                                env->cfg);
-  GNUNET_STATISTICS_get (plugin.statistics,
-                        "sqlite",
-                        QUOTA_STAT_NAME,
-                        GNUNET_TIME_UNIT_MINUTES,
-                        NULL,
-                        &process_stat_in,
-                        &plugin);
+  plugin.stat_get = GNUNET_STATISTICS_get (plugin.statistics,
+                                          "ds-sqlite",
+                                          QUOTA_STAT_NAME,
+                                          GNUNET_TIME_UNIT_SECONDS,
+                                          &process_stat_done,
+                                          &process_stat_in,
+                                          &plugin);
   if (GNUNET_OK !=
       database_setup (env->cfg, &plugin))
     {
@@ -1468,6 +1706,9 @@ libgnunet_plugin_datastore_sqlite_init (void *cls)
 
 /**
  * Exit point from the plugin.
+ *
+ * @param cls the plugin context (as returned by "init")
+ * @return always NULL
  */
 void *
 libgnunet_plugin_datastore_sqlite_done (void *cls)
@@ -1476,10 +1717,26 @@ libgnunet_plugin_datastore_sqlite_done (void *cls)
   struct GNUNET_DATASTORE_PluginFunctions *api = cls;
   struct Plugin *plugin = api->cls;
 
+  if (plugin->stat_get != NULL)
+    {
+      GNUNET_STATISTICS_get_cancel (plugin->stat_get);
+      plugin->stat_get = NULL;
+    }
+  if (plugin->next_task != GNUNET_SCHEDULER_NO_TASK)
+    {
+      GNUNET_SCHEDULER_cancel (plugin->env->sched,
+                              plugin->next_task);
+      plugin->next_task = GNUNET_SCHEDULER_NO_TASK;
+      plugin->next_task_nc->prep (plugin->next_task_nc->prep_cls, NULL);
+      GNUNET_free (plugin->next_task_nc);
+      plugin->next_task_nc = NULL;
+    }
   fn = NULL;
   if (plugin->drop_on_shutdown)
     fn = GNUNET_strdup (plugin->fn);
   database_shutdown (plugin);
+  GNUNET_STATISTICS_destroy (plugin->statistics,
+                            GNUNET_NO);
   plugin->env = NULL; 
   plugin->payload = 0;
   GNUNET_free (api);