src/datastore/test_plugin_datastore.c

   1 /*
   2      This file is part of GNUnet.
   3      (C) 2011 Christian Grothoff (and other contributing authors)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20 /*
  21  * @file test_plugin_datastore.c
  22  * @brief Test database plugin directly, calling each API function once
  23  * @author Christian Grothoff
  24  */
  25
  26 #include "platform.h"
  27 #include "gnunet_util_lib.h"
  28 #include "gnunet_protocols.h"
  29 #include "gnunet_datastore_plugin.h"
  30 #include "gnunet_testing_lib.h"
  31
  32 /**
  33  * Number of put operations to perform.
  34  */
  35 #define PUT_10 10
  36
  37 static unsigned long long stored_bytes;
  38
  39 static unsigned long long stored_entries;
  40
  41 static unsigned long long stored_ops;
  42
  43 static const char *plugin_name;
  44
  45 static int ok;
  46
  47 enum RunPhase
  48 {
  49   RP_ERROR = 0,
  50   RP_PUT,
  51   RP_GET,
  52   RP_UPDATE,
  53   RP_ITER_ZERO,
  54   RP_REPL_GET,
  55   RP_EXPI_GET,
  56   RP_DROP
  57 };
  58
  59
  60 struct CpsRunContext
  61 {
  62   const struct GNUNET_CONFIGURATION_Handle *cfg;
  63   struct GNUNET_DATASTORE_PluginFunctions *api;
  64   enum RunPhase phase;
  65   unsigned int cnt;
  66   unsigned int i;
  67   uint64_t offset;
  68 };
  69
  70
  71 /**
  72  * Function called by plugins to notify us about a
  73  * change in their disk utilization.
  74  *
  75  * @param cls closure (NULL)
  76  * @param delta change in disk utilization,
  77  *        0 for "reset to empty"
  78  */
  79 static void
  80 disk_utilization_change_cb (void *cls, int delta)
  81 {
  82   /* do nothing */
  83 }
  84
  85
  86 static void
  87 gen_key (int i, struct GNUNET_HashCode * key)
  88 {
  89   memset (key, 0, sizeof (struct GNUNET_HashCode));
  90   key->bits[0] = (unsigned int) i;
  91   GNUNET_CRYPTO_hash (key, sizeof (struct GNUNET_HashCode), key);
  92 }
  93
  94
  95 static void
  96 put_value (struct GNUNET_DATASTORE_PluginFunctions *api, int i, int k)
  97 {
  98   char value[65536];
  99   size_t size;
 100   struct GNUNET_HashCode key;
 101   char *msg;
 102   unsigned int prio;
 103
 104   /* most content is 32k */
 105   size = 32 * 1024;
 106
 107   if (GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, 16) == 0)   /* but some of it is less! */
 108     size = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, 32 * 1024);
 109   size = size - (size & 7);     /* always multiple of 8 */
 110
 111   /* generate random key */
 112   gen_key (i, &key);
 113   memset (value, i, size);
 114   if (i > 255)
 115     memset (value, i - 255, size / 2);
 116   value[0] = k;
 117   msg = NULL;
 118   prio = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, 100);
 119   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 120               "putting type %u, anon %u under key %s\n", i + 1, i,
 121               GNUNET_h2s (&key));
 122   if (GNUNET_OK != api->put (api->cls, &key, size, value, i + 1 /* type */ ,
 123                              prio, i /* anonymity */ ,
 124                              0 /* replication */ ,
 125                              GNUNET_TIME_relative_to_absolute
 126                              (GNUNET_TIME_relative_multiply
 127                               (GNUNET_TIME_UNIT_MILLISECONDS,
 128                                60 * 60 * 60 * 1000 +
 129                                GNUNET_CRYPTO_random_u32
 130                                (GNUNET_CRYPTO_QUALITY_WEAK, 1000))), &msg))
 131   {
 132     FPRINTF (stderr, "ERROR: `%s'\n", msg);
 133     GNUNET_free_non_null (msg);
 134     return;
 135   }
 136   stored_bytes += size;
 137   stored_ops++;
 138   stored_entries++;
 139 }
 140
 141
 142 static void
 143 test (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
 144
 145
 146 static uint64_t guid;
 147
 148
 149 static int
 150 iterate_one_shot (void *cls, const struct GNUNET_HashCode * key, uint32_t size,
 151                   const void *data, enum GNUNET_BLOCK_Type type,
 152                   uint32_t priority, uint32_t anonymity,
 153                   struct GNUNET_TIME_Absolute expiration, uint64_t uid)
 154 {
 155   struct CpsRunContext *crc = cls;
 156
 157   GNUNET_assert (key != NULL);
 158   guid = uid;
 159   crc->phase++;
 160   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 161               "Found result type=%u, priority=%u, size=%u, expire=%s, key %s\n",
 162               type, priority, size,
 163               GNUNET_STRINGS_absolute_time_to_string (expiration),
 164               GNUNET_h2s (key));
 165   GNUNET_SCHEDULER_add_now (&test, crc);
 166   return GNUNET_OK;
 167 }
 168
 169
 170 /**
 171  * Function called when the service shuts
 172  * down.  Unloads our datastore plugin.
 173  *
 174  * @param api api to unload
 175  * @param cfg configuration to use
 176  */
 177 static void
 178 unload_plugin (struct GNUNET_DATASTORE_PluginFunctions *api,
 179                const struct GNUNET_CONFIGURATION_Handle *cfg)
 180 {
 181   char *name;
 182   char *libname;
 183
 184   if (GNUNET_OK !=
 185       GNUNET_CONFIGURATION_get_value_string (cfg, "DATASTORE", "DATABASE",
 186                                              &name))
 187   {
 188     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 189                 _("No `%s' specified for `%s' in configuration!\n"), "DATABASE",
 190                 "DATASTORE");
 191     return;
 192   }
 193   GNUNET_asprintf (&libname, "libgnunet_plugin_datastore_%s", name);
 194   GNUNET_break (NULL == GNUNET_PLUGIN_unload (libname, api));
 195   GNUNET_free (libname);
 196   GNUNET_free (name);
 197 }
 198
 199
 200
 201 /**
 202  * Last task run during shutdown.  Disconnects us from
 203  * the transport and core.
 204  */
 205 static void
 206 cleaning_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 207 {
 208   struct CpsRunContext *crc = cls;
 209
 210   unload_plugin (crc->api, crc->cfg);
 211   GNUNET_free (crc);
 212 }
 213
 214
 215 static void
 216 test (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 217 {
 218   struct CpsRunContext *crc = cls;
 219   int j;
 220   unsigned long long os;
 221   unsigned long long cs;
 222   struct GNUNET_HashCode key;
 223
 224   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
 225   {
 226     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "Test aborted.\n");
 227     crc->phase = RP_ERROR;
 228   }
 229   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 230               "In phase %d, iteration %u\n", crc->phase, crc->cnt);
 231   switch (crc->phase)
 232   {
 233   case RP_ERROR:
 234     ok = 1;
 235     GNUNET_break (0);
 236     crc->api->drop (crc->api->cls);
 237     GNUNET_SCHEDULER_add_now (&cleaning_task, crc);
 238     break;
 239   case RP_PUT:
 240     os = 0;
 241     for (j = 0; j < PUT_10; j++)
 242     {
 243       put_value (crc->api, j, crc->i);
 244       crc->api->estimate_size (crc->api->cls, &cs);
 245       GNUNET_assert (os <= cs);
 246       os = cs;
 247     }
 248     crc->phase++;
 249     GNUNET_SCHEDULER_add_now (&test, crc);
 250     break;
 251   case RP_GET:
 252     if (crc->cnt == 1)
 253     {
 254       crc->cnt = 0;
 255       crc->phase++;
 256       GNUNET_SCHEDULER_add_now (&test, crc);
 257       break;
 258     }
 259     gen_key (5, &key);
 260     crc->api->get_key (crc->api->cls, crc->offset++, &key, NULL,
 261                        GNUNET_BLOCK_TYPE_ANY, &iterate_one_shot, crc);
 262     break;
 263   case RP_UPDATE:
 264     GNUNET_assert (GNUNET_OK ==
 265                    crc->api->update (crc->api->cls, guid, 1,
 266                                      GNUNET_TIME_UNIT_ZERO_ABS, NULL));
 267     crc->phase++;
 268     GNUNET_SCHEDULER_add_now (&test, crc);
 269     break;
 270
 271   case RP_ITER_ZERO:
 272     if (crc->cnt == 1)
 273     {
 274       crc->cnt = 0;
 275       crc->phase++;
 276       GNUNET_SCHEDULER_add_now (&test, crc);
 277       break;
 278     }
 279     crc->api->get_zero_anonymity (crc->api->cls, 0, 1, &iterate_one_shot, crc);
 280     break;
 281   case RP_REPL_GET:
 282     crc->api->get_replication (crc->api->cls, &iterate_one_shot, crc);
 283     break;
 284   case RP_EXPI_GET:
 285     crc->api->get_expiration (crc->api->cls, &iterate_one_shot, crc);
 286     break;
 287   case RP_DROP:
 288     crc->api->drop (crc->api->cls);
 289     GNUNET_SCHEDULER_add_now (&cleaning_task, crc);
 290     break;
 291   }
 292 }
 293
 294
 295 /**
 296  * Load the datastore plugin.
 297  */
 298 static struct GNUNET_DATASTORE_PluginFunctions *
 299 load_plugin (const struct GNUNET_CONFIGURATION_Handle *cfg)
 300 {
 301   static struct GNUNET_DATASTORE_PluginEnvironment env;
 302   struct GNUNET_DATASTORE_PluginFunctions *ret;
 303   char *name;
 304   char *libname;
 305
 306   if (GNUNET_OK !=
 307       GNUNET_CONFIGURATION_get_value_string (cfg, "DATASTORE", "DATABASE",
 308                                              &name))
 309   {
 310     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 311                 _("No `%s' specified for `%s' in configuration!\n"), "DATABASE",
 312                 "DATASTORE");
 313     return NULL;
 314   }
 315   env.cfg = cfg;
 316   env.duc = &disk_utilization_change_cb;
 317   env.cls = NULL;
 318   GNUNET_log (GNUNET_ERROR_TYPE_INFO, _("Loading `%s' datastore plugin\n"),
 319               name);
 320   GNUNET_asprintf (&libname, "libgnunet_plugin_datastore_%s", name);
 321   if (NULL == (ret = GNUNET_PLUGIN_load (libname, &env)))
 322   {
 323     FPRINTF (stderr, "Failed to load plugin `%s'!\n", name);
 324     GNUNET_free (libname);
 325     GNUNET_free (name);
 326     return NULL;
 327   }
 328   GNUNET_free (libname);
 329   GNUNET_free (name);
 330   return ret;
 331 }
 332
 333
 334 static void
 335 run (void *cls, char *const *args, const char *cfgfile,
 336      const struct GNUNET_CONFIGURATION_Handle *c)
 337 {
 338   struct GNUNET_DATASTORE_PluginFunctions *api;
 339   struct CpsRunContext *crc;
 340
 341   api = load_plugin (c);
 342   if (api == NULL)
 343   {
 344     FPRINTF (stderr,
 345              "%s", "Could not initialize plugin, assuming database not configured. Test not run!\n");
 346     return;
 347   }
 348   crc = GNUNET_new (struct CpsRunContext);
 349   crc->api = api;
 350   crc->cfg = c;
 351   crc->phase = RP_PUT;
 352   GNUNET_SCHEDULER_add_now (&test, crc);
 353 }
 354
 355
 356 int
 357 main (int argc, char *argv[])
 358 {
 359   char dir_name[128];
 360   char cfg_name[128];
 361   char *const xargv[] = {
 362     "test-plugin-datastore",
 363     "-c",
 364     cfg_name,
 365     NULL
 366   };
 367   static struct GNUNET_GETOPT_CommandLineOption options[] = {
 368     GNUNET_GETOPT_OPTION_END
 369   };
 370
 371   /* determine name of plugin to use */
 372   plugin_name = GNUNET_TESTING_get_testname_from_underscore (argv[0]);
 373   GNUNET_snprintf (dir_name, sizeof (dir_name),
 374                    "/tmp/test-gnunet-datastore-plugin-%s", plugin_name);
 375   GNUNET_DISK_directory_remove (dir_name);
 376   GNUNET_log_setup ("test-plugin-datastore",
 377                     "WARNING",
 378                     NULL);
 379   GNUNET_snprintf (cfg_name, sizeof (cfg_name),
 380                    "test_plugin_datastore_data_%s.conf", plugin_name);
 381   GNUNET_PROGRAM_run ((sizeof (xargv) / sizeof (char *)) - 1, xargv,
 382                       "test-plugin-datastore", "nohelp", options, &run, NULL);
 383   if (0 != ok)
 384     FPRINTF (stderr, "Missed some testcases: %u\n", ok);
 385   GNUNET_DISK_directory_remove (dir_name);
 386   return ok;
 387 }
 388
 389 /* end of test_plugin_datastore.c */