src/sensor/sensor_util_lib.c

   1 /*
   2      This file is part of GNUnet.
   3      (C)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20
  21 /**
  22  * @file sensor/sensor_util_lib.c
  23  * @brief senor utilities
  24  * @author Omar Tarabai
  25  */
  26 #include <inttypes.h>
  27 #include "platform.h"
  28 #include "gnunet_util_lib.h"
  29 #include "gnunet_sensor_util_lib.h"
  30 #include "gnunet_statistics_service.h"
  31
  32 #define LOG(kind,...) GNUNET_log_from (kind, "sensor-util",__VA_ARGS__)
  33
  34 /**
  35  * Minimum sensor execution interval (in seconds)
  36  */
  37 #define MIN_INTERVAL 30
  38
  39 /**
  40  * Supported sources of sensor information
  41  */
  42 static const char *sources[] = { "gnunet-statistics", "process", NULL };
  43
  44 /**
  45  * Supported datatypes of sensor information
  46  */
  47 static const char *datatypes[] = { "numeric", "string", NULL };
  48
  49 /**
  50  * Parses a version number string into major and minor
  51  *
  52  * @param version full version string
  53  * @param major pointer to parsed major value
  54  * @param minor pointer to parsed minor value
  55  * @return #GNUNET_OK if parsing went ok, #GNUNET_SYSERROR in case of error
  56  */
  57 static int
  58 version_parse(char *version, uint16_t *major, uint16_t *minor)
  59 {
  60   int majorval = 0;
  61   int minorval = 0;
  62
  63   for(; isdigit(*version); version++)
  64   {
  65     majorval *= 10;
  66     majorval += *version - '0';
  67   }
  68   if(*version != '.')
  69     return GNUNET_SYSERR;
  70   version++;
  71   for(; isdigit(*version); version++)
  72   {
  73     minorval *= 10;
  74     minorval += *version - '0';
  75   }
  76   if(*version != 0)
  77     return GNUNET_SYSERR;
  78   *major = majorval;
  79   *minor = minorval;
  80
  81   return GNUNET_OK;
  82 }
  83
  84 /**
  85  * Load sensor definition from configuration
  86  *
  87  * @param cfg configuration handle
  88  * @param sectionname configuration section containing definition
  89  */
  90 static struct GNUNET_SENSOR_SensorInfo *
  91 load_sensor_from_cfg(struct GNUNET_CONFIGURATION_Handle *cfg, const char *sectionname)
  92 {
  93   struct GNUNET_SENSOR_SensorInfo *sensor;
  94   char *version_str;
  95   char *starttime_str;
  96   char *endtime_str;
  97   unsigned long long time_sec;
  98   char *dummy;
  99   struct GNUNET_CRYPTO_EddsaPublicKey public_key;
 100
 101   sensor = GNUNET_new(struct GNUNET_SENSOR_SensorInfo);
 102   //name
 103   sensor->name = GNUNET_strdup(sectionname);
 104   //version
 105   if(GNUNET_OK != GNUNET_CONFIGURATION_get_value_string(cfg, sectionname, "VERSION", &version_str))
 106   {
 107     LOG (GNUNET_ERROR_TYPE_ERROR, _("Error reading sensor version\n"));
 108     GNUNET_free(sensor);
 109     return NULL;
 110   }
 111   if(GNUNET_OK != version_parse(version_str, &(sensor->version_major), &(sensor->version_minor)))
 112   {
 113     LOG (GNUNET_ERROR_TYPE_ERROR, _("Invalid sensor version number, format should be major.minor\n"));
 114     GNUNET_free(sensor);
 115     GNUNET_free(version_str);
 116     return NULL;
 117   }
 118   GNUNET_free(version_str);
 119   //description
 120   GNUNET_CONFIGURATION_get_value_string(cfg, sectionname, "DESCRIPTION", &sensor->description);
 121   //category
 122   if(GNUNET_OK != GNUNET_CONFIGURATION_get_value_string(cfg, sectionname, "CATEGORY", &sensor->category) ||
 123         NULL == sensor->category)
 124   {
 125     LOG (GNUNET_ERROR_TYPE_ERROR, _("Error reading sensor category\n"));
 126     GNUNET_free(sensor);
 127     return NULL;
 128   }
 129   //enabled
 130   if(GNUNET_NO == GNUNET_CONFIGURATION_get_value_yesno(cfg, sectionname, "ENABLED"))
 131     sensor->enabled = GNUNET_NO;
 132   else
 133     sensor->enabled = GNUNET_YES;
 134   //start time
 135   sensor->start_time = NULL;
 136   if(GNUNET_OK == GNUNET_CONFIGURATION_get_value_string(cfg, sectionname, "START_TIME", &starttime_str))
 137   {
 138     GNUNET_STRINGS_fancy_time_to_absolute(starttime_str, sensor->start_time);
 139     LOG (GNUNET_ERROR_TYPE_DEBUG, "Start time loaded: `%s'. Parsed: %d\n", starttime_str, (NULL != sensor->start_time));
 140     GNUNET_free(starttime_str);
 141   }
 142   //end time
 143   sensor->end_time = NULL;
 144   if(GNUNET_OK == GNUNET_CONFIGURATION_get_value_string(cfg, sectionname, "END_TIME", &endtime_str))
 145   {
 146     GNUNET_STRINGS_fancy_time_to_absolute(endtime_str, sensor->end_time);
 147     LOG (GNUNET_ERROR_TYPE_DEBUG, "End time loaded: `%s'. Parsed: %d\n", endtime_str, (NULL != sensor->end_time));
 148     GNUNET_free(endtime_str);
 149   }
 150   //interval
 151   if(GNUNET_OK != GNUNET_CONFIGURATION_get_value_number(cfg, sectionname, "INTERVAL", &time_sec))
 152   {
 153     LOG (GNUNET_ERROR_TYPE_ERROR, _("Error reading sensor run interval\n"));
 154     GNUNET_free(sensor);
 155     return NULL;
 156   }
 157   if(time_sec < MIN_INTERVAL)
 158   {
 159     LOG (GNUNET_ERROR_TYPE_ERROR, _("Sensor run interval too low (%" PRIu64 " < %d)\n"),
 160         time_sec, MIN_INTERVAL);
 161     GNUNET_free(sensor);
 162     return NULL;
 163   }
 164   sensor->interval = GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, time_sec);
 165   //lifetime
 166   if(GNUNET_OK == GNUNET_CONFIGURATION_get_value_number(cfg, sectionname, "LIFETIME", &time_sec))
 167   {
 168     sensor->lifetime = GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, time_sec);
 169     if (sensor->lifetime.rel_value_us < sensor->interval.rel_value_us)
 170       LOG  (GNUNET_ERROR_TYPE_WARNING,
 171           "Lifetime of sensor data is preferred to be higher than interval for sensor `%s'.\n",
 172           sensor->name);
 173   }
 174   else
 175     sensor->lifetime = GNUNET_TIME_UNIT_FOREVER_REL;
 176   //capabilities TODO
 177   //source
 178   if(GNUNET_OK != GNUNET_CONFIGURATION_get_value_choice(cfg, sectionname, "SOURCE", sources, (const char **)&sensor->source))
 179   {
 180     LOG (GNUNET_ERROR_TYPE_ERROR, _("Error reading sensor source\n"));
 181     GNUNET_free(sensor);
 182     return NULL;
 183   }
 184   if(sources[0] == sensor->source) //gnunet-statistics
 185   {
 186     if(GNUNET_OK != GNUNET_CONFIGURATION_get_value_string(cfg, sectionname, "GNUNET_STAT_SERVICE", &sensor->gnunet_stat_service) ||
 187         GNUNET_OK != GNUNET_CONFIGURATION_get_value_string(cfg, sectionname, "GNUNET_STAT_NAME", &sensor->gnunet_stat_name))
 188     {
 189       LOG (GNUNET_ERROR_TYPE_ERROR, _("Error reading sensor gnunet-statistics source information\n"));
 190       GNUNET_free(sensor);
 191       return NULL;
 192     }
 193     sensor->gnunet_stat_get_handle = NULL;
 194   }
 195   else if(sources[1] == sensor->source) //process
 196   {
 197     if(GNUNET_OK != GNUNET_CONFIGURATION_get_value_string(cfg, sectionname, "EXT_PROCESS", &sensor->ext_process))
 198     {
 199       LOG (GNUNET_ERROR_TYPE_ERROR, _("Error reading sensor process name\n"));
 200       GNUNET_free(sensor);
 201       return NULL;
 202     }
 203     GNUNET_CONFIGURATION_get_value_string(cfg, sectionname, "EXT_ARGS", &sensor->ext_args);
 204   }
 205   //expected datatype
 206   if(GNUNET_OK != GNUNET_CONFIGURATION_get_value_choice(cfg, sectionname, "EXPECTED_DATATYPE", datatypes, (const char **)&sensor->expected_datatype))
 207   {
 208     LOG (GNUNET_ERROR_TYPE_ERROR, _("Error reading sensor expected datatype\n"));
 209     GNUNET_free(sensor);
 210     return NULL;
 211   }
 212   if(sources[0] == sensor->source && datatypes[0] != sensor->expected_datatype)
 213   {
 214     LOG (GNUNET_ERROR_TYPE_ERROR, _("Invalid expected datatype, gnunet-statistics returns uint64 values\n"));
 215     GNUNET_free(sensor);
 216     return NULL;
 217   }
 218   //reporting mechanism
 219   sensor->collection_point = NULL;
 220   if (GNUNET_OK == GNUNET_CONFIGURATION_get_value_string(cfg, sectionname, "COLLECTION_POINT", &dummy))
 221   {
 222     if(GNUNET_OK != GNUNET_CONFIGURATION_get_value_number(cfg, sectionname, "COLLECTION_INTERVAL", &time_sec))
 223     {
 224       LOG (GNUNET_ERROR_TYPE_ERROR, _("Error reading sensor collection interval\n"));
 225     }
 226     else
 227     {
 228       sensor->collection_interval = GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, time_sec);
 229       if (GNUNET_OK == GNUNET_CRYPTO_eddsa_public_key_from_string(dummy, strlen(dummy), &public_key))
 230       {
 231         sensor->collection_point = GNUNET_new(struct GNUNET_PeerIdentity);
 232         sensor->collection_point->public_key = public_key;
 233       }
 234     }
 235     GNUNET_free (dummy);
 236   }
 237   sensor->p2p_report = GNUNET_NO;
 238   if (GNUNET_YES == GNUNET_CONFIGURATION_get_value_yesno(cfg, sectionname, "P2P_REPORT"))
 239   {
 240     if(GNUNET_OK != GNUNET_CONFIGURATION_get_value_number(cfg, sectionname, "P2P_INTERVAL", &time_sec))
 241     {
 242       LOG (GNUNET_ERROR_TYPE_ERROR, _("Error reading sensor p2p reporting interval\n"));
 243     }
 244     else
 245     {
 246       sensor->p2p_interval = GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, time_sec);
 247       sensor->p2p_report = GNUNET_YES;
 248     }
 249   }
 250   //execution task
 251   sensor->execution_task = GNUNET_SCHEDULER_NO_TASK;
 252   //running
 253   sensor->running = GNUNET_NO;
 254
 255   return sensor;
 256 }
 257
 258 /**
 259  * Load sensor definition from file
 260  *
 261  * @param filename full path to file containing sensor definition
 262  */
 263 static struct GNUNET_SENSOR_SensorInfo *
 264 load_sensor_from_file(const char *filename)
 265 {
 266   struct GNUNET_CONFIGURATION_Handle *sensorcfg;
 267   const char *filebasename;
 268   struct GNUNET_SENSOR_SensorInfo *sensor;
 269
 270   //test file
 271   if(GNUNET_YES != GNUNET_DISK_file_test(filename))
 272   {
 273     LOG (GNUNET_ERROR_TYPE_ERROR, _("Failed to access sensor file: %s\n"), filename);
 274     return NULL;
 275   }
 276   //load file as configuration
 277   sensorcfg = GNUNET_CONFIGURATION_create();
 278   if(GNUNET_SYSERR == GNUNET_CONFIGURATION_parse(sensorcfg, filename))
 279   {
 280     GNUNET_CONFIGURATION_destroy(sensorcfg);
 281     LOG (GNUNET_ERROR_TYPE_ERROR, _("Failed to load sensor definition: %s\n"), filename);
 282     return NULL;
 283   }
 284   //configuration section should be the same as filename
 285   filebasename = GNUNET_STRINGS_get_short_name(filename);
 286   sensor = load_sensor_from_cfg(sensorcfg, filebasename);
 287   if(NULL == sensor)
 288   {
 289     GNUNET_CONFIGURATION_destroy(sensorcfg);
 290     return NULL;
 291   }
 292   sensor->def_file = GNUNET_strdup(filename);
 293   sensor->cfg = sensorcfg;
 294
 295   return sensor;
 296 }
 297
 298
 299 /**
 300  * Given two version numbers as major and minor, compare them.
 301  *
 302  * @param v1_major First part of first version number
 303  * @param v1_minor Second part of first version number
 304  * @param v2_major First part of second version number
 305  * @param v2_minor Second part of second version number
 306  */
 307 int
 308 GNUNET_SENSOR_version_compare (uint16_t v1_major, uint16_t v1_minor,
 309                                uint16_t v2_major, uint16_t v2_minor)
 310 {
 311   if (v1_major == v2_major)
 312     return (v1_minor < v2_minor) ? -1 : (v1_minor > v2_minor);
 313   else
 314     return (v1_major < v2_major) ? -1 : (v1_major > v2_major);
 315 }
 316
 317
 318 /**
 319  * Adds a new sensor to given hashmap.
 320  * If the same name exist, compares versions and update if old.
 321  *
 322  * @param sensor Sensor structure to add
 323  * @param map Hashmap to add to
 324  * @return #GNUNET_YES if added
 325  *         #GNUNET_NO if not added which is not necessarily an error
 326  */
 327 static int
 328 add_sensor_to_hashmap (struct GNUNET_SENSOR_SensorInfo *sensor,
 329                        struct GNUNET_CONTAINER_MultiHashMap *map)
 330 {
 331   struct GNUNET_HashCode key;
 332   struct GNUNET_SENSOR_SensorInfo *existing;
 333
 334   GNUNET_CRYPTO_hash(sensor->name, strlen(sensor->name) + 1, &key);
 335   existing = GNUNET_CONTAINER_multihashmap_get(map, &key);
 336   if(NULL != existing) //sensor with same name already exists
 337   {
 338     if(GNUNET_SENSOR_version_compare (existing->version_major,
 339                                       existing->version_minor,
 340                                       sensor->version_major,
 341                                       sensor->version_minor) >= 0)
 342     {
 343       LOG (GNUNET_ERROR_TYPE_INFO,
 344            _("Sensor `%s' already exists with same or newer version\n"),
 345            sensor->name);
 346       return GNUNET_NO;
 347     }
 348     else
 349     {
 350       GNUNET_CONTAINER_multihashmap_remove(map, &key, existing); //remove the old version
 351       GNUNET_free(existing);
 352       LOG (GNUNET_ERROR_TYPE_INFO,
 353            "Upgrading sensor `%s' to a newer version\n",
 354            sensor->name);
 355     }
 356   }
 357   if(GNUNET_SYSERR == GNUNET_CONTAINER_multihashmap_put(map, &key, sensor, GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
 358   {
 359     LOG (GNUNET_ERROR_TYPE_ERROR,
 360          _("Error adding new sensor `%s' to global hashmap.\n"),
 361          sensor->name);
 362     return GNUNET_NO;
 363   }
 364
 365   return GNUNET_YES;
 366 }
 367
 368 /**
 369  * Iterating over files in sensors directory
 370  *
 371  * @param cls closure
 372  * @param filename complete filename (absolute path)
 373  * @return #GNUNET_OK to continue to iterate
 374  */
 375 static int
 376 reload_sensors_dir_cb(void *cls, const char *filename)
 377 {
 378   struct GNUNET_CONTAINER_MultiHashMap *sensors = cls;
 379   struct GNUNET_SENSOR_SensorInfo *sensor;
 380
 381   if(GNUNET_YES != GNUNET_DISK_file_test(filename))
 382     return GNUNET_OK;
 383   sensor = load_sensor_from_file(filename);
 384   if(NULL == sensor)
 385   {
 386     LOG (GNUNET_ERROR_TYPE_ERROR,
 387         _("Error loading sensor from file: %s\n"), filename);
 388     return GNUNET_OK;
 389   }
 390   if(GNUNET_YES != add_sensor_to_hashmap(sensor, sensors))
 391     LOG (GNUNET_ERROR_TYPE_WARNING,
 392         "Could not add sensor `%s' to global hashmap\n", sensor->name);
 393
 394   return GNUNET_OK;
 395 }
 396
 397 /*
 398  * Get path to the directory containing the sensor definition files with a
 399  * trailing directory separator.
 400  *
 401  * @return sensor files directory full path
 402  */
 403 char *
 404 GNUNET_SENSOR_get_sensor_dir ()
 405 {
 406   char* datadir;
 407   char* sensordir;
 408
 409   datadir = GNUNET_OS_installation_get_path(GNUNET_OS_IPK_DATADIR);
 410   GNUNET_asprintf (&sensordir,
 411                    "%ssensors%s",
 412                    datadir,
 413                    DIR_SEPARATOR_STR);
 414   GNUNET_free(datadir);
 415
 416   return sensordir;
 417 }
 418
 419 /**
 420  * Reads sensor definitions from local data files
 421  *
 422  * @return a multihashmap of loaded sensors
 423  */
 424 struct GNUNET_CONTAINER_MultiHashMap *
 425 GNUNET_SENSOR_load_all_sensors ()
 426 {
 427   char* sensordir;
 428   struct GNUNET_CONTAINER_MultiHashMap *sensors;
 429
 430   sensors = GNUNET_CONTAINER_multihashmap_create(10, GNUNET_NO);
 431   sensordir = GNUNET_SENSOR_get_sensor_dir ();
 432   LOG (GNUNET_ERROR_TYPE_INFO,
 433       "Loading sensor definitions from directory `%s'\n", sensordir);
 434   GNUNET_assert(GNUNET_YES == GNUNET_DISK_directory_test(sensordir, GNUNET_YES));
 435
 436   //read all files in sensors directory
 437   GNUNET_DISK_directory_scan(sensordir, &reload_sensors_dir_cb, sensors);
 438   LOG (GNUNET_ERROR_TYPE_INFO, "Loaded %d sensors from directory `%s'\n",
 439       GNUNET_CONTAINER_multihashmap_size(sensors), sensordir);
 440   GNUNET_free(sensordir);
 441   return sensors;
 442 }
 443
 444
 445 /**
 446  * Remove sensor execution from scheduler
 447  *
 448  * @param cls unused
 449  * @param key hash of sensor name, key to hashmap
 450  * @param value a `struct GNUNET_SENSOR_SensorInfo *`
 451  * @return #GNUNET_YES if we should continue to
 452  *         iterate,
 453  *         #GNUNET_NO if not.
 454  */
 455 static int destroy_sensor(void *cls,
 456                           const struct GNUNET_HashCode *key,
 457                           void *value)
 458 {
 459   struct GNUNET_SENSOR_SensorInfo *sensor = value;
 460
 461   if(GNUNET_SCHEDULER_NO_TASK != sensor->execution_task)
 462   {
 463     GNUNET_SCHEDULER_cancel(sensor->execution_task);
 464     sensor->execution_task = GNUNET_SCHEDULER_NO_TASK;
 465   }
 466   if(NULL != sensor->gnunet_stat_get_handle)
 467   {
 468     GNUNET_STATISTICS_get_cancel(sensor->gnunet_stat_get_handle);
 469     sensor->gnunet_stat_get_handle = NULL;
 470   }
 471   if(NULL != sensor->ext_cmd)
 472   {
 473     GNUNET_OS_command_stop(sensor->ext_cmd);
 474     sensor->ext_cmd = NULL;
 475   }
 476   if(NULL != sensor->cfg)
 477     GNUNET_CONFIGURATION_destroy(sensor->cfg);
 478   if(NULL != sensor->name)
 479     GNUNET_free (sensor->name);
 480   if(NULL != sensor->def_file)
 481     GNUNET_free (sensor->def_file);
 482   if(NULL != sensor->description)
 483     GNUNET_free (sensor->description);
 484   if(NULL != sensor->category)
 485     GNUNET_free (sensor->category);
 486   if(NULL != sensor->capabilities)
 487     GNUNET_free (sensor->capabilities);
 488   if(NULL != sensor->gnunet_stat_service)
 489     GNUNET_free (sensor->gnunet_stat_service);
 490   if(NULL != sensor->gnunet_stat_name)
 491     GNUNET_free (sensor->gnunet_stat_name);
 492   if(NULL != sensor->ext_process)
 493     GNUNET_free (sensor->ext_process);
 494   if(NULL != sensor->ext_args)
 495     GNUNET_free (sensor->ext_args);
 496   if (NULL != sensor->collection_point)
 497     GNUNET_free (sensor->collection_point);
 498   GNUNET_free (sensor);
 499   return GNUNET_YES;
 500 }
 501
 502 /**
 503  * Destroys a group of sensors in a hashmap and the hashmap itself
 504  *
 505  * @param sensors hashmap containing the sensors
 506  */
 507 void
 508 GNUNET_SENSOR_destroy_sensors (struct GNUNET_CONTAINER_MultiHashMap *sensors)
 509 {
 510   LOG (GNUNET_ERROR_TYPE_DEBUG, "Destroying sensor list.\n");
 511   GNUNET_CONTAINER_multihashmap_iterate(sensors, &destroy_sensor, NULL);
 512   GNUNET_CONTAINER_multihashmap_destroy(sensors);
 513 }
 514