peerstore: additional test cases
[oweals/gnunet.git] / src / peerstore / gnunet-service-peerstore.c
1 /*
2      This file is part of GNUnet.
3      (C) 
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file peerstore/gnunet-service-peerstore.c
23  * @brief peerstore service implementation
24  * @author Omar Tarabai
25  */
26 #include "platform.h"
27 #include "gnunet_util_lib.h"
28 #include "peerstore.h"
29 #include "gnunet_peerstore_plugin.h"
30 #include "peerstore_common.h"
31
32 /**
33  * Interval for expired records cleanup (in seconds)
34  */
35 #define CLEANUP_INTERVAL 300 /* 5mins */
36
37 /**
38  * Our configuration.
39  */
40 static const struct GNUNET_CONFIGURATION_Handle *cfg;
41
42 /**
43  * Database plugin library name
44  */
45 char *db_lib_name;
46
47 /**
48  * Database handle
49  */
50 static struct GNUNET_PEERSTORE_PluginFunctions *db;
51
52 /**
53  * Hashmap with all watch requests
54  */
55 static struct GNUNET_CONTAINER_MultiHashMap *watchers;
56
57 /**
58  * Our notification context.
59  */
60 static struct GNUNET_SERVER_NotificationContext *nc;
61
62 /**
63  * Task run during shutdown.
64  *
65  * @param cls unused
66  * @param tc unused
67  */
68 static void
69 shutdown_task (void *cls,
70                const struct GNUNET_SCHEDULER_TaskContext *tc)
71 {
72   if(NULL != db_lib_name)
73   {
74     GNUNET_break (NULL == GNUNET_PLUGIN_unload (db_lib_name, db));
75     GNUNET_free (db_lib_name);
76     db_lib_name = NULL;
77   }
78   GNUNET_SERVER_notification_context_destroy(nc);
79   GNUNET_CONTAINER_multihashmap_destroy(watchers);
80   watchers = NULL;
81   GNUNET_SCHEDULER_shutdown();
82 }
83
84 /**
85  * Deletes any expired records from storage
86  */
87 static void
88 cleanup_expired_records(void *cls,
89     const struct GNUNET_SCHEDULER_TaskContext *tc)
90 {
91   int deleted;
92
93   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
94     return;
95   GNUNET_assert(NULL != db);
96   deleted = db->expire_records(db->cls, GNUNET_TIME_absolute_get());
97   GNUNET_log(GNUNET_ERROR_TYPE_INFO, "%d records expired.\n", deleted);
98   GNUNET_SCHEDULER_add_delayed(
99       GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, CLEANUP_INTERVAL),
100       &cleanup_expired_records, NULL);
101 }
102
103 /**
104  * Search for a disconnected client and remove it
105  *
106  * @param cls closuer, a 'struct GNUNET_PEERSTORE_Record *'
107  * @param key hash of record key
108  * @param value the watcher client, a 'struct GNUNET_SERVER_Client *'
109  * @return #GNUNET_OK to continue iterating
110  */
111 int client_disconnect_it(void *cls,
112     const struct GNUNET_HashCode *key,
113     void *value)
114 {
115   if(cls == value)
116     GNUNET_CONTAINER_multihashmap_remove(watchers, key, value);
117   return GNUNET_OK;
118 }
119
120 /**
121  * A client disconnected.  Remove all of its data structure entries.
122  *
123  * @param cls closure, NULL
124  * @param client identification of the client
125  */
126 static void
127 handle_client_disconnect (void *cls,
128                           struct GNUNET_SERVER_Client
129                           * client)
130 {
131   GNUNET_log(GNUNET_ERROR_TYPE_DEBUG, "A client was disconnected, cleaning up.\n");
132   if(NULL != watchers)
133     GNUNET_CONTAINER_multihashmap_iterate(watchers,
134         &client_disconnect_it, client);
135 }
136
137 /**
138  * Function called by for each matching record.
139  *
140  * @param cls closure
141  * @param peer peer identity
142  * @param sub_system name of the GNUnet sub system responsible
143  * @param value stored value
144  * @param size size of stored value
145  */
146 int record_iterator(void *cls,
147     struct GNUNET_PEERSTORE_Record *record,
148     char *emsg)
149 {
150   struct GNUNET_SERVER_Client *client = cls;
151   struct StoreRecordMessage *srm;
152
153   srm = PEERSTORE_create_record_message(record->sub_system,
154       record->peer,
155       record->key,
156       record->value,
157       record->value_size,
158       record->expiry,
159       GNUNET_MESSAGE_TYPE_PEERSTORE_ITERATE_RECORD);
160   GNUNET_SERVER_notification_context_unicast(nc, client, (struct GNUNET_MessageHeader *)srm, GNUNET_NO);
161   GNUNET_free(srm);
162   return GNUNET_YES;
163 }
164
165 /**
166  * Iterator over all watcher clients
167  * to notify them of a new record
168  *
169  * @param cls closuer, a 'struct GNUNET_PEERSTORE_Record *'
170  * @param key hash of record key
171  * @param value the watcher client, a 'struct GNUNET_SERVER_Client *'
172  * @return #GNUNET_YES to continue iterating
173  */
174 int watch_notifier_it(void *cls,
175     const struct GNUNET_HashCode *key,
176     void *value)
177 {
178   struct GNUNET_PEERSTORE_Record *record = cls;
179   struct GNUNET_SERVER_Client *client = value;
180   struct StoreRecordMessage *srm;
181
182   GNUNET_log(GNUNET_ERROR_TYPE_DEBUG, "Found a watcher to update.\n");
183   srm = PEERSTORE_create_record_message(record->sub_system,
184       record->peer,
185       record->key,
186       record->value,
187       record->value_size,
188       record->expiry,
189       GNUNET_MESSAGE_TYPE_PEERSTORE_WATCH_RECORD);
190   GNUNET_SERVER_notification_context_unicast(nc, client,
191       (const struct GNUNET_MessageHeader *)srm, GNUNET_NO);
192   GNUNET_free(srm);
193   return GNUNET_YES;
194 }
195
196 /**
197  * Given a new record, notifies watchers
198  *
199  * @param record changed record to update watchers with
200  */
201 void watch_notifier (struct GNUNET_PEERSTORE_Record *record)
202 {
203   struct GNUNET_HashCode keyhash;
204
205   GNUNET_log(GNUNET_ERROR_TYPE_DEBUG, "Sending update to any watchers.\n");
206   PEERSTORE_hash_key(record->sub_system,
207       record->peer,
208       record->key,
209       &keyhash);
210   GNUNET_CONTAINER_multihashmap_get_multiple(watchers, &keyhash, &watch_notifier_it, record);
211 }
212
213 /**
214  * Handle a watch cancel request from client
215  *
216  * @param cls unused
217  * @param client identification of the client
218  * @param message the actual message
219  */
220 void handle_watch_cancel (void *cls,
221     struct GNUNET_SERVER_Client *client,
222     const struct GNUNET_MessageHeader *message)
223 {
224   struct StoreKeyHashMessage *hm;
225
226   GNUNET_log(GNUNET_ERROR_TYPE_DEBUG, "Received a watch cancel request from client.\n");
227   hm = (struct StoreKeyHashMessage *) message;
228   GNUNET_CONTAINER_multihashmap_remove(watchers, &hm->keyhash, client);
229   GNUNET_SERVER_receive_done(client, GNUNET_OK);
230 }
231
232 /**
233  * Handle a watch request from client
234  *
235  * @param cls unused
236  * @param client identification of the client
237  * @param message the actual message
238  */
239 void handle_watch (void *cls,
240     struct GNUNET_SERVER_Client *client,
241     const struct GNUNET_MessageHeader *message)
242 {
243   struct StoreKeyHashMessage *hm;
244
245   GNUNET_log(GNUNET_ERROR_TYPE_DEBUG, "Received a watch request from client.\n");
246   hm = (struct StoreKeyHashMessage *) message;
247   GNUNET_SERVER_client_mark_monitor(client);
248   GNUNET_SERVER_notification_context_add(nc, client);
249   GNUNET_CONTAINER_multihashmap_put(watchers, &hm->keyhash,
250      client, GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
251   GNUNET_SERVER_receive_done(client, GNUNET_OK);
252 }
253
254 /**
255  * Handle an iterate request from client
256  *
257  * @param cls unused
258  * @param client identification of the client
259  * @param message the actual message
260  */
261 void handle_iterate (void *cls,
262     struct GNUNET_SERVER_Client *client,
263     const struct GNUNET_MessageHeader *message)
264 {
265   struct GNUNET_PEERSTORE_Record *record;
266   struct GNUNET_MessageHeader *endmsg;
267
268   GNUNET_log(GNUNET_ERROR_TYPE_DEBUG, "Received an iterate request from client.\n");
269   record = PEERSTORE_parse_record_message(message);
270   if(NULL == record)
271   {
272     GNUNET_log(GNUNET_ERROR_TYPE_ERROR, "Malformed iterate request from client\n");
273     GNUNET_SERVER_receive_done(client, GNUNET_SYSERR);
274     return;
275   }
276   if(NULL == record->sub_system)
277   {
278     GNUNET_log(GNUNET_ERROR_TYPE_ERROR, "Sub system not supplied in client iterate request\n");
279     GNUNET_SERVER_receive_done(client, GNUNET_SYSERR);
280     return;
281   }
282   GNUNET_log(GNUNET_ERROR_TYPE_DEBUG, "Iterate request: ss `%s', peer `%s', key `%s'\n",
283       record->sub_system,
284       (NULL == record->peer) ? "NULL" : GNUNET_i2s(record->peer),
285       (NULL == record->key) ? "NULL" : record->key);
286   GNUNET_SERVER_notification_context_add(nc, client);
287   if(GNUNET_OK == db->iterate_records(db->cls,
288       record->sub_system,
289       record->peer,
290       record->key,
291       &record_iterator,
292       client))
293   {
294     endmsg = GNUNET_new(struct GNUNET_MessageHeader);
295     endmsg->size = htons(sizeof(struct GNUNET_MessageHeader));
296     endmsg->type = htons(GNUNET_MESSAGE_TYPE_PEERSTORE_ITERATE_END);
297     GNUNET_SERVER_notification_context_unicast(nc, client, endmsg, GNUNET_NO);
298     GNUNET_free(endmsg);
299     GNUNET_SERVER_receive_done(client, GNUNET_OK);
300   }
301   else
302   {
303     GNUNET_SERVER_receive_done(client, GNUNET_SYSERR);
304   }
305   PEERSTORE_destroy_record(record);
306 }
307
308 /**
309  * Handle a store request from client
310  *
311  * @param cls unused
312  * @param client identification of the client
313  * @param message the actual message
314  */
315 void handle_store (void *cls,
316     struct GNUNET_SERVER_Client *client,
317     const struct GNUNET_MessageHeader *message)
318 {
319   struct GNUNET_PEERSTORE_Record *record;
320   struct StoreRecordMessage *srm;
321
322   record = PEERSTORE_parse_record_message(message);
323   if(NULL == record)
324   {
325     GNUNET_log(GNUNET_ERROR_TYPE_ERROR, "Malformed store request from client\n");
326     GNUNET_SERVER_receive_done(client, GNUNET_SYSERR);
327     return;
328   }
329   srm = (struct StoreRecordMessage *)message;
330   if(NULL == record->sub_system
331       || NULL == record->peer
332       || NULL == record->key)
333   {
334     GNUNET_log(GNUNET_ERROR_TYPE_ERROR, "Full key not supplied in client store request\n");
335     PEERSTORE_destroy_record(record);
336     GNUNET_SERVER_receive_done(client, GNUNET_SYSERR);
337     return;
338   }
339   GNUNET_log(GNUNET_ERROR_TYPE_INFO, "Received a store request (size: %lu) for sub system `%s', peer `%s', key `%s'\n",
340       record->value_size,
341       record->sub_system,
342       GNUNET_i2s (record->peer),
343       record->key);
344   if(GNUNET_OK != db->store_record(db->cls,
345       record->sub_system,
346       record->peer,
347       record->key,
348       record->value,
349       record->value_size,
350       *record->expiry,
351       srm->options))
352   {
353     GNUNET_log(GNUNET_ERROR_TYPE_ERROR, "Failed to store requested value, sqlite database error.");
354     PEERSTORE_destroy_record(record);
355     GNUNET_SERVER_receive_done(client, GNUNET_SYSERR);
356     return;
357   }
358   GNUNET_SERVER_receive_done(client, GNUNET_OK);
359   watch_notifier(record);
360   PEERSTORE_destroy_record(record);
361 }
362
363 /**
364  * Peerstore service runner.
365  *
366  * @param cls closure
367  * @param server the initialized server
368  * @param c configuration to use
369  */
370 static void
371 run (void *cls,
372      struct GNUNET_SERVER_Handle *server,
373      const struct GNUNET_CONFIGURATION_Handle *c)
374 {
375   static const struct GNUNET_SERVER_MessageHandler handlers[] = {
376       {&handle_store, NULL, GNUNET_MESSAGE_TYPE_PEERSTORE_STORE, 0},
377       {&handle_iterate, NULL, GNUNET_MESSAGE_TYPE_PEERSTORE_ITERATE, 0},
378       {&handle_watch, NULL, GNUNET_MESSAGE_TYPE_PEERSTORE_WATCH, sizeof(struct StoreKeyHashMessage)},
379       {&handle_watch_cancel, NULL, GNUNET_MESSAGE_TYPE_PEERSTORE_WATCH_CANCEL, sizeof(struct StoreKeyHashMessage)},
380       {NULL, NULL, 0, 0}
381   };
382   char *database;
383
384   cfg = c;
385   if (GNUNET_OK !=
386         GNUNET_CONFIGURATION_get_value_string (cfg, "peerstore", "DATABASE",
387                                                &database))
388     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "No database backend configured\n");
389
390   else
391   {
392     GNUNET_asprintf (&db_lib_name, "libgnunet_plugin_peerstore_%s", database);
393     db = GNUNET_PLUGIN_load(db_lib_name, (void *) cfg);
394     GNUNET_free(database);
395   }
396   if(NULL == db)
397           GNUNET_log(GNUNET_ERROR_TYPE_ERROR, "Could not load database backend `%s'\n", db_lib_name);
398   else
399   {
400     nc = GNUNET_SERVER_notification_context_create (server, 16);
401     watchers = GNUNET_CONTAINER_multihashmap_create(10, GNUNET_NO);
402     GNUNET_SCHEDULER_add_now(&cleanup_expired_records, NULL);
403     GNUNET_SERVER_add_handlers (server, handlers);
404     GNUNET_SERVER_disconnect_notify (server,
405              &handle_client_disconnect,
406              NULL);
407   }
408   GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL,
409                                 &shutdown_task,
410                                 NULL);
411 }
412
413
414 /**
415  * The main function for the peerstore service.
416  *
417  * @param argc number of arguments from the command line
418  * @param argv command line arguments
419  * @return 0 ok, 1 on error
420  */
421 int
422 main (int argc, char *const *argv)
423 {
424   return (GNUNET_OK ==
425           GNUNET_SERVICE_run (argc,
426                               argv,
427                               "peerstore",
428                               GNUNET_SERVICE_OPTION_NONE,
429                               &run, NULL)) ? 0 : 1;
430 }
431
432 /* end of gnunet-service-peerstore.c */