fixing #3610
[oweals/gnunet.git] / src / dht / gnunet-service-xdht_clients.c
1 /*
2      This file is part of GNUnet.
3      (C) 2009, 2010, 2011 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file dht/gnunet-service-dht_clients.c
23  * @brief GNUnet DHT service's client management code
24  * @author Christian Grothoff
25  * @author Nathan Evans
26  */
27
28 #include "platform.h"
29 #include "gnunet_constants.h"
30 #include "gnunet_protocols.h"
31 #include "gnunet_statistics_service.h"
32 #include "gnunet-service-xdht.h"
33 #include "gnunet-service-xdht_clients.h"
34 #include "gnunet-service-xdht_datacache.h"
35 #include "gnunet-service-xdht_neighbours.h"
36 #include "dht.h"
37
38
39 /**
40  * Should routing details be logged to stderr (for debugging)?
41  */
42 #define LOG_TRAFFIC(kind,...) GNUNET_log_from (kind, "dht-traffic",__VA_ARGS__)
43
44 #define LOG(kind,...) GNUNET_log_from (kind, "dht-clients",__VA_ARGS__)
45
46 #define DEBUG(...)                                           \
47   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, __VA_ARGS__)
48
49 /**
50  * Linked list of messages to send to clients.
51  */
52 struct PendingMessage
53 {
54   /**
55    * Pointer to next item in the list
56    */
57   struct PendingMessage *next;
58
59   /**
60    * Pointer to previous item in the list
61    */
62   struct PendingMessage *prev;
63
64   /**
65    * Actual message to be sent, allocated at the end of the struct:
66    * // msg = (cast) &pm[1];
67    * // memcpy (&pm[1], data, len);
68    */
69   const struct GNUNET_MessageHeader *msg;
70
71 };
72
73
74 /**
75  * Struct containing information about a client,
76  * handle to connect to it, and any pending messages
77  * that need to be sent to it.
78  */
79 struct ClientList
80 {
81   /**
82    * Linked list of active clients
83    */
84   struct ClientList *next;
85
86   /**
87    * Linked list of active clients
88    */
89   struct ClientList *prev;
90
91   /**
92    * The handle to this client
93    */
94   struct GNUNET_SERVER_Client *client_handle;
95
96   /**
97    * Handle to the current transmission request, NULL
98    * if none pending.
99    */
100   struct GNUNET_SERVER_TransmitHandle *transmit_handle;
101
102   /**
103    * Linked list of pending messages for this client
104    */
105   struct PendingMessage *pending_head;
106
107   /**
108    * Tail of linked list of pending messages for this client
109    */
110   struct PendingMessage *pending_tail;
111
112 };
113
114
115 /**
116  * Entry in the local forwarding map for a client's GET request.
117  */
118 struct ClientQueryRecord
119 {
120
121   /**
122    * The key this request was about
123    */
124   struct GNUNET_HashCode key;
125
126   /**
127    * Client responsible for the request.
128    */
129   struct ClientList *client;
130
131   /**
132    * Extended query (see gnunet_block_lib.h), allocated at the end of this struct.
133    */
134   const void *xquery;
135
136   /**
137    * Replies we have already seen for this request.
138    */
139   struct GNUNET_HashCode *seen_replies;
140
141   /**
142    * Pointer to this nodes heap location in the retry-heap (for fast removal)
143    */
144   struct GNUNET_CONTAINER_HeapNode *hnode;
145
146   /**
147    * What's the delay between re-try operations that we currently use for this
148    * request?
149    */
150   struct GNUNET_TIME_Relative retry_frequency;
151
152   /**
153    * What's the next time we should re-try this request?
154    */
155   struct GNUNET_TIME_Absolute retry_time;
156
157   /**
158    * The unique identifier of this request
159    */
160   uint64_t unique_id;
161
162   /**
163    * Number of bytes in xquery.
164    */
165   size_t xquery_size;
166
167   /**
168    * Number of entries in 'seen_replies'.
169    */
170   unsigned int seen_replies_count;
171
172   /**
173    * Desired replication level
174    */
175   uint32_t replication;
176
177   /**
178    * Any message options for this request
179    */
180   uint32_t msg_options;
181
182   /**
183    * The type for the data for the GET request.
184    */
185   enum GNUNET_BLOCK_Type type;
186
187 };
188
189
190 /**
191  * Struct containing paremeters of monitoring requests.
192  */
193 struct ClientMonitorRecord
194 {
195
196   /**
197    * Next element in DLL.
198    */
199   struct ClientMonitorRecord    *next;
200
201   /**
202    * Previous element in DLL.
203    */
204   struct ClientMonitorRecord    *prev;
205
206   /**
207    * Type of blocks that are of interest
208    */
209   enum GNUNET_BLOCK_Type        type;
210
211   /**
212    * Key of data of interest, NULL for all.
213    */
214   struct GNUNET_HashCode         *key;
215
216   /**
217    * Flag whether to notify about GET messages.
218    */
219   int16_t get;
220
221   /**
222    * Flag whether to notify about GET_REPONSE messages.
223    */
224   int16_t get_resp;
225
226   /**
227    * Flag whether to notify about PUT messages.
228    */
229   uint16_t put;
230
231   /**
232    * Client to notify of these requests.
233    */
234   struct ClientList             *client;
235 };
236
237
238 /**
239  * List of active clients.
240  */
241 static struct ClientList *client_head;
242
243 /**
244  * List of active clients.
245  */
246 static struct ClientList *client_tail;
247
248 /**
249  * List of active monitoring requests.
250  */
251 static struct ClientMonitorRecord *monitor_head;
252
253 /**
254  * List of active monitoring requests.
255  */
256 static struct ClientMonitorRecord *monitor_tail;
257
258 /**
259  * Hashmap for fast key based lookup, maps keys to `struct ClientQueryRecord` entries.
260  */
261 static struct GNUNET_CONTAINER_MultiHashMap *forward_map;
262
263 /**
264  * Heap with all of our client's request, sorted by retry time (earliest on top).
265  */
266 static struct GNUNET_CONTAINER_Heap *retry_heap;
267
268 /**
269  * Task that re-transmits requests (using retry_heap).
270  */
271 static struct GNUNET_SCHEDULER_Task * retry_task;
272
273
274 /**
275  * Task run to check for messages that need to be sent to a client.
276  *
277  * @param client a ClientList, containing the client and any messages to be sent to it
278  */
279 static void
280 process_pending_messages (struct ClientList *client);
281
282
283 /**
284  * Callback called as a result of issuing a GNUNET_SERVER_notify_transmit_ready
285  * request.  A ClientList is passed as closure, take the head of the list
286  * and copy it into buf, which has the result of sending the message to the
287  * client.
288  *
289  * @param cls closure to this call
290  * @param size maximum number of bytes available to send
291  * @param buf where to copy the actual message to
292  *
293  * @return the number of bytes actually copied, 0 indicates failure
294  */
295 static size_t
296 send_reply_to_client (void *cls, size_t size, void *buf)
297 {
298   struct ClientList *client = cls;
299   char *cbuf = buf;
300   struct PendingMessage *reply;
301   size_t off;
302   size_t msize;
303
304   client->transmit_handle = NULL;
305   if (buf == NULL)
306   {
307     /* client disconnected */
308     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
309                 "Client %p disconnected, pending messages will be discarded\n",
310                 client->client_handle);
311     return 0;
312   }
313   off = 0;
314   while ((NULL != (reply = client->pending_head)) &&
315          (size >= off + (msize = ntohs (reply->msg->size))))
316   {
317     GNUNET_CONTAINER_DLL_remove (client->pending_head, client->pending_tail,
318                                  reply);
319     memcpy (&cbuf[off], reply->msg, msize);
320     GNUNET_free (reply);
321     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Transmitting %u bytes to client %p\n",
322                 msize, client->client_handle);
323     off += msize;
324   }
325   process_pending_messages (client);
326   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Transmitted %u/%u bytes to client %p\n",
327               (unsigned int) off, (unsigned int) size, client->client_handle);
328   return off;
329 }
330
331
332 /**
333  * Task run to check for messages that need to be sent to a client.
334  *
335  * @param client a ClientList, containing the client and any messages to be sent to it
336  */
337 static void
338 process_pending_messages (struct ClientList *client)
339 {
340   if ((client->pending_head == NULL) || (client->transmit_handle != NULL))
341   {
342     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
343                 "Not asking for transmission to %p now: %s\n",
344                 client->client_handle,
345                 client->pending_head ==
346                 NULL ? "no more messages" : "request already pending");
347     return;
348   }
349   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
350               "Asking for transmission of %u bytes to client %p\n",
351               ntohs (client->pending_head->msg->size), client->client_handle);
352   client->transmit_handle =
353       GNUNET_SERVER_notify_transmit_ready (client->client_handle,
354                                            ntohs (client->pending_head->
355                                                   msg->size),
356                                            GNUNET_TIME_UNIT_FOREVER_REL,
357                                            &send_reply_to_client, client);
358 }
359
360
361 /**
362  * Add a PendingMessage to the clients list of messages to be sent
363  *
364  * @param client the active client to send the message to
365  * @param pending_message the actual message to send
366  */
367 static void
368 add_pending_message (struct ClientList *client,
369                      struct PendingMessage *pending_message)
370 {
371   GNUNET_CONTAINER_DLL_insert_tail (client->pending_head, client->pending_tail,
372                                     pending_message);
373   process_pending_messages (client);
374 }
375
376
377 /**
378  * Closure for 'forward_reply'
379  */
380 struct ForwardReplyContext
381 {
382
383   /**
384    * Actual message to send to matching clients.
385    */
386   struct PendingMessage *pm;
387
388   /**
389    * Embedded payload.
390    */
391   const void *data;
392
393   /**
394    * Type of the data.
395    */
396   enum GNUNET_BLOCK_Type type;
397
398   /**
399    * Number of bytes in data.
400    */
401   size_t data_size;
402
403   /**
404    * Do we need to copy 'pm' because it was already used?
405    */
406   int do_copy;
407
408 };
409
410
411 /**
412  * Find a client if it exists, add it otherwise.
413  *
414  * @param client the server handle to the client
415  *
416  * @return the client if found, a new client otherwise
417  */
418 static struct ClientList *
419 find_active_client (struct GNUNET_SERVER_Client *client)
420 {
421   struct ClientList *pos = client_head;
422   struct ClientList *ret;
423
424   while (pos != NULL)
425   {
426     if (pos->client_handle == client)
427       return pos;
428     pos = pos->next;
429   }
430   ret = GNUNET_new (struct ClientList);
431   ret->client_handle = client;
432   GNUNET_CONTAINER_DLL_insert (client_head, client_tail, ret);
433   return ret;
434 }
435
436
437 /**
438  * Iterator over hash map entries that frees all entries
439  * associated with the given client.
440  *
441  * @param cls client to search for in source routes
442  * @param key current key code (ignored)
443  * @param value value in the hash map, a ClientQueryRecord
444  * @return #GNUNET_YES (we should continue to iterate)
445  */
446 static int
447 remove_client_records (void *cls, const struct GNUNET_HashCode * key, void *value)
448 {
449   struct ClientList *client = cls;
450   struct ClientQueryRecord *record = value;
451
452   if (record->client != client)
453     return GNUNET_YES;
454   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
455               "Removing client %p's record for key %s\n", client,
456               GNUNET_h2s (key));
457   GNUNET_assert (GNUNET_YES ==
458                  GNUNET_CONTAINER_multihashmap_remove (forward_map, key,
459                                                        record));
460   if (NULL != record->hnode)
461     GNUNET_CONTAINER_heap_remove_node (record->hnode);
462   GNUNET_array_grow (record->seen_replies, record->seen_replies_count, 0);
463   GNUNET_free (record);
464   return GNUNET_YES;
465 }
466
467
468 /**
469  * Iterator over hash map entries that send a given reply to
470  * each of the matching clients.  With some tricky recycling
471  * of the buffer.
472  *
473  * @param cls the 'struct ForwardReplyContext'
474  * @param key current key
475  * @param value value in the hash map, a ClientQueryRecord
476  * @return GNUNET_YES (we should continue to iterate),
477  *         if the result is mal-formed, GNUNET_NO
478  */
479 static int
480 forward_reply (void *cls, const struct GNUNET_HashCode * key, void *value)
481 {
482   struct ForwardReplyContext *frc = cls;
483   struct ClientQueryRecord *record = value;
484   struct PendingMessage *pm;
485   struct GNUNET_DHT_ClientResultMessage *reply;
486   enum GNUNET_BLOCK_EvaluationResult eval;
487   int do_free;
488   struct GNUNET_HashCode ch;
489   unsigned int i;
490  
491   LOG_TRAFFIC (GNUNET_ERROR_TYPE_DEBUG,
492                "XVINE CLIENT-RESULT %s\n",
493                GNUNET_h2s_full (key));
494 #if 0
495   if ((record->type != GNUNET_BLOCK_TYPE_ANY) && (record->type != frc->type))
496   {
497     LOG (GNUNET_ERROR_TYPE_DEBUG,
498          "Record type missmatch, not passing request for key %s to local client\n",
499          GNUNET_h2s (key));
500
501     GNUNET_STATISTICS_update (GDS_stats,
502                               gettext_noop
503                               ("# Key match, type mismatches in REPLY to CLIENT"),
504                               1, GNUNET_NO);
505     return GNUNET_YES;          /* type mismatch */
506   }
507 #endif
508   GNUNET_CRYPTO_hash (frc->data, frc->data_size, &ch);
509   for (i = 0; i < record->seen_replies_count; i++)
510     if (0 == memcmp (&record->seen_replies[i], &ch, sizeof (struct GNUNET_HashCode)))
511     {
512       LOG (GNUNET_ERROR_TYPE_DEBUG,
513            "Duplicate reply, not passing request for key %s to local client\n",
514            GNUNET_h2s (key));
515       GNUNET_STATISTICS_update (GDS_stats,
516                                 gettext_noop
517                                 ("# Duplicate REPLIES to CLIENT request dropped"),
518                                 1, GNUNET_NO);
519       return GNUNET_YES;        /* duplicate */
520     }
521   eval =
522       GNUNET_BLOCK_evaluate (GDS_block_context, record->type, key, NULL, 0,
523                              record->xquery, record->xquery_size, frc->data,
524                              frc->data_size);
525   LOG (GNUNET_ERROR_TYPE_DEBUG,
526        "Evaluation result is %d for key %s for local client's query\n",
527        (int) eval, GNUNET_h2s (key));
528   switch (eval)
529   {
530   case GNUNET_BLOCK_EVALUATION_OK_LAST:
531     do_free = GNUNET_YES;
532     break;
533   case GNUNET_BLOCK_EVALUATION_OK_MORE:
534     GNUNET_array_append (record->seen_replies, record->seen_replies_count, ch);
535     do_free = GNUNET_NO;
536     break;
537   case GNUNET_BLOCK_EVALUATION_OK_DUPLICATE:
538     /* should be impossible to encounter here */
539     GNUNET_break (0);
540     return GNUNET_YES;
541   case GNUNET_BLOCK_EVALUATION_RESULT_INVALID:
542     GNUNET_break_op (0);
543     return GNUNET_NO;
544   case GNUNET_BLOCK_EVALUATION_REQUEST_VALID:
545     GNUNET_break (0);
546     return GNUNET_NO;
547   case GNUNET_BLOCK_EVALUATION_REQUEST_INVALID:
548     GNUNET_break (0);
549     return GNUNET_NO;
550   case GNUNET_BLOCK_EVALUATION_RESULT_IRRELEVANT:
551     return GNUNET_YES;
552   case GNUNET_BLOCK_EVALUATION_TYPE_NOT_SUPPORTED:
553     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
554                 _("Unsupported block type (%u) in request!\n"), record->type);
555     return GNUNET_NO;
556   default:
557     GNUNET_break (0);
558     return GNUNET_NO;
559   }
560   if (GNUNET_NO == frc->do_copy)
561   {
562     /* first time, we can use the original data */
563     pm = frc->pm;
564     frc->do_copy = GNUNET_YES;
565   }
566   else
567   {
568     /* two clients waiting for same reply, must copy for queueing */
569     pm = GNUNET_malloc (sizeof (struct PendingMessage) +
570                         ntohs (frc->pm->msg->size));
571     memcpy (pm, frc->pm,
572             sizeof (struct PendingMessage) + ntohs (frc->pm->msg->size));
573     pm->next = pm->prev = NULL;
574     pm->msg = (struct GNUNET_MessageHeader *) &pm[1];
575   }
576   GNUNET_STATISTICS_update (GDS_stats,
577                             gettext_noop ("# RESULTS queued for clients"), 1,
578                             GNUNET_NO);
579   reply = (struct GNUNET_DHT_ClientResultMessage *) &pm[1];
580   reply->unique_id = record->unique_id;
581   LOG (GNUNET_ERROR_TYPE_DEBUG,
582        "Queueing reply to query %s for client %p\n",
583        GNUNET_h2s (key),
584        record->client->client_handle);
585   add_pending_message (record->client, pm);
586   if (GNUNET_YES == do_free)
587     remove_client_records (record->client, key, record);
588   return GNUNET_YES;
589 }
590
591
592 /**
593  * Handle a reply we've received from another peer.  If the reply
594  * matches any of our pending queries, forward it to the respective
595  * client(s).
596  *
597  * @param expiration when will the reply expire
598  * @param key the query this reply is for
599  * @param get_path_length number of peers in @a get_path
600  * @param get_path path the reply took on get
601  * @param put_path_length number of peers in @a put_path
602  * @param put_path path the reply took on put
603  * @param type type of the reply
604  * @param data_size number of bytes in @a data
605  * @param data application payload data
606  */
607 void
608 GDS_CLIENTS_handle_reply (struct GNUNET_TIME_Absolute expiration,
609                           const struct GNUNET_HashCode *key,
610                           unsigned int get_path_length,
611                           const struct GNUNET_PeerIdentity *get_path,
612                           unsigned int put_path_length,
613                           const struct GNUNET_PeerIdentity *put_path,
614                           enum GNUNET_BLOCK_Type type, size_t data_size,
615                           const void *data)
616 {
617   struct ForwardReplyContext frc;
618   struct PendingMessage *pm;
619   struct GNUNET_DHT_ClientResultMessage *reply;
620   struct GNUNET_PeerIdentity *paths;
621   size_t msize;
622
623   LOG (GNUNET_ERROR_TYPE_DEBUG,
624        "reply for key %s\n",
625        GNUNET_h2s (key));
626
627   if (NULL == GNUNET_CONTAINER_multihashmap_get (forward_map, key))
628   {
629     GNUNET_STATISTICS_update (GDS_stats,
630                               gettext_noop
631                               ("# REPLIES ignored for CLIENTS (no match)"), 1,
632                               GNUNET_NO);
633     return;                     /* no matching request, fast exit! */
634   }
635   msize =
636       sizeof (struct GNUNET_DHT_ClientResultMessage) + data_size +
637       (get_path_length + put_path_length) * sizeof (struct GNUNET_PeerIdentity);
638   if (msize >= GNUNET_SERVER_MAX_MESSAGE_SIZE)
639   {
640     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
641                 _("Could not pass reply to client, message too big!\n"));
642     return;
643   }
644   DEBUG("reply FOR DATA_SIZE = %lu\n",msize);
645   pm = GNUNET_malloc (msize + sizeof (struct PendingMessage));
646   reply = (struct GNUNET_DHT_ClientResultMessage *) &pm[1];
647   pm->msg = &reply->header;
648   reply->header.size = htons ((uint16_t) msize);
649   reply->header.type = htons (GNUNET_MESSAGE_TYPE_DHT_CLIENT_RESULT);
650   reply->type = htonl (type);
651   reply->get_path_length = htonl (get_path_length);
652   reply->put_path_length = htonl (put_path_length);
653   reply->unique_id = 0;         /* filled in later */
654   reply->expiration = GNUNET_TIME_absolute_hton (expiration);
655   reply->key = *key;
656   paths = (struct GNUNET_PeerIdentity *) &reply[1];
657   memcpy (paths, put_path,
658           sizeof (struct GNUNET_PeerIdentity) * put_path_length);
659   memcpy (&paths[put_path_length], get_path,
660           sizeof (struct GNUNET_PeerIdentity) * get_path_length);
661   memcpy (&paths[get_path_length + put_path_length], data, data_size);
662   frc.do_copy = GNUNET_NO;
663   frc.pm = pm;
664   frc.data = data;
665   frc.data_size = data_size;
666   frc.type = type;
667   GNUNET_CONTAINER_multihashmap_get_multiple (forward_map, key, &forward_reply,
668                                               &frc);
669   if (GNUNET_NO == frc.do_copy)
670   {
671     /* did not match any of the requests, free! */
672     GNUNET_STATISTICS_update (GDS_stats,
673                               gettext_noop
674                               ("# REPLIES ignored for CLIENTS (no match)"), 1,
675                               GNUNET_NO);
676     GNUNET_free (pm);
677   }
678 }
679
680 /**
681  * Check if some client is monitoring GET messages and notify
682  * them in that case.
683  *
684  * @param options Options, for instance RecordRoute, DemultiplexEverywhere.
685  * @param type The type of data in the request.
686  * @param hop_count Hop count so far.
687  * @param path_length number of entries in path (or 0 if not recorded).
688  * @param path peers on the GET path (or NULL if not recorded).
689  * @param desired_replication_level Desired replication level.
690  * @param key Key of the requested data.
691  */
692 void
693 GDS_CLIENTS_process_get (uint32_t options,
694                          enum GNUNET_BLOCK_Type type,
695                          uint32_t hop_count,
696                          uint32_t desired_replication_level,
697                          unsigned int path_length,
698                          const struct GNUNET_PeerIdentity *path,
699                          const struct GNUNET_HashCode * key)
700 {
701   struct ClientMonitorRecord *m;
702   struct ClientList **cl;
703   unsigned int cl_size;
704
705   cl = NULL;
706   cl_size = 0;
707   for (m = monitor_head; NULL != m; m = m->next)
708   {
709     if ((GNUNET_BLOCK_TYPE_ANY == m->type || m->type == type) &&
710         (NULL == m->key ||
711          memcmp (key, m->key, sizeof(struct GNUNET_HashCode)) == 0))
712     {
713       struct PendingMessage *pm;
714       struct GNUNET_DHT_MonitorGetMessage *mmsg;
715       struct GNUNET_PeerIdentity *msg_path;
716       size_t msize;
717       unsigned int i;
718
719       /* Don't send duplicates */
720       for (i = 0; i < cl_size; i++)
721         if (cl[i] == m->client)
722           break;
723       if (i < cl_size)
724         continue;
725       GNUNET_array_append (cl, cl_size, m->client);
726
727       msize = path_length * sizeof (struct GNUNET_PeerIdentity);
728       msize += sizeof (struct GNUNET_DHT_MonitorGetMessage);
729       msize += sizeof (struct PendingMessage);
730       pm = GNUNET_malloc (msize);
731       mmsg = (struct GNUNET_DHT_MonitorGetMessage *) &pm[1];
732       pm->msg = &mmsg->header;
733       mmsg->header.size = htons (msize - sizeof (struct PendingMessage));
734       mmsg->header.type = htons (GNUNET_MESSAGE_TYPE_DHT_MONITOR_GET);
735       mmsg->options = htonl(options);
736       mmsg->type = htonl(type);
737       mmsg->hop_count = htonl(hop_count);
738       mmsg->desired_replication_level = htonl(desired_replication_level);
739       mmsg->get_path_length = htonl(path_length);
740       memcpy (&mmsg->key, key, sizeof (struct GNUNET_HashCode));
741       msg_path = (struct GNUNET_PeerIdentity *) &mmsg[1];
742       if (path_length > 0)
743         memcpy (msg_path, path,
744                 path_length * sizeof (struct GNUNET_PeerIdentity));
745       add_pending_message (m->client, pm);
746     }
747   }
748   GNUNET_free_non_null (cl);
749 }
750
751
752 /**
753  * Check if some client is monitoring PUT messages and notify
754  * them in that case.
755  *
756  * @param options Options, for instance RecordRoute, DemultiplexEverywhere.
757  * @param type The type of data in the request.
758  * @param hop_count Hop count so far.
759  * @param path_length number of entries in path (or 0 if not recorded).
760  * @param path peers on the PUT path (or NULL if not recorded).
761  * @param desired_replication_level Desired replication level.
762  * @param exp Expiration time of the data.
763  * @param key Key under which data is to be stored.
764  * @param data Pointer to the data carried.
765  * @param size Number of bytes in data.
766  */
767 void
768 GDS_CLIENTS_process_put (uint32_t options,
769                          enum GNUNET_BLOCK_Type type,
770                          uint32_t hop_count,
771                          uint32_t desired_replication_level,
772                          unsigned int path_length,
773                          const struct GNUNET_PeerIdentity *path,
774                          struct GNUNET_TIME_Absolute exp,
775                          const struct GNUNET_HashCode * key,
776                          const void *data,
777                          size_t size)
778 {
779   struct ClientMonitorRecord *m;
780   struct ClientList **cl;
781   unsigned int cl_size;
782
783   cl = NULL;
784   cl_size = 0;
785   for (m = monitor_head; NULL != m; m = m->next)
786   {
787     if ((GNUNET_BLOCK_TYPE_ANY == m->type || m->type == type) &&
788         (NULL == m->key ||
789          memcmp (key, m->key, sizeof(struct GNUNET_HashCode)) == 0))
790     {
791       struct PendingMessage *pm;
792       struct GNUNET_DHT_MonitorPutMessage *mmsg;
793       struct GNUNET_PeerIdentity *msg_path;
794       size_t msize;
795       unsigned int i;
796
797       /* Don't send duplicates */
798       for (i = 0; i < cl_size; i++)
799         if (cl[i] == m->client)
800           break;
801       if (i < cl_size)
802         continue;
803       GNUNET_array_append (cl, cl_size, m->client);
804
805       msize = size;
806       msize += path_length * sizeof (struct GNUNET_PeerIdentity);
807       msize += sizeof (struct GNUNET_DHT_MonitorPutMessage);
808       msize += sizeof (struct PendingMessage);
809       pm = GNUNET_malloc (msize);
810       mmsg = (struct GNUNET_DHT_MonitorPutMessage *) &pm[1];
811       pm->msg = (struct GNUNET_MessageHeader *) mmsg;
812       mmsg->header.size = htons (msize - sizeof (struct PendingMessage));
813       mmsg->header.type = htons (GNUNET_MESSAGE_TYPE_DHT_MONITOR_PUT);
814       mmsg->options = htonl(options);
815       mmsg->type = htonl(type);
816       mmsg->hop_count = htonl(hop_count);
817       mmsg->desired_replication_level = htonl(desired_replication_level);
818       mmsg->put_path_length = htonl(path_length);
819       msg_path = (struct GNUNET_PeerIdentity *) &mmsg[1];
820       if (path_length > 0)
821       {
822         memcpy (msg_path, path,
823                 path_length * sizeof (struct GNUNET_PeerIdentity));
824       }
825       mmsg->expiration_time = GNUNET_TIME_absolute_hton(exp);
826       memcpy (&mmsg->key, key, sizeof (struct GNUNET_HashCode));
827       if (size > 0)
828         memcpy (&msg_path[path_length], data, size);
829       add_pending_message (m->client, pm);
830     }
831   }
832   GNUNET_free_non_null (cl);
833 }
834
835
836 /**
837  * Route the given request via the DHT.  
838  */
839 static void
840 transmit_request (struct ClientQueryRecord *cqr)
841 {
842   GNUNET_STATISTICS_update (GDS_stats,
843                             gettext_noop
844                             ("# GET requests from clients injected"), 1,
845                             GNUNET_NO);
846   
847   LOG (GNUNET_ERROR_TYPE_DEBUG,
848        "Initiating GET for %s, replication %u, already have %u replies\n",
849        GNUNET_h2s (&cqr->key),
850        cqr->replication,
851        cqr->seen_replies_count);
852   
853   GDS_NEIGHBOURS_handle_get (&cqr->key, cqr->type, cqr->msg_options, 
854                               cqr->replication);
855   
856   /* exponential back-off for retries.
857    * max GNUNET_TIME_STD_EXPONENTIAL_BACKOFF_THRESHOLD (15 min) */
858   cqr->retry_frequency = GNUNET_TIME_STD_BACKOFF (cqr->retry_frequency);
859   cqr->retry_time = GNUNET_TIME_relative_to_absolute (cqr->retry_frequency);
860 }
861
862
863 /**
864  * Task that looks at the 'retry_heap' and transmits all of the requests
865  * on the heap that are ready for transmission.  Then re-schedules
866  * itself (unless the heap is empty).
867  *
868  * @param cls unused
869  * @param tc scheduler context
870  */
871 static void
872 transmit_next_request_task (void *cls,
873                             const struct GNUNET_SCHEDULER_TaskContext *tc)
874 {
875   struct ClientQueryRecord *cqr;
876   struct GNUNET_TIME_Relative delay;
877
878   retry_task = NULL;
879   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
880     return;
881   while (NULL != (cqr = GNUNET_CONTAINER_heap_remove_root (retry_heap)))
882   {
883     cqr->hnode = NULL;
884     delay = GNUNET_TIME_absolute_get_remaining (cqr->retry_time);
885     if (delay.rel_value_us > 0)
886     {
887       cqr->hnode =
888           GNUNET_CONTAINER_heap_insert (retry_heap, cqr,
889                                         cqr->retry_time.abs_value_us);
890       retry_task =
891           GNUNET_SCHEDULER_add_delayed (delay, &transmit_next_request_task,
892                                         NULL);
893       return;
894     }
895     transmit_request (cqr);
896     cqr->hnode =
897         GNUNET_CONTAINER_heap_insert (retry_heap, cqr,
898                                       cqr->retry_time.abs_value_us);
899   }
900 }
901
902
903 /**
904  * Handler for PUT messages.
905  *
906  * @param cls closure for the service
907  * @param client the client we received this message from
908  * @param message the actual message received
909  */
910 static void
911 handle_dht_local_put (void *cls, struct GNUNET_SERVER_Client *client,
912                       const struct GNUNET_MessageHeader *message)
913 {
914   const struct GNUNET_DHT_ClientPutMessage *put_msg;
915   struct PendingMessage *pm;
916   struct GNUNET_DHT_ClientPutConfirmationMessage *conf;
917   uint16_t size;
918
919   size = ntohs (message->size);
920   if (size < sizeof (struct GNUNET_DHT_ClientPutMessage))
921   {
922     GNUNET_break (0);
923     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
924     return;
925   }
926   GNUNET_STATISTICS_update (GDS_stats,
927                             gettext_noop
928                             ("# PUT requests received from clients"), 1,
929                             GNUNET_NO);
930   put_msg = (const struct GNUNET_DHT_ClientPutMessage *) message;
931   LOG_TRAFFIC (GNUNET_ERROR_TYPE_DEBUG, "X-VINE DHT CLIENT-PUT %s\n",
932                GNUNET_h2s_full (&put_msg->key));
933   /* give to local clients */
934   LOG (GNUNET_ERROR_TYPE_DEBUG,
935        "Handling local PUT of %u-bytes for query %s\n",
936        size - sizeof (struct GNUNET_DHT_ClientPutMessage),
937        GNUNET_h2s (&put_msg->key));
938   DEBUG("PUT doing put i = %s\n",GNUNET_h2s(&(put_msg->key)));
939   GDS_CLIENTS_handle_reply (GNUNET_TIME_absolute_ntoh (put_msg->expiration),
940                             &put_msg->key, 0, NULL, 0, NULL,
941                             ntohl (put_msg->type),
942                             size - sizeof (struct GNUNET_DHT_ClientPutMessage),
943                             &put_msg[1]);
944  
945   GDS_NEIGHBOURS_handle_put (&put_msg->key, 
946                               ntohl (put_msg->type), ntohl (put_msg->options),
947                               ntohl (put_msg->desired_replication_level),
948                               GNUNET_TIME_absolute_ntoh (put_msg->expiration),
949                               &put_msg[1],
950                               size - sizeof (struct GNUNET_DHT_ClientPutMessage));
951   pm = GNUNET_malloc (sizeof (struct PendingMessage) +
952                       sizeof (struct GNUNET_DHT_ClientPutConfirmationMessage));
953   conf = (struct GNUNET_DHT_ClientPutConfirmationMessage *) &pm[1];
954   conf->header.size = htons (sizeof (struct GNUNET_DHT_ClientPutConfirmationMessage));
955   conf->header.type = htons (GNUNET_MESSAGE_TYPE_DHT_CLIENT_PUT_OK);
956   conf->reserved = htonl (0);
957   conf->unique_id = put_msg->unique_id;
958   pm->msg = &conf->header;
959   add_pending_message (find_active_client (client), pm);
960   GNUNET_SERVER_receive_done (client, GNUNET_OK);
961 }
962
963
964 /**
965  * Handler for DHT GET messages from the client.
966  *
967  * @param cls closure for the service
968  * @param client the client we received this message from
969  * @param message the actual message received
970  */
971 static void
972 handle_dht_local_get (void *cls, struct GNUNET_SERVER_Client *client,
973                       const struct GNUNET_MessageHeader *message)
974 {
975   const struct GNUNET_DHT_ClientGetMessage *get;
976   struct ClientQueryRecord *cqr;
977   size_t xquery_size;
978   const char *xquery;
979   uint16_t size;
980
981   size = ntohs (message->size);
982   if (size < sizeof (struct GNUNET_DHT_ClientGetMessage))
983   {
984     GNUNET_break (0);
985     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
986     return;
987   }
988   xquery_size = size - sizeof (struct GNUNET_DHT_ClientGetMessage);
989   get = (const struct GNUNET_DHT_ClientGetMessage *) message;
990   xquery = (const char *) &get[1];
991   GNUNET_STATISTICS_update (GDS_stats,
992                             gettext_noop
993                             ("# GET requests received from clients"), 1,
994                             GNUNET_NO);
995   LOG (GNUNET_ERROR_TYPE_DEBUG,
996        "Received GET request for %s from local client %p, xq: %.*s\n",
997        GNUNET_h2s (&get->key), client, xquery_size, xquery);
998
999   LOG_TRAFFIC (GNUNET_ERROR_TYPE_DEBUG, "X-VINE CLIENT-GET %s\n",
1000                GNUNET_h2s_full (&get->key));
1001
1002
1003   cqr = GNUNET_malloc (sizeof (struct ClientQueryRecord) + xquery_size);
1004   cqr->key = get->key;
1005   cqr->client = find_active_client (client);
1006   cqr->xquery = (void *) &cqr[1];
1007   memcpy (&cqr[1], xquery, xquery_size);
1008   cqr->hnode = GNUNET_CONTAINER_heap_insert (retry_heap, cqr, 0);
1009   cqr->retry_frequency = GNUNET_TIME_UNIT_SECONDS;
1010   cqr->retry_time = GNUNET_TIME_absolute_get ();
1011   cqr->unique_id = get->unique_id;
1012   cqr->xquery_size = xquery_size;
1013   cqr->replication = ntohl (get->desired_replication_level);
1014   cqr->msg_options = ntohl (get->options);
1015   cqr->type = ntohl (get->type);
1016   
1017   // FIXME use cqr->key, set multihashmap create to GNUNET_YES
1018   GNUNET_CONTAINER_multihashmap_put (forward_map, &get->key, cqr,
1019                                      GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
1020   
1021   struct GNUNET_PeerIdentity my_identity;
1022   my_identity = GDS_NEIGHBOURS_get_my_id();
1023   GDS_CLIENTS_process_get (ntohl (get->options),
1024                            ntohl (get->type),
1025                            0,
1026                            ntohl (get->desired_replication_level),
1027                            1,
1028                            &my_identity,
1029                            &get->key);
1030   /* start remote requests */
1031   if (NULL != retry_task)
1032     GNUNET_SCHEDULER_cancel (retry_task);
1033   retry_task = GNUNET_SCHEDULER_add_now (&transmit_next_request_task, NULL);
1034   GNUNET_SERVER_receive_done (client, GNUNET_OK);
1035 }
1036
1037
1038 /**
1039  * Closure for 'find_by_unique_id'.
1040  */
1041 struct FindByUniqueIdContext
1042 {
1043   /**
1044    * Where to store the result, if found.
1045    */
1046   struct ClientQueryRecord *cqr;
1047
1048   uint64_t unique_id;
1049 };
1050
1051
1052 /**
1053  * Function called for each existing DHT record for the given
1054  * query.  Checks if it matches the UID given in the closure
1055  * and if so returns the entry as a result.
1056  *
1057  * @param cls the search context
1058  * @param key query for the lookup (not used)
1059  * @param value the 'struct ClientQueryRecord'
1060  * @return GNUNET_YES to continue iteration (result not yet found)
1061  */
1062 static int
1063 find_by_unique_id (void *cls,
1064                    const struct GNUNET_HashCode *key,
1065                    void *value)
1066 {
1067   struct FindByUniqueIdContext *fui_ctx = cls;
1068   struct ClientQueryRecord *cqr = value;
1069
1070   if (cqr->unique_id != fui_ctx->unique_id)
1071     return GNUNET_YES;
1072   fui_ctx->cqr = cqr;
1073   return GNUNET_NO;
1074 }
1075
1076
1077 /**
1078  * Handler for "GET result seen" messages from the client.
1079  *
1080  * @param cls closure for the service
1081  * @param client the client we received this message from
1082  * @param message the actual message received
1083  */
1084 static void
1085 handle_dht_local_get_result_seen (void *cls, struct GNUNET_SERVER_Client *client,
1086                                   const struct GNUNET_MessageHeader *message)
1087 {
1088   const struct GNUNET_DHT_ClientGetResultSeenMessage *seen;
1089   uint16_t size;
1090   unsigned int hash_count;
1091   unsigned int old_count;
1092   const struct GNUNET_HashCode *hc;
1093   struct FindByUniqueIdContext fui_ctx;
1094   struct ClientQueryRecord *cqr;
1095
1096   size = ntohs (message->size);
1097   if (size < sizeof (struct GNUNET_DHT_ClientGetResultSeenMessage))
1098   {
1099     GNUNET_break (0);
1100     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1101     return;
1102   }
1103   seen = (const struct GNUNET_DHT_ClientGetResultSeenMessage *) message;
1104   hash_count = (size - sizeof (struct GNUNET_DHT_ClientGetResultSeenMessage)) / sizeof (struct GNUNET_HashCode);
1105   if (size != sizeof (struct GNUNET_DHT_ClientGetResultSeenMessage) + hash_count * sizeof (struct GNUNET_HashCode))
1106   {
1107     GNUNET_break (0);
1108     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1109     return;
1110   }
1111   hc = (const struct GNUNET_HashCode*) &seen[1];
1112   fui_ctx.unique_id = seen->unique_id;
1113   fui_ctx.cqr = NULL;
1114   GNUNET_CONTAINER_multihashmap_get_multiple (forward_map,
1115                                               &seen->key,
1116                                               &find_by_unique_id,
1117                                               &fui_ctx);
1118   if (NULL == (cqr = fui_ctx.cqr))
1119   {
1120     GNUNET_break (0);
1121     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1122     return;
1123   }
1124   /* finally, update 'seen' list */
1125   old_count = cqr->seen_replies_count;
1126   GNUNET_array_grow (cqr->seen_replies,
1127                      cqr->seen_replies_count,
1128                      cqr->seen_replies_count + hash_count);
1129   memcpy (&cqr->seen_replies[old_count],
1130           hc,
1131           sizeof (struct GNUNET_HashCode) * hash_count);
1132 }
1133
1134
1135 /**
1136  * Closure for 'remove_by_unique_id'.
1137  */
1138 struct RemoveByUniqueIdContext
1139 {
1140   /**
1141    * Client that issued the removal request.
1142    */
1143   struct ClientList *client;
1144
1145   /**
1146    * Unique ID of the request.
1147    */
1148   uint64_t unique_id;
1149 };
1150
1151
1152 /**
1153  * Iterator over hash map entries that frees all entries
1154  * that match the given client and unique ID.
1155  *
1156  * @param cls unique ID and client to search for in source routes
1157  * @param key current key code
1158  * @param value value in the hash map, a ClientQueryRecord
1159  * @return GNUNET_YES (we should continue to iterate)
1160  */
1161 static int
1162 remove_by_unique_id (void *cls, const struct GNUNET_HashCode * key, void *value)
1163 {
1164   const struct RemoveByUniqueIdContext *ctx = cls;
1165   struct ClientQueryRecord *record = value;
1166
1167   if (record->unique_id != ctx->unique_id)
1168     return GNUNET_YES;
1169   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1170               "Removing client %p's record for key %s (by unique id)\n",
1171               ctx->client->client_handle, GNUNET_h2s (key));
1172   return remove_client_records (ctx->client, key, record);
1173 }
1174
1175
1176 /**
1177  * Handler for any generic DHT stop messages, calls the appropriate handler
1178  * depending on message type (if processed locally)
1179  *
1180  * @param cls closure for the service
1181  * @param client the client we received this message from
1182  * @param message the actual message received
1183  *
1184  */
1185 static void
1186 handle_dht_local_get_stop (void *cls, struct GNUNET_SERVER_Client *client,
1187                            const struct GNUNET_MessageHeader *message)
1188 {
1189   const struct GNUNET_DHT_ClientGetStopMessage *dht_stop_msg =
1190       (const struct GNUNET_DHT_ClientGetStopMessage *) message;
1191   struct RemoveByUniqueIdContext ctx;
1192
1193   GNUNET_STATISTICS_update (GDS_stats,
1194                             gettext_noop
1195                             ("# GET STOP requests received from clients"), 1,
1196                             GNUNET_NO);
1197   LOG (GNUNET_ERROR_TYPE_DEBUG,
1198        "Received GET STOP request for %s from local client %p\n",
1199        client, GNUNET_h2s (&dht_stop_msg->key));
1200   ctx.client = find_active_client (client);
1201   ctx.unique_id = dht_stop_msg->unique_id;
1202   GNUNET_CONTAINER_multihashmap_get_multiple (forward_map, &dht_stop_msg->key,
1203                                               &remove_by_unique_id, &ctx);
1204   GNUNET_SERVER_receive_done (client, GNUNET_OK);
1205 }
1206
1207
1208 /**
1209  * Handler for monitor start messages
1210  *
1211  * @param cls closure for the service
1212  * @param client the client we received this message from
1213  * @param message the actual message received
1214  *
1215  */
1216 static void
1217 handle_dht_local_monitor (void *cls, struct GNUNET_SERVER_Client *client,
1218                           const struct GNUNET_MessageHeader *message)
1219 {
1220   struct ClientMonitorRecord *r;
1221   const struct GNUNET_DHT_MonitorStartStopMessage *msg;
1222
1223   msg = (struct GNUNET_DHT_MonitorStartStopMessage *) message;
1224   r = GNUNET_new (struct ClientMonitorRecord);
1225
1226   r->client = find_active_client(client);
1227   r->type = ntohl(msg->type);
1228   r->get = ntohs(msg->get);
1229   r->get_resp = ntohs(msg->get_resp);
1230   r->put = ntohs(msg->put);
1231   if (0 == ntohs(msg->filter_key))
1232       r->key = NULL;
1233   else
1234   {
1235     r->key = GNUNET_new (struct GNUNET_HashCode);
1236     memcpy (r->key, &msg->key, sizeof (struct GNUNET_HashCode));
1237   }
1238   GNUNET_CONTAINER_DLL_insert (monitor_head, monitor_tail, r);
1239   GNUNET_SERVER_receive_done (client, GNUNET_OK);
1240 }
1241
1242
1243 /**
1244  * Handler for monitor stop messages
1245  *
1246  * @param cls closure for the service
1247  * @param client the client we received this message from
1248  * @param message the actual message received
1249  *
1250  */
1251 static void
1252 handle_dht_local_monitor_stop (void *cls, struct GNUNET_SERVER_Client *client,
1253                                const struct GNUNET_MessageHeader *message)
1254 {
1255   struct ClientMonitorRecord *r;
1256   const struct GNUNET_DHT_MonitorStartStopMessage *msg;
1257   int keys_match;
1258
1259   msg = (struct GNUNET_DHT_MonitorStartStopMessage *) message;
1260   r = monitor_head;
1261
1262   while (NULL != r)
1263   {
1264     if (NULL == r->key)
1265         keys_match = (0 == ntohs(msg->filter_key));
1266     else
1267     {
1268         keys_match = (0 != ntohs(msg->filter_key)
1269                       && !memcmp(r->key, &msg->key, sizeof(struct GNUNET_HashCode)));
1270     }
1271     if (find_active_client(client) == r->client
1272         && ntohl(msg->type) == r->type
1273         && r->get == msg->get
1274         && r->get_resp == msg->get_resp
1275         && r->put == msg->put
1276         && keys_match
1277         )
1278     {
1279         GNUNET_CONTAINER_DLL_remove (monitor_head, monitor_tail, r);
1280         GNUNET_free_non_null (r->key);
1281         GNUNET_free (r);
1282         GNUNET_SERVER_receive_done (client, GNUNET_OK);
1283         return; /* Delete only ONE entry */
1284     }
1285     r = r->next;
1286   }
1287
1288   GNUNET_SERVER_receive_done (client, GNUNET_OK);
1289 }
1290
1291
1292 #if ENABLE_MALICIOUS
1293 /**
1294  * Handler for act malicious message.
1295  *
1296  * @param cls closure for the service
1297  * @param client the client we received this message from
1298  * @param message the actual message received
1299  *
1300  */
1301 static void
1302 handle_dht_act_malicious (void *cls, struct GNUNET_SERVER_Client *client,
1303                           const struct GNUNET_MessageHeader *message)
1304 {
1305   const struct GNUNET_DHT_ActMaliciousMessage *msg;
1306   struct PendingMessage *pm;
1307   struct GNUNET_DHT_ClientActMaliciousConfirmationMessage *conf;
1308   unsigned int malicious_action;
1309
1310   msg = (const struct GNUNET_DHT_ActMaliciousMessage *)message;
1311   malicious_action = msg->action;
1312   
1313   if(GNUNET_OK == GDS_NEIGHBOURS_act_malicious (malicious_action))
1314   {
1315     pm = GNUNET_malloc (sizeof (struct PendingMessage) +
1316                       sizeof (struct GNUNET_DHT_ClientActMaliciousConfirmationMessage));
1317     conf = (struct GNUNET_DHT_ClientActMaliciousConfirmationMessage *) &pm[1];
1318     conf->header.size = htons (sizeof (struct GNUNET_DHT_ClientActMaliciousConfirmationMessage));
1319     conf->header.type = htons (GNUNET_MESSAGE_TYPE_DHT_CLIENT_ACT_MALICIOUS_OK);
1320     pm->msg = &conf->header;
1321     add_pending_message (find_active_client (client), pm);
1322     GNUNET_SERVER_receive_done (client, GNUNET_OK);
1323   }
1324 }
1325 #endif
1326
1327
1328 /**
1329  * Functions with this signature are called whenever a client
1330  * is disconnected on the network level.
1331  *
1332  * @param cls closure (NULL for dht)
1333  * @param client identification of the client; NULL
1334  *        for the last call when the server is destroyed
1335  */
1336 static void
1337 handle_client_disconnect (void *cls,
1338                           struct GNUNET_SERVER_Client *client)
1339 {
1340   struct ClientList *pos;
1341   struct PendingMessage *reply;
1342   struct ClientMonitorRecord *monitor;
1343
1344   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1345               "Local client %p disconnects\n",
1346               client);
1347   pos = find_active_client (client);
1348   GNUNET_CONTAINER_DLL_remove (client_head, client_tail, pos);
1349   if (pos->transmit_handle != NULL)
1350     GNUNET_SERVER_notify_transmit_ready_cancel (pos->transmit_handle);
1351   while (NULL != (reply = pos->pending_head))
1352   {
1353     GNUNET_CONTAINER_DLL_remove (pos->pending_head, pos->pending_tail, reply);
1354     GNUNET_free (reply);
1355   }
1356   monitor = monitor_head;
1357   while (NULL != monitor)
1358   {
1359     if (monitor->client == pos)
1360     {
1361       struct ClientMonitorRecord *next;
1362
1363       GNUNET_free_non_null (monitor->key);
1364       next = monitor->next;
1365       GNUNET_CONTAINER_DLL_remove (monitor_head, monitor_tail, monitor);
1366       GNUNET_free (monitor);
1367       monitor = next;
1368     }
1369     else
1370       monitor = monitor->next;
1371   }
1372   GNUNET_CONTAINER_multihashmap_iterate (forward_map, &remove_client_records,
1373                                          pos);
1374   GNUNET_free (pos);
1375 }
1376
1377
1378
1379 /**
1380  * Initialize client subsystem.
1381  *
1382  * @param server the initialized server
1383  */
1384 void
1385 GDS_CLIENTS_init (struct GNUNET_SERVER_Handle *server)
1386 {
1387   static struct GNUNET_SERVER_MessageHandler plugin_handlers[] = {
1388     {&handle_dht_local_put, NULL,
1389      GNUNET_MESSAGE_TYPE_DHT_CLIENT_PUT, 0},
1390     {&handle_dht_local_get, NULL,
1391      GNUNET_MESSAGE_TYPE_DHT_CLIENT_GET, 0},
1392     {&handle_dht_local_get_stop, NULL,
1393      GNUNET_MESSAGE_TYPE_DHT_CLIENT_GET_STOP,
1394      sizeof (struct GNUNET_DHT_ClientGetStopMessage)},
1395     {&handle_dht_local_monitor, NULL,
1396      GNUNET_MESSAGE_TYPE_DHT_MONITOR_START,
1397      sizeof (struct GNUNET_DHT_MonitorStartStopMessage)},
1398     {&handle_dht_local_monitor_stop, NULL,
1399      GNUNET_MESSAGE_TYPE_DHT_MONITOR_STOP,
1400      sizeof (struct GNUNET_DHT_MonitorStartStopMessage)},
1401     {&handle_dht_local_get_result_seen, NULL,
1402      GNUNET_MESSAGE_TYPE_DHT_CLIENT_GET_RESULTS_KNOWN, 0},
1403     #if ENABLE_MALICIOUS
1404     {&handle_dht_act_malicious, NULL,
1405      GNUNET_MESSAGE_TYPE_DHT_ACT_MALICIOUS,
1406      sizeof (struct GNUNET_DHT_ActMaliciousMessage)},
1407     #endif
1408     {NULL, NULL, 0, 0}
1409   };
1410   forward_map = GNUNET_CONTAINER_multihashmap_create (1024, GNUNET_NO);
1411   retry_heap = GNUNET_CONTAINER_heap_create (GNUNET_CONTAINER_HEAP_ORDER_MIN);
1412   GNUNET_SERVER_add_handlers (server, plugin_handlers);
1413   GNUNET_SERVER_disconnect_notify (server, &handle_client_disconnect, NULL);
1414 }
1415
1416
1417 /**
1418  * Shutdown client subsystem.
1419  */
1420 void
1421 GDS_CLIENTS_done ()
1422 {
1423   GNUNET_assert (client_head == NULL);
1424   GNUNET_assert (client_tail == NULL);
1425   if (NULL != retry_task)
1426   {
1427     GNUNET_SCHEDULER_cancel (retry_task);
1428     retry_task = NULL;
1429   }
1430   if (NULL != retry_heap)
1431   {
1432     GNUNET_assert (0 == GNUNET_CONTAINER_heap_get_size (retry_heap));
1433     GNUNET_CONTAINER_heap_destroy (retry_heap);
1434     retry_heap = NULL;
1435   }
1436   if (NULL != forward_map)
1437   {
1438     GNUNET_assert (0 == GNUNET_CONTAINER_multihashmap_size (forward_map));
1439     GNUNET_CONTAINER_multihashmap_destroy (forward_map);
1440     forward_map = NULL;
1441   }
1442 }
1443
1444 /* end of gnunet-service-dht_clients.c */