Get STUN to work with UDP plugin
[oweals/gnunet.git] / src / transport / plugin_transport_http_server.c
1 /*
2      This file is part of GNUnet
3      Copyright (C) 2002-2014 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
18      Boston, MA 02110-1301, USA.
19 */
20
21 /**
22  * @file transport/plugin_transport_http_server.c
23  * @brief HTTP/S server transport plugin
24  * @author Matthias Wachs
25  * @author David Barksdale
26  * @author Christian Grothoff
27  */
28 #include "platform.h"
29 #include "gnunet_util_lib.h"
30 #include "gnunet_statistics_service.h"
31 #include "gnunet_transport_plugin.h"
32 #include "gnunet_nat_lib.h"
33 #include "plugin_transport_http_common.h"
34 #include <microhttpd.h>
35 #include <regex.h>
36
37
38
39 #if BUILD_HTTPS
40 #define PLUGIN_NAME "https_server"
41 #define LIBGNUNET_PLUGIN_TRANSPORT_INIT libgnunet_plugin_transport_https_server_init
42 #define LIBGNUNET_PLUGIN_TRANSPORT_DONE libgnunet_plugin_transport_https_server_done
43 #else
44 #define PLUGIN_NAME "http_server"
45 #define LIBGNUNET_PLUGIN_TRANSPORT_INIT libgnunet_plugin_transport_http_server_init
46 #define LIBGNUNET_PLUGIN_TRANSPORT_DONE libgnunet_plugin_transport_http_server_done
47 #endif
48
49 #define HTTP_ERROR_RESPONSE "<!DOCTYPE HTML PUBLIC \"-//IETF//DTD HTML 2.0//EN\"><HTML><HEAD><TITLE>404 Not Found</TITLE></HEAD><BODY><H1>Not Found</H1>The requested URL was not found on this server.<P><HR><ADDRESS></ADDRESS></BODY></HTML>"
50 #define _RECEIVE 0
51 #define _SEND 1
52
53
54 #define LOG(kind,...) GNUNET_log_from (kind, "transport-" PLUGIN_NAME,__VA_ARGS__)
55
56
57 /**
58  * Information we keep with MHD for an HTTP request.
59  */
60 struct ServerRequest
61 {
62   /**
63    * The session this server request belongs to
64    * Can be NULL, when session was disconnected and freed
65    */
66   struct Session *session;
67
68   /**
69    * The MHD connection
70    */
71   struct MHD_Connection *mhd_conn;
72
73   /**
74    * The MHD daemon
75    */
76   struct MHD_Daemon *mhd_daemon;
77
78   /**
79    * Options requested by peer
80    */
81   uint32_t options;
82 #define OPTION_LONG_POLL 1 /* GET request wants long-poll semantics */
83
84   /**
85    * _RECV or _SEND
86    */
87   int direction;
88
89   /**
90    * For PUT requests: Is this the first or last callback with size 0
91    * For GET requests: Have we sent a message
92    */
93   int connected;
94
95 };
96
97
98 /**
99  * Wrapper to manage addresses
100  */
101 struct HttpAddressWrapper
102 {
103   /**
104    * Linked list next
105    */
106   struct HttpAddressWrapper *next;
107
108   /**
109    * Linked list previous
110    */
111   struct HttpAddressWrapper *prev;
112
113   /**
114    * An address we are using.
115    */
116   struct HttpAddress *address;
117
118   /**
119    * Length of the address.
120    */
121   size_t addrlen;
122 };
123
124
125 /**
126  *  Message to send using http
127  */
128 struct HTTP_Message
129 {
130   /**
131    * next pointer for double linked list
132    */
133   struct HTTP_Message *next;
134
135   /**
136    * previous pointer for double linked list
137    */
138   struct HTTP_Message *prev;
139
140   /**
141    * buffer containing data to send
142    */
143   char *buf;
144
145   /**
146    * amount of data already sent
147    */
148   size_t pos;
149
150   /**
151    * buffer length
152    */
153   size_t size;
154
155   /**
156    * HTTP/S specific overhead
157    */
158   size_t overhead;
159
160   /**
161    * Continuation function to call once the transmission buffer
162    * has again space available.  NULL if there is no
163    * continuation to call.
164    */
165   GNUNET_TRANSPORT_TransmitContinuation transmit_cont;
166
167   /**
168    * Closure for transmit_cont.
169    */
170   void *transmit_cont_cls;
171 };
172
173
174 /**
175  * Session handle for connections.
176  */
177 struct Session
178 {
179
180   /**
181    * To whom are we talking to (set to our identity
182    * if we are still waiting for the welcome message)
183    */
184   struct GNUNET_PeerIdentity target;
185
186   /**
187    * Pointer to the global plugin struct.
188    */
189   struct HTTP_Server_Plugin *plugin;
190
191   /**
192    * next pointer for double linked list
193    */
194   struct HTTP_Message *msg_head;
195
196   /**
197    * previous pointer for double linked list
198    */
199   struct HTTP_Message *msg_tail;
200
201   /**
202    * Message stream tokenizer for incoming data
203    */
204   struct GNUNET_SERVER_MessageStreamTokenizer *msg_tk;
205
206   /**
207    * Client recv handle
208    */
209   struct ServerRequest *server_recv;
210
211   /**
212    * Client send handle
213    */
214   struct ServerRequest *server_send;
215
216   /**
217    * Address
218    */
219   struct GNUNET_HELLO_Address *address;
220
221   /**
222    * Absolute time when to receive data again
223    * Used for receive throttling
224    */
225   struct GNUNET_TIME_Absolute next_receive;
226
227   /**
228    * Absolute time when this connection will time out.
229    */
230   struct GNUNET_TIME_Absolute timeout;
231
232   /**
233    * Session timeout task
234    */
235   struct GNUNET_SCHEDULER_Task * timeout_task;
236
237   /**
238    * Task to resume MHD handling when receiving is allowed again
239    */
240   struct GNUNET_SCHEDULER_Task * recv_wakeup_task;
241
242   /**
243    * Number of bytes waiting for transmission to this peer.
244    */
245   unsigned long long bytes_in_queue;
246
247   /**
248    * Number of messages waiting for transmission to this peer.
249    */
250   unsigned int msgs_in_queue;
251
252   /**
253    * Unique HTTP/S connection tag for this connection
254    */
255   uint32_t tag;
256
257   /**
258    * ATS network type.
259    */
260   enum GNUNET_ATS_Network_Type scope;
261
262   /**
263    * #GNUNET_YES if this session is known to the service.
264    */
265   int known_to_service;
266
267 };
268
269
270 /**
271  * Encapsulation of all of the state of the plugin.
272  */
273 struct HTTP_Server_Plugin
274 {
275   /**
276    * Our environment.
277    */
278   struct GNUNET_TRANSPORT_PluginEnvironment *env;
279
280   /**
281    * Hash map of open sessions.
282    */
283   struct GNUNET_CONTAINER_MultiPeerMap *sessions;
284
285   /**
286    * Function to call about session status changes.
287    */
288   GNUNET_TRANSPORT_SessionInfoCallback sic;
289
290   /**
291    * Closure for @e sic.
292    */
293   void *sic_cls;
294
295   /**
296    * Plugin name
297    */
298   char *name;
299
300   /**
301    * Protocol
302    */
303   char *protocol;
304
305   /**
306    * External address
307    */
308   char *external_hostname;
309
310   /**
311    * External hostname the plugin can be connected to, can be different to
312    * the host's FQDN, used e.g. for reverse proxying
313    */
314   struct GNUNET_HELLO_Address *ext_addr;
315
316   /**
317    * NAT handle & address management
318    */
319   struct GNUNET_NAT_Handle *nat;
320
321   /**
322    * IPv4 addresses DLL head
323    */
324   struct HttpAddressWrapper *addr_head;
325
326   /**
327    * IPv4 addresses DLL tail
328    */
329   struct HttpAddressWrapper *addr_tail;
330
331   /**
332    * IPv4 server socket to bind to
333    */
334   struct sockaddr_in *server_addr_v4;
335
336   /**
337    * IPv6 server socket to bind to
338    */
339   struct sockaddr_in6 *server_addr_v6;
340
341   /**
342    * MHD IPv4 daemon
343    */
344   struct MHD_Daemon *server_v4;
345
346   /**
347    * MHD IPv4 daemon
348    */
349   struct MHD_Daemon *server_v6;
350
351 #if BUILD_HTTPS
352   /**
353    * Crypto related
354    *
355    * Example:
356    *
357    * Use RC4-128 instead of AES:
358    * NONE:+VERS-TLS1.0:+ARCFOUR-128:+SHA1:+RSA:+COMP-NULL
359    *
360    */
361   char *crypto_init;
362
363   /**
364    * TLS key
365    */
366   char *key;
367
368   /**
369    * TLS certificate
370    */
371   char *cert;
372 #endif
373
374   /**
375    * MHD IPv4 task
376    */
377   struct GNUNET_SCHEDULER_Task * server_v4_task;
378
379   /**
380    * MHD IPv6 task
381    */
382   struct GNUNET_SCHEDULER_Task * server_v6_task;
383
384   /**
385    * Task calling transport service about external address
386    */
387   struct GNUNET_SCHEDULER_Task * notify_ext_task;
388
389   /**
390    * Notify transport only about external address
391    */
392   unsigned int external_only;
393
394   /**
395    * The IPv4 server is scheduled to run asap
396    */
397   int server_v4_immediately;
398
399   /**
400    * The IPv6 server is scheduled to run asap
401    */
402   int server_v6_immediately;
403
404   /**
405    * Verify external address
406    */
407   int verify_external_hostname;
408
409   /**
410    * Maximum number of sockets the plugin can use
411    * Each http request /request connections are two connections
412    */
413   unsigned int max_request;
414
415   /**
416    * Current number of sockets the plugin can use
417    * Each http connection are two requests
418    */
419   unsigned int cur_request;
420
421   /**
422    * Did we immediately end the session in disconnect_cb
423    */
424   int in_shutdown;
425
426   /**
427    * Length of peer id
428    */
429   int peer_id_length;
430
431   /**
432    * My options to be included in the address
433    */
434   uint32_t options;
435
436   /**
437    * use IPv6
438    */
439   uint16_t use_ipv6;
440
441   /**
442    * use IPv4
443    */
444   uint16_t use_ipv4;
445
446   /**
447    * Port used
448    */
449   uint16_t port;
450
451   /**
452    * Regex for parsing URLs. FIXME: this seems overkill.
453    */
454   regex_t url_regex;
455
456 };
457
458
459 /**
460  * If a session monitor is attached, notify it about the new
461  * session state.
462  *
463  * @param plugin our plugin
464  * @param session session that changed state
465  * @param state new state of the session
466  */
467 static void
468 notify_session_monitor (struct HTTP_Server_Plugin *plugin,
469                         struct Session *session,
470                         enum GNUNET_TRANSPORT_SessionState state)
471 {
472   struct GNUNET_TRANSPORT_SessionInfo info;
473
474   if (NULL == plugin->sic)
475     return;
476   memset (&info, 0, sizeof (info));
477   info.state = state;
478   info.is_inbound = GNUNET_YES;
479   info.num_msg_pending = session->msgs_in_queue;
480   info.num_bytes_pending = session->bytes_in_queue;
481   info.receive_delay = session->next_receive;
482   info.session_timeout = session->timeout;
483   info.address = session->address;
484   plugin->sic (plugin->sic_cls,
485                session,
486                &info);
487 }
488
489
490 /**
491  * Wake up an MHD connection which was suspended
492  *
493  * @param cls the session
494  * @param tc task context
495  */
496 static void
497 server_wake_up (void *cls,
498                 const struct GNUNET_SCHEDULER_TaskContext *tc)
499 {
500   struct Session *s = cls;
501
502   s->recv_wakeup_task = NULL;
503   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
504     return;
505   LOG (GNUNET_ERROR_TYPE_DEBUG,
506        "Session %p: Waking up PUT handle\n",
507        s);
508   MHD_resume_connection (s->server_recv->mhd_conn);
509 }
510
511
512 /**
513  * Reschedule the execution of both IPv4 and IPv6 server.
514  *
515  * @param plugin the plugin
516  * @param server which server to schedule v4 or v6?
517  * @param now #GNUNET_YES to schedule execution immediately, #GNUNET_NO to wait
518  * until timeout
519  */
520 static void
521 server_reschedule (struct HTTP_Server_Plugin *plugin,
522                    struct MHD_Daemon *server,
523                    int now);
524
525
526 /**
527  * Deletes the session.  Must not be used afterwards.
528  *
529  * @param s the session to delete
530  */
531 static void
532 server_delete_session (struct Session *s)
533 {
534   struct HTTP_Server_Plugin *plugin = s->plugin;
535   struct HTTP_Message *msg;
536
537   if (NULL != s->timeout_task)
538   {
539     GNUNET_SCHEDULER_cancel (s->timeout_task);
540     s->timeout_task = NULL;
541     s->timeout = GNUNET_TIME_UNIT_ZERO_ABS;
542   }
543   if (NULL != s->recv_wakeup_task)
544   {
545     GNUNET_SCHEDULER_cancel (s->recv_wakeup_task);
546     s->recv_wakeup_task = NULL;
547     if (NULL != s->server_recv)
548       MHD_resume_connection (s->server_recv->mhd_conn);
549   }
550   GNUNET_assert (GNUNET_OK ==
551                  GNUNET_CONTAINER_multipeermap_remove (plugin->sessions,
552                                                        &s->target,
553                                                        s));
554   while (NULL != (msg = s->msg_head))
555   {
556     GNUNET_CONTAINER_DLL_remove (s->msg_head,
557                                  s->msg_tail,
558                                  msg);
559     if (NULL != msg->transmit_cont)
560       msg->transmit_cont (msg->transmit_cont_cls,
561                           &s->target,
562                           GNUNET_SYSERR,
563                           msg->size,
564                           msg->pos + msg->overhead);
565     GNUNET_assert (s->msgs_in_queue > 0);
566     s->msgs_in_queue--;
567     GNUNET_assert (s->bytes_in_queue >= msg->size);
568     s->bytes_in_queue -= msg->size;
569     GNUNET_free (msg);
570   }
571
572   GNUNET_assert (0 == s->msgs_in_queue);
573   GNUNET_assert (0 == s->bytes_in_queue);
574
575   if (NULL != s->server_send)
576   {
577     LOG (GNUNET_ERROR_TYPE_DEBUG,
578          "Server: %p / %p Terminating inbound PUT session to peer `%s'\n",
579          s, s->server_send,
580          GNUNET_i2s (&s->target));
581     s->server_send->session = NULL;
582     MHD_set_connection_option (s->server_send->mhd_conn,
583                                MHD_CONNECTION_OPTION_TIMEOUT,
584                                1 /* 0 = no timeout, so this is MIN */);
585     server_reschedule (plugin, s->server_send->mhd_daemon, GNUNET_YES);
586   }
587
588   if (NULL != s->server_recv)
589   {
590     LOG (GNUNET_ERROR_TYPE_DEBUG,
591          "Server: %p / %p Terminating inbound GET session to peer `%s'\n",
592          s, s->server_recv, GNUNET_i2s (&s->target));
593     s->server_recv->session = NULL;
594     MHD_set_connection_option (s->server_recv->mhd_conn,
595                                MHD_CONNECTION_OPTION_TIMEOUT,
596                                1 /* 0 = no timeout, so this is MIN */);
597     server_reschedule (plugin, s->server_recv->mhd_daemon, GNUNET_YES);
598   }
599   notify_session_monitor (plugin,
600                           s,
601                           GNUNET_TRANSPORT_SS_DONE);
602   if (GNUNET_YES == s->known_to_service)
603   {
604     plugin->env->session_end (plugin->env->cls,
605                               s->address,
606                               s);
607     s->known_to_service = GNUNET_NO;
608   }
609   if (NULL != s->msg_tk)
610   {
611     GNUNET_SERVER_mst_destroy (s->msg_tk);
612     s->msg_tk = NULL;
613   }
614   GNUNET_HELLO_address_free (s->address);
615   LOG (GNUNET_ERROR_TYPE_DEBUG,
616        "Session %p destroyed\n",
617        s);
618
619   GNUNET_free (s);
620 }
621
622
623 /**
624  * Disconnect session @a s by telling MHD to close the
625  * connections (reducing timeout, etc.).
626  *
627  * @param cls closure with the `struct HTTP_Server_Plugin`
628  * @param s the session
629  * @return #GNUNET_OK on success
630  */
631 static int
632 http_server_plugin_disconnect_session (void *cls,
633                                        struct Session *s)
634 {
635   server_delete_session (s);
636   return GNUNET_OK;
637 }
638
639
640 /**
641  * Session was idle, so disconnect it
642  *
643  * @param cls the session
644  * @param tc task context
645  */
646 static void
647 server_session_timeout (void *cls,
648                         const struct GNUNET_SCHEDULER_TaskContext *tc)
649 {
650   struct Session *s = cls;
651   struct GNUNET_TIME_Relative left;
652
653   s->timeout_task = NULL;
654   left = GNUNET_TIME_absolute_get_remaining (s->timeout);
655   if (0 != left.rel_value_us)
656   {
657     /* not actually our turn yet, but let's at least update
658        the monitor, it may think we're about to die ... */
659     notify_session_monitor (s->plugin,
660                             s,
661                             GNUNET_TRANSPORT_SS_UP);
662     s->timeout_task = GNUNET_SCHEDULER_add_delayed (left,
663                                                     &server_session_timeout,
664                                                     s);
665     return;
666   }
667   GNUNET_log (TIMEOUT_LOG,
668               "Session %p was idle for %s, disconnecting\n",
669               s,
670               GNUNET_STRINGS_relative_time_to_string (HTTP_SERVER_SESSION_TIMEOUT,
671                                                       GNUNET_YES));
672   server_delete_session (s);
673 }
674
675
676 /**
677  * Increment session timeout due to activity session @a s
678  *
679  * @param s the session
680  */
681 static void
682 server_reschedule_session_timeout (struct Session *s)
683 {
684  GNUNET_assert (NULL != s->timeout_task);
685   s->timeout = GNUNET_TIME_relative_to_absolute (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
686 }
687
688
689 /**
690  * Function that can be used by the transport service to transmit
691  * a message using the plugin.   Note that in the case of a
692  * peer disconnecting, the continuation MUST be called
693  * prior to the disconnect notification itself.  This function
694  * will be called with this peer's HELLO message to initiate
695  * a fresh connection to another peer.
696  *
697  * @param cls closure
698  * @param session which session must be used
699  * @param msgbuf the message to transmit
700  * @param msgbuf_size number of bytes in @a msgbuf
701  * @param priority how important is the message (most plugins will
702  *                 ignore message priority and just FIFO)
703  * @param to how long to wait at most for the transmission (does not
704  *                require plugins to discard the message after the timeout,
705  *                just advisory for the desired delay; most plugins will ignore
706  *                this as well)
707  * @param cont continuation to call once the message has
708  *        been transmitted (or if the transport is ready
709  *        for the next transmission call; or if the
710  *        peer disconnected...); can be NULL
711  * @param cont_cls closure for @a cont
712  * @return number of bytes used (on the physical network, with overheads);
713  *         -1 on hard errors (i.e. address invalid); 0 is a legal value
714  *         and does NOT mean that the message was not transmitted (DV)
715  */
716 static ssize_t
717 http_server_plugin_send (void *cls,
718                          struct Session *session,
719                          const char *msgbuf,
720                          size_t msgbuf_size,
721                          unsigned int priority,
722                          struct GNUNET_TIME_Relative to,
723                          GNUNET_TRANSPORT_TransmitContinuation cont,
724                          void *cont_cls)
725 {
726   struct HTTP_Server_Plugin *plugin = cls;
727   struct HTTP_Message *msg;
728   ssize_t bytes_sent = 0;
729   char *stat_txt;
730
731   LOG (GNUNET_ERROR_TYPE_DEBUG,
732        "Session %p/request %p: Sending message with %u to peer `%s'\n",
733        session,
734        session->server_send,
735        msgbuf_size,
736        GNUNET_i2s (&session->target));
737
738   /* create new message and schedule */
739   bytes_sent = sizeof (struct HTTP_Message) + msgbuf_size;
740   msg = GNUNET_malloc (bytes_sent);
741   msg->next = NULL;
742   msg->size = msgbuf_size;
743   msg->pos = 0;
744   msg->buf = (char *) &msg[1];
745   msg->transmit_cont = cont;
746   msg->transmit_cont_cls = cont_cls;
747   memcpy (msg->buf,
748           msgbuf,
749           msgbuf_size);
750   GNUNET_CONTAINER_DLL_insert_tail (session->msg_head,
751                                     session->msg_tail,
752                                     msg);
753   session->msgs_in_queue++;
754   session->bytes_in_queue += msg->size;
755   notify_session_monitor (plugin,
756                           session,
757                           GNUNET_TRANSPORT_SS_UP);
758   GNUNET_asprintf (&stat_txt,
759                    "# bytes currently in %s_server buffers",
760                    plugin->protocol);
761   GNUNET_STATISTICS_update (plugin->env->stats,
762                             stat_txt, msgbuf_size, GNUNET_NO);
763   GNUNET_free (stat_txt);
764
765   if (NULL != session->server_send)
766     server_reschedule (session->plugin,
767                        session->server_send->mhd_daemon,
768                        GNUNET_YES);
769   return bytes_sent;
770 }
771
772
773 /**
774  * Terminate session during shutdown.
775  *
776  * @param cls the `struct HTTP_Server_Plugin *`
777  * @param peer for which this is a session
778  * @param value the `struct Session` to clean up
779  * @return #GNUNET_OK (continue to iterate)
780  */
781 static int
782 destroy_session_shutdown_cb (void *cls,
783                     const struct GNUNET_PeerIdentity *peer,
784                     void *value)
785 {
786   struct Session *s = value;
787   struct ServerRequest *sc_send;
788   struct ServerRequest *sc_recv;
789
790   sc_send = s->server_send;
791   sc_recv = s->server_recv;
792   server_delete_session (s);
793
794   GNUNET_free_non_null (sc_send);
795   GNUNET_free_non_null (sc_recv);
796
797   return GNUNET_OK;
798 }
799
800 /**
801  * Terminate session.
802  *
803  * @param cls the `struct HTTP_Server_Plugin *`
804  * @param peer for which this is a session
805  * @param value the `struct Session` to clean up
806  * @return #GNUNET_OK (continue to iterate)
807  */
808 static int
809 destroy_session_cb (void *cls,
810                     const struct GNUNET_PeerIdentity *peer,
811                     void *value)
812 {
813   struct Session *s = value;
814
815   server_delete_session (s);
816   return GNUNET_OK;
817 }
818
819 /**
820  * Function that can be used to force the plugin to disconnect
821  * from the given peer and cancel all previous transmissions
822  * (and their continuationc).
823  *
824  * @param cls closure
825  * @param target peer from which to disconnect
826  */
827 static void
828 http_server_plugin_disconnect_peer (void *cls,
829                                     const struct GNUNET_PeerIdentity *target)
830 {
831   struct HTTP_Server_Plugin *plugin = cls;
832
833   LOG (GNUNET_ERROR_TYPE_DEBUG,
834        "Transport tells me to disconnect `%s'\n",
835        GNUNET_i2s (target));
836   GNUNET_CONTAINER_multipeermap_get_multiple (plugin->sessions,
837                                               target,
838                                               &destroy_session_cb,
839                                               plugin);
840 }
841
842
843 /**
844  * Another peer has suggested an address for this
845  * peer and transport plugin.  Check that this could be a valid
846  * address.  If so, consider adding it to the list
847  * of addresses.
848  *
849  * @param cls closure
850  * @param addr pointer to the address
851  * @param addrlen length of @a addr
852  * @return #GNUNET_OK if this is a plausible address for this peer
853  *         and transport
854  */
855 static int
856 http_server_plugin_address_suggested (void *cls,
857                                       const void *addr,
858                                       size_t addrlen)
859 {
860   struct HTTP_Server_Plugin *plugin = cls;
861   struct HttpAddressWrapper *next;
862   struct HttpAddressWrapper *pos;
863   const struct HttpAddress *haddr = addr;
864
865   if ((NULL != plugin->ext_addr) &&
866       GNUNET_YES == (http_common_cmp_addresses (addr, addrlen,
867                                                 plugin->ext_addr->address,
868                                                 plugin->ext_addr->address_length)))
869   {
870     /* Checking HTTP_OPTIONS_VERIFY_CERTIFICATE option for external hostname */
871     if ((ntohl (haddr->options) & HTTP_OPTIONS_VERIFY_CERTIFICATE) !=
872         (plugin->options & HTTP_OPTIONS_VERIFY_CERTIFICATE))
873       return GNUNET_NO; /* VERIFY option not set as required! */
874     return GNUNET_OK;
875   }
876   next  = plugin->addr_head;
877   while (NULL != (pos = next))
878   {
879     next = pos->next;
880     if (GNUNET_YES == (http_common_cmp_addresses(addr,
881                                                  addrlen,
882                                                  pos->address,
883                                                  pos->addrlen)))
884       return GNUNET_OK;
885   }
886   return GNUNET_NO;
887 }
888
889
890 /**
891  * Creates a new outbound session the transport
892  * service will use to send data to the peer.
893  *
894  * Since HTTP/S server cannot create sessions, always returns NULL.
895  *
896  * @param cls the plugin
897  * @param address the address
898  * @return always NULL
899  */
900 static struct Session *
901 http_server_plugin_get_session (void *cls,
902                                 const struct GNUNET_HELLO_Address *address)
903 {
904   return NULL;
905 }
906
907
908 /**
909  * Call MHD IPv4 to process pending requests and then go back
910  * and schedule the next run.
911  *
912  * @param cls plugin as closure
913  * @param tc task context
914  */
915 static void
916 server_v4_run (void *cls,
917                const struct GNUNET_SCHEDULER_TaskContext *tc)
918 {
919   struct HTTP_Server_Plugin *plugin = cls;
920
921   plugin->server_v4_task = NULL;
922   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
923     return;
924   plugin->server_v4_immediately = GNUNET_NO;
925   GNUNET_assert (MHD_YES == MHD_run (plugin->server_v4));
926   server_reschedule (plugin, plugin->server_v4, GNUNET_NO);
927 }
928
929
930 /**
931  * Call MHD IPv6 to process pending requests and then go back
932  * and schedule the next run.
933  *
934  * @param cls plugin as closure
935  * @param tc task context
936  */
937 static void
938 server_v6_run (void *cls,
939                const struct GNUNET_SCHEDULER_TaskContext *tc)
940 {
941   struct HTTP_Server_Plugin *plugin = cls;
942
943   plugin->server_v6_task = NULL;
944   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
945     return;
946   plugin->server_v6_immediately = GNUNET_NO;
947   GNUNET_assert (MHD_YES == MHD_run (plugin->server_v6));
948   server_reschedule (plugin, plugin->server_v6, GNUNET_NO);
949 }
950
951
952 /**
953  * Function that queries MHD's select sets and
954  * starts the task waiting for them.
955  *
956  * @param plugin plugin
957  * @param daemon_handle the MHD daemon handle
958  * @param now schedule now
959  * @return gnunet task identifier
960  */
961 static struct GNUNET_SCHEDULER_Task *
962 server_schedule (struct HTTP_Server_Plugin *plugin,
963                  struct MHD_Daemon *daemon_handle,
964                  int now)
965 {
966   struct GNUNET_SCHEDULER_Task * ret;
967   fd_set rs;
968   fd_set ws;
969   fd_set es;
970   struct GNUNET_NETWORK_FDSet *wrs;
971   struct GNUNET_NETWORK_FDSet *wws;
972   int max;
973   MHD_UNSIGNED_LONG_LONG timeout;
974   static unsigned long long last_timeout = 0;
975   int haveto;
976   struct GNUNET_TIME_Relative tv;
977
978   if (GNUNET_YES == plugin->in_shutdown)
979     return NULL;
980
981   ret = NULL;
982   FD_ZERO (&rs);
983   FD_ZERO (&ws);
984   FD_ZERO (&es);
985   wrs = GNUNET_NETWORK_fdset_create ();
986   wws = GNUNET_NETWORK_fdset_create ();
987   max = -1;
988   GNUNET_assert (MHD_YES ==
989                  MHD_get_fdset (daemon_handle,
990                                 &rs,
991                                 &ws,
992                                 &es,
993                                 &max));
994   haveto = MHD_get_timeout (daemon_handle, &timeout);
995   if (haveto == MHD_YES)
996   {
997     if (timeout != last_timeout)
998     {
999       LOG (GNUNET_ERROR_TYPE_DEBUG,
1000            "SELECT Timeout changed from %llu to %llu (ms)\n",
1001            last_timeout, timeout);
1002       last_timeout = timeout;
1003     }
1004     if (timeout <= GNUNET_TIME_UNIT_SECONDS.rel_value_us / 1000LL)
1005       tv.rel_value_us = (uint64_t) timeout * 1000LL;
1006     else
1007       tv = GNUNET_TIME_UNIT_SECONDS;
1008   }
1009   else
1010     tv = GNUNET_TIME_UNIT_SECONDS;
1011   /* Force immediate run, since we have outbound data to send */
1012   if (now == GNUNET_YES)
1013     tv = GNUNET_TIME_UNIT_MILLISECONDS;
1014   GNUNET_NETWORK_fdset_copy_native (wrs, &rs, max + 1);
1015   GNUNET_NETWORK_fdset_copy_native (wws, &ws, max + 1);
1016
1017   if (daemon_handle == plugin->server_v4)
1018   {
1019     if (plugin->server_v4_task != NULL)
1020     {
1021       GNUNET_SCHEDULER_cancel (plugin->server_v4_task);
1022       plugin->server_v4_task = NULL;
1023     }
1024 #if 0
1025     LOG (GNUNET_ERROR_TYPE_DEBUG,
1026          "Scheduling IPv4 server task in %llu ms\n",
1027          tv);
1028 #endif
1029     ret =
1030         GNUNET_SCHEDULER_add_select (GNUNET_SCHEDULER_PRIORITY_DEFAULT,
1031                                      tv, wrs, wws,
1032                                      &server_v4_run, plugin);
1033   }
1034   if (daemon_handle == plugin->server_v6)
1035   {
1036     if (plugin->server_v6_task != NULL)
1037     {
1038       GNUNET_SCHEDULER_cancel (plugin->server_v6_task);
1039       plugin->server_v6_task = NULL;
1040     }
1041 #if 0
1042     LOG (GNUNET_ERROR_TYPE_DEBUG,
1043          "Scheduling IPv6 server task in %llu ms\n", tv);
1044 #endif
1045     ret =
1046         GNUNET_SCHEDULER_add_select (GNUNET_SCHEDULER_PRIORITY_DEFAULT,
1047                                      tv, wrs, wws,
1048                                      &server_v6_run, plugin);
1049   }
1050   GNUNET_NETWORK_fdset_destroy (wrs);
1051   GNUNET_NETWORK_fdset_destroy (wws);
1052   return ret;
1053 }
1054
1055
1056 /**
1057  * Reschedule the execution of both IPv4 and IPv6 server
1058  *
1059  * @param plugin the plugin
1060  * @param server which server to schedule v4 or v6?
1061  * @param now #GNUNET_YES to schedule execution immediately, #GNUNET_NO to wait
1062  * until timeout
1063  */
1064 static void
1065 server_reschedule (struct HTTP_Server_Plugin *plugin,
1066                    struct MHD_Daemon *server,
1067                    int now)
1068 {
1069   if ((server == plugin->server_v4) && (plugin->server_v4 != NULL))
1070   {
1071     if (GNUNET_YES == plugin->server_v4_immediately)
1072       return; /* No rescheduling, server will run asap */
1073
1074     if (GNUNET_YES == now)
1075       plugin->server_v4_immediately = GNUNET_YES;
1076
1077     if (plugin->server_v4_task != NULL)
1078     {
1079       GNUNET_SCHEDULER_cancel (plugin->server_v4_task);
1080       plugin->server_v4_task = NULL;
1081     }
1082     plugin->server_v4_task = server_schedule (plugin, plugin->server_v4, now);
1083   }
1084
1085   if ((server == plugin->server_v6) && (plugin->server_v6 != NULL))
1086   {
1087     if (GNUNET_YES == plugin->server_v6_immediately)
1088       return; /* No rescheduling, server will run asap */
1089
1090     if (GNUNET_YES == now)
1091       plugin->server_v6_immediately = GNUNET_YES;
1092
1093     if (plugin->server_v6_task != NULL)
1094     {
1095       GNUNET_SCHEDULER_cancel (plugin->server_v6_task);
1096       plugin->server_v6_task = NULL;
1097     }
1098     plugin->server_v6_task = server_schedule (plugin, plugin->server_v6, now);
1099   }
1100 }
1101
1102
1103 /**
1104  * Function that is called to get the keepalive factor.
1105  * GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT is divided by this number to
1106  * calculate the interval between keepalive packets.
1107  *
1108  * @param cls closure with the `struct HTTP_Server_Plugin`
1109  * @return keepalive factor
1110  */
1111 static unsigned int
1112 http_server_query_keepalive_factor (void *cls)
1113 {
1114   return 3;
1115 }
1116
1117
1118 /**
1119  * Function that will be called whenever the transport service wants to
1120  * notify the plugin that a session is still active and in use and
1121  * therefore the session timeout for this session has to be updated
1122  *
1123  * @param cls closure
1124  * @param peer which peer was the session for
1125  * @param session which session is being updated
1126  */
1127 static void
1128 http_server_plugin_update_session_timeout (void *cls,
1129                                            const struct GNUNET_PeerIdentity *peer,
1130                                            struct Session *session)
1131 {
1132   server_reschedule_session_timeout (session);
1133 }
1134
1135
1136 /**
1137  * Tell MHD that the connection should timeout after @a to seconds.
1138  *
1139  * @param plugin our plugin
1140  * @param s session for which the timeout changes
1141  * @param to timeout in seconds
1142  */
1143 static void
1144 server_mhd_connection_timeout (struct HTTP_Server_Plugin *plugin,
1145                                struct Session *s,
1146                                unsigned int to)
1147 {
1148   /* Setting timeouts for other connections */
1149   if (NULL != s->server_recv)
1150   {
1151     LOG (GNUNET_ERROR_TYPE_DEBUG,
1152          "Setting timeout for %p to %u sec.\n",
1153          s->server_recv, to);
1154     MHD_set_connection_option (s->server_recv->mhd_conn,
1155                                MHD_CONNECTION_OPTION_TIMEOUT,
1156                                to);
1157     server_reschedule (plugin, s->server_recv->mhd_daemon, GNUNET_NO);
1158   }
1159   if (NULL != s->server_send)
1160   {
1161     LOG (GNUNET_ERROR_TYPE_DEBUG,
1162          "Setting timeout for %p to %u sec.\n",
1163          s->server_send, to);
1164     MHD_set_connection_option (s->server_send->mhd_conn,
1165                                MHD_CONNECTION_OPTION_TIMEOUT,
1166                                to);
1167     server_reschedule (plugin, s->server_send->mhd_daemon, GNUNET_NO);
1168   }
1169 }
1170
1171
1172 /**
1173  * Parse incoming URL for tag and target
1174  *
1175  * @param plugin plugin
1176  * @param url incoming url
1177  * @param target where to store the target
1178  * @param tag where to store the tag
1179  * @param options where to store the options
1180  * @return #GNUNET_OK on success, #GNUNET_SYSERR on error
1181  */
1182 static int
1183 server_parse_url (struct HTTP_Server_Plugin *plugin,
1184                   const char *url,
1185                   struct GNUNET_PeerIdentity *target,
1186                   uint32_t *tag,
1187                   uint32_t *options)
1188 {
1189   regmatch_t matches[4];
1190   const char *tag_start;
1191   const char *target_start;
1192   char *tag_end;
1193   char *options_end;
1194   size_t hash_length;
1195   unsigned long int rc;
1196
1197   /* URL parsing */
1198 #define URL_REGEX \
1199   ("^.*/([0-9A-Z]+);([0-9]+)(,[0-9]+)?$")
1200
1201   if (NULL == url)
1202   {
1203     GNUNET_break (0);
1204     return GNUNET_SYSERR;
1205   }
1206
1207   if (regexec(&plugin->url_regex, url, 4, matches, 0))
1208   {
1209     LOG (GNUNET_ERROR_TYPE_DEBUG,
1210          "URL `%s' did not match regex\n", url);
1211     return GNUNET_SYSERR;
1212   }
1213
1214   target_start = &url[matches[1].rm_so];
1215   tag_start = &url[matches[2].rm_so];
1216
1217   /* convert tag */
1218   rc = strtoul (tag_start, &tag_end, 10);
1219   if (&url[matches[2].rm_eo] != tag_end)
1220   {
1221     LOG (GNUNET_ERROR_TYPE_DEBUG,
1222          "URL tag did not line up with submatch\n");
1223     return GNUNET_SYSERR;
1224   }
1225   if (rc == 0)
1226   {
1227     LOG (GNUNET_ERROR_TYPE_DEBUG,
1228          "URL tag is zero\n");
1229     return GNUNET_SYSERR;
1230   }
1231   if ((rc == ULONG_MAX) && (ERANGE == errno))
1232   {
1233     LOG (GNUNET_ERROR_TYPE_DEBUG,
1234          "URL tag > ULONG_MAX\n");
1235     return GNUNET_SYSERR;
1236   }
1237   if (rc > UINT32_MAX)
1238   {
1239     LOG (GNUNET_ERROR_TYPE_DEBUG,
1240          "URL tag > UINT32_MAX\n");
1241     return GNUNET_SYSERR;
1242   }
1243   (*tag) = (uint32_t)rc;
1244   LOG (GNUNET_ERROR_TYPE_DEBUG,
1245        "Found tag `%u' in url\n",
1246        *tag);
1247
1248   /* convert peer id */
1249   hash_length = matches[1].rm_eo - matches[1].rm_so;
1250   if (hash_length != plugin->peer_id_length)
1251   {
1252     LOG (GNUNET_ERROR_TYPE_DEBUG,
1253          "URL target is %u bytes, expecting %u\n",
1254          hash_length, plugin->peer_id_length);
1255     return GNUNET_SYSERR;
1256   }
1257   if (GNUNET_OK !=
1258       GNUNET_CRYPTO_eddsa_public_key_from_string (target_start,
1259                                                      hash_length,
1260                                                      &target->public_key))
1261   {
1262     LOG (GNUNET_ERROR_TYPE_DEBUG,
1263          "URL target conversion failed\n");
1264     return GNUNET_SYSERR;
1265   }
1266   LOG (GNUNET_ERROR_TYPE_DEBUG,
1267        "Found target `%s' in URL\n",
1268        GNUNET_i2s_full (target));
1269
1270   /* convert options */
1271   if (-1 == matches[3].rm_so)
1272   {
1273     *options = 0;
1274   }
1275   else
1276   {
1277     rc = strtoul (&url[matches[3].rm_so + 1], &options_end, 10);
1278     if (&url[matches[3].rm_eo] != options_end)
1279     {
1280       LOG (GNUNET_ERROR_TYPE_DEBUG,
1281            "URL options did not line up with submatch\n");
1282       return GNUNET_SYSERR;
1283     }
1284     if ((rc == ULONG_MAX) && (ERANGE == errno))
1285     {
1286       LOG (GNUNET_ERROR_TYPE_DEBUG,
1287            "URL options > ULONG_MAX\n");
1288       return GNUNET_SYSERR;
1289     }
1290     if (rc > UINT32_MAX)
1291     {
1292       LOG (GNUNET_ERROR_TYPE_DEBUG,
1293            "URL options > UINT32_MAX\n");
1294       return GNUNET_SYSERR;
1295     }
1296     (*options) = (uint32_t) rc;
1297     LOG (GNUNET_ERROR_TYPE_DEBUG,
1298          "Found options `%u' in url\n",
1299          *options);
1300   }
1301   return GNUNET_OK;
1302 }
1303
1304
1305 /**
1306  * Closure for #session_tag_it().
1307  */
1308 struct SessionTagContext
1309 {
1310   /**
1311    * Set to session matching the tag.
1312    */
1313   struct Session *res;
1314
1315   /**
1316    * Tag we are looking for.
1317    */
1318   uint32_t tag;
1319 };
1320
1321
1322 /**
1323  * Find a session with a matching tag.
1324  *
1325  * @param cls the `struct SessionTagContext *`
1326  * @param key peer identity (unused)
1327  * @param value the `struct Session *`
1328  * @return #GNUNET_NO if we found the session, #GNUNET_OK if not
1329  */
1330 static int
1331 session_tag_it (void *cls,
1332                 const struct GNUNET_PeerIdentity *key,
1333                 void *value)
1334 {
1335   struct SessionTagContext *stc = cls;
1336   struct Session *s = value;
1337
1338   if (s->tag == stc->tag)
1339   {
1340     stc->res = s;
1341     return GNUNET_NO;
1342   }
1343   return GNUNET_YES;
1344 }
1345
1346
1347 /**
1348  * Lookup a mhd connection and create one if none is found
1349  *
1350  * @param plugin the plugin handle
1351  * @param mhd_connection the incoming mhd_connection
1352  * @param url incoming requested URL
1353  * @param method PUT or GET
1354  * @return the server connecetion
1355  */
1356 static struct ServerRequest *
1357 server_lookup_connection (struct HTTP_Server_Plugin *plugin,
1358                           struct MHD_Connection *mhd_connection,
1359                           const char *url,
1360                           const char *method)
1361 {
1362   struct Session *s = NULL;
1363   struct ServerRequest *sc = NULL;
1364   const union MHD_ConnectionInfo *conn_info;
1365   struct HttpAddress *addr;
1366   struct GNUNET_PeerIdentity target;
1367   size_t addr_len;
1368   struct SessionTagContext stc;
1369   uint32_t options;
1370   int direction = GNUNET_SYSERR;
1371   unsigned int to;
1372   enum GNUNET_ATS_Network_Type scope;
1373
1374   conn_info = MHD_get_connection_info (mhd_connection,
1375                                        MHD_CONNECTION_INFO_CLIENT_ADDRESS);
1376   if ((conn_info->client_addr->sa_family != AF_INET) &&
1377       (conn_info->client_addr->sa_family != AF_INET6))
1378     return NULL;
1379   LOG (GNUNET_ERROR_TYPE_DEBUG,
1380        "New %s request from %s\n",
1381        method,
1382        url);
1383   stc.tag = 0;
1384   options = 0; /* make gcc happy */
1385   if (GNUNET_SYSERR ==
1386       server_parse_url (plugin, url, &target, &stc.tag, &options))
1387   {
1388     LOG (GNUNET_ERROR_TYPE_DEBUG,
1389          "Invalid url %s\n", url);
1390     return NULL;
1391   }
1392   if (0 == strcmp (MHD_HTTP_METHOD_PUT, method))
1393     direction = _RECEIVE;
1394   else if (0 == strcmp (MHD_HTTP_METHOD_GET, method))
1395     direction = _SEND;
1396   else
1397   {
1398     LOG (GNUNET_ERROR_TYPE_DEBUG,
1399          "Invalid method %s for request from %s\n",
1400          method, url);
1401     return NULL;
1402   }
1403
1404   plugin->cur_request++;
1405   LOG (GNUNET_ERROR_TYPE_DEBUG,
1406        "New %s request from %s with tag %u (%u of %u)\n",
1407        method,
1408        GNUNET_i2s (&target),
1409        stc.tag,
1410        plugin->cur_request, plugin->max_request);
1411   /* find existing session */
1412   stc.res = NULL;
1413   GNUNET_CONTAINER_multipeermap_get_multiple (plugin->sessions,
1414                                               &target,
1415                                               &session_tag_it,
1416                                               &stc);
1417   if (NULL == (s = stc.res))
1418   {
1419     /* create new session */
1420     addr = NULL;
1421     switch (conn_info->client_addr->sa_family)
1422     {
1423     case (AF_INET):
1424       addr = http_common_address_from_socket (plugin->protocol,
1425                                               conn_info->client_addr,
1426                                               sizeof (struct sockaddr_in));
1427       addr_len = http_common_address_get_size (addr);
1428       scope = plugin->env->get_address_type (plugin->env->cls,
1429                                              conn_info->client_addr,
1430                                              sizeof (struct sockaddr_in));
1431       break;
1432     case (AF_INET6):
1433       addr = http_common_address_from_socket (plugin->protocol,
1434                                               conn_info->client_addr,
1435                                               sizeof (struct sockaddr_in6));
1436       addr_len = http_common_address_get_size (addr);
1437       scope = plugin->env->get_address_type (plugin->env->cls,
1438                                              conn_info->client_addr,
1439                                              sizeof (struct sockaddr_in6));
1440       break;
1441     default:
1442       /* external host name */
1443       return NULL;
1444     }
1445     s = GNUNET_new (struct Session);
1446     s->target = target;
1447     s->plugin = plugin;
1448     s->scope = scope;
1449     s->address = GNUNET_HELLO_address_allocate (&s->target,
1450                                                 PLUGIN_NAME,
1451                                                 addr,
1452                                                 addr_len,
1453                                                 GNUNET_HELLO_ADDRESS_INFO_INBOUND);
1454     s->next_receive = GNUNET_TIME_UNIT_ZERO_ABS;
1455     s->tag = stc.tag;
1456     s->timeout = GNUNET_TIME_relative_to_absolute (HTTP_SERVER_SESSION_TIMEOUT);
1457     s->timeout_task = GNUNET_SCHEDULER_add_delayed (HTTP_SERVER_SESSION_TIMEOUT,
1458                                                     &server_session_timeout,
1459                                                     s);
1460     (void) GNUNET_CONTAINER_multipeermap_put (plugin->sessions,
1461                                               &s->target,
1462                                               s,
1463                                               GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
1464     notify_session_monitor (plugin,
1465                             s,
1466                             GNUNET_TRANSPORT_SS_INIT);
1467     notify_session_monitor (plugin,
1468                             s,
1469                             GNUNET_TRANSPORT_SS_HANDSHAKE);
1470     LOG (GNUNET_ERROR_TYPE_DEBUG,
1471          "Creating new session %p for peer `%s' connecting from `%s'\n",
1472          s, GNUNET_i2s (&target),
1473          http_common_plugin_address_to_string (plugin->protocol,
1474                                                addr,
1475                                                addr_len));
1476     GNUNET_free_non_null (addr);
1477   }
1478
1479   if ( (_RECEIVE == direction) &&
1480        (NULL != s->server_recv) )
1481   {
1482     LOG (GNUNET_ERROR_TYPE_DEBUG,
1483          "Duplicate PUT request from `%s' tag %u, dismissing new request\n",
1484          GNUNET_i2s (&target),
1485          stc.tag);
1486     return NULL;
1487   }
1488   if ((_SEND == direction) && (NULL != s->server_send))
1489   {
1490     LOG (GNUNET_ERROR_TYPE_DEBUG,
1491          "Duplicate GET request from `%s' tag %u, dismissing new request\n",
1492          GNUNET_i2s (&target),
1493          stc.tag);
1494     return NULL;
1495   }
1496   sc = GNUNET_new (struct ServerRequest);
1497   if (conn_info->client_addr->sa_family == AF_INET)
1498     sc->mhd_daemon = plugin->server_v4;
1499   if (conn_info->client_addr->sa_family == AF_INET6)
1500     sc->mhd_daemon = plugin->server_v6;
1501   sc->mhd_conn = mhd_connection;
1502   sc->direction = direction;
1503   sc->connected = GNUNET_NO;
1504   sc->session = s;
1505   sc->options = options;
1506   if (direction == _SEND)
1507   {
1508     s->server_send = sc;
1509   }
1510   if (direction == _RECEIVE)
1511   {
1512     s->server_recv = sc;
1513   }
1514
1515   if ((GNUNET_NO == s->known_to_service) &&
1516       (NULL != s->server_send) &&
1517       (NULL != s->server_recv) )
1518   {
1519     s->known_to_service = GNUNET_YES;
1520     notify_session_monitor (plugin,
1521                             s,
1522                             GNUNET_TRANSPORT_SS_UP);
1523     plugin->env->session_start (plugin->env->cls,
1524                                 s->address,
1525                                 s,
1526                                 s->scope);
1527   }
1528
1529   to = (HTTP_SERVER_SESSION_TIMEOUT.rel_value_us / 1000LL / 1000LL);
1530   server_mhd_connection_timeout (plugin, s, to);
1531   return sc;
1532 }
1533
1534
1535 /**
1536  * Callback called by MHD when it needs data to send
1537  *
1538  * @param cls current session
1539  * @param pos position in buffer
1540  * @param buf the buffer to write data to
1541  * @param max max number of bytes available in @a buf
1542  * @return bytes written to @a buf
1543  */
1544 static ssize_t
1545 server_send_callback (void *cls,
1546                       uint64_t pos,
1547                       char *buf,
1548                       size_t max)
1549 {
1550   struct ServerRequest *sc = cls;
1551   struct Session *s = sc->session;
1552   ssize_t bytes_read = 0;
1553   struct HTTP_Message *msg;
1554   char *stat_txt;
1555
1556   if (NULL == s)
1557   {
1558     /* session is disconnecting */
1559     return 0;
1560   }
1561
1562   sc = s->server_send;
1563   if (NULL == sc)
1564     return 0;
1565   msg = s->msg_head;
1566   if (NULL != msg)
1567   {
1568     /* sending */
1569     bytes_read = GNUNET_MIN (msg->size - msg->pos,
1570                              max);
1571     memcpy (buf, &msg->buf[msg->pos], bytes_read);
1572     msg->pos += bytes_read;
1573
1574     /* removing message */
1575     if (msg->pos == msg->size)
1576     {
1577       GNUNET_CONTAINER_DLL_remove (s->msg_head,
1578                                    s->msg_tail,
1579                                    msg);
1580       if (NULL != msg->transmit_cont)
1581         msg->transmit_cont (msg->transmit_cont_cls, &s->target, GNUNET_OK,
1582                             msg->size, msg->size + msg->overhead);
1583       GNUNET_assert (s->msgs_in_queue > 0);
1584       s->msgs_in_queue--;
1585       GNUNET_assert (s->bytes_in_queue >= msg->size);
1586       s->bytes_in_queue -= msg->size;
1587       GNUNET_free (msg);
1588       notify_session_monitor (s->plugin,
1589                               s,
1590                               GNUNET_TRANSPORT_SS_UPDATE);
1591     }
1592   }
1593   if (0 < bytes_read)
1594   {
1595     sc->connected = GNUNET_YES;
1596     LOG (GNUNET_ERROR_TYPE_DEBUG,
1597          "Sent %u bytes to peer `%s' with session %p \n",
1598          bytes_read,
1599          GNUNET_i2s (&s->target),
1600          s);
1601     GNUNET_asprintf (&stat_txt,
1602                      "# bytes currently in %s_server buffers",
1603                      s->plugin->protocol);
1604     GNUNET_STATISTICS_update (s->plugin->env->stats,
1605                               stat_txt,
1606                               - bytes_read,
1607                               GNUNET_NO);
1608     GNUNET_free (stat_txt);
1609     GNUNET_asprintf (&stat_txt,
1610                      "# bytes transmitted via %s_server",
1611                      s->plugin->protocol);
1612     GNUNET_STATISTICS_update (s->plugin->env->stats,
1613                               stat_txt, bytes_read, GNUNET_NO);
1614     GNUNET_free (stat_txt);
1615   }
1616   else if ((sc->options & OPTION_LONG_POLL) && sc->connected)
1617   {
1618     LOG (GNUNET_ERROR_TYPE_DEBUG,
1619          "Completing GET response to peer `%s' with session %p\n",
1620          GNUNET_i2s (&s->target),
1621          s);
1622     return MHD_CONTENT_READER_END_OF_STREAM;
1623   }
1624   return bytes_read;
1625 }
1626
1627
1628 /**
1629  * Callback called by MessageStreamTokenizer when a message has arrived
1630  *
1631  * @param cls current session as closure
1632  * @param client client
1633  * @param message the message to be forwarded to transport service
1634  * @return #GNUNET_OK
1635  */
1636 static int
1637 server_receive_mst_cb (void *cls,
1638                        void *client,
1639                        const struct GNUNET_MessageHeader *message)
1640 {
1641   struct Session *s = cls;
1642   struct HTTP_Server_Plugin *plugin = s->plugin;
1643   struct GNUNET_TIME_Relative delay;
1644   char *stat_txt;
1645
1646   if (GNUNET_NO == s->known_to_service)
1647   {
1648     s->known_to_service = GNUNET_YES;
1649     plugin->env->session_start (plugin->env->cls,
1650                                 s->address,
1651                                 s,
1652                                 s->scope);
1653     notify_session_monitor (plugin,
1654                             s,
1655                             GNUNET_TRANSPORT_SS_UP);
1656   }
1657   delay = plugin->env->receive (plugin->env->cls,
1658                                 s->address,
1659                                 s,
1660                                 message);
1661   GNUNET_asprintf (&stat_txt,
1662                    "# bytes received via %s_server",
1663                    plugin->protocol);
1664   GNUNET_STATISTICS_update (plugin->env->stats,
1665                             stat_txt, ntohs (message->size), GNUNET_NO);
1666   GNUNET_free (stat_txt);
1667   s->next_receive = GNUNET_TIME_relative_to_absolute (delay);
1668   if (delay.rel_value_us > 0)
1669   {
1670     LOG (GNUNET_ERROR_TYPE_DEBUG,
1671          "Peer `%s' address `%s' next read delayed for %s\n",
1672          GNUNET_i2s (&s->target),
1673          http_common_plugin_address_to_string (plugin->protocol,
1674                                                s->address->address,
1675                                                s->address->address_length),
1676          GNUNET_STRINGS_relative_time_to_string (delay,
1677                                                  GNUNET_YES));
1678   }
1679   server_reschedule_session_timeout (s);
1680   return GNUNET_OK;
1681 }
1682
1683
1684 /**
1685  * Add headers to a request indicating that we allow Cross-Origin Resource
1686  * Sharing.
1687  *
1688  * @param response response object to modify
1689  */
1690 static void
1691 add_cors_headers(struct MHD_Response *response)
1692 {
1693   MHD_add_response_header (response,
1694                            "Access-Control-Allow-Origin",
1695                            "*");
1696   MHD_add_response_header (response,
1697                            "Access-Control-Allow-Methods",
1698                            "GET, PUT, OPTIONS");
1699   MHD_add_response_header (response,
1700                            "Access-Control-Max-Age",
1701                            "86400");
1702 }
1703
1704
1705 /**
1706  * MHD callback for a new incoming connection
1707  *
1708  * @param cls the plugin handle
1709  * @param mhd_connection the mhd connection
1710  * @param url the requested URL
1711  * @param method GET or PUT
1712  * @param version HTTP version
1713  * @param upload_data upload data
1714  * @param upload_data_size size of @a upload_data
1715  * @param httpSessionCache the session cache to remember the connection
1716  * @return MHD_YES if connection is accepted, MHD_NO on reject
1717  */
1718 static int
1719 server_access_cb (void *cls,
1720                   struct MHD_Connection *mhd_connection,
1721                   const char *url,
1722                   const char *method,
1723                   const char *version,
1724                   const char *upload_data,
1725                   size_t *upload_data_size,
1726                   void **httpSessionCache)
1727 {
1728   struct HTTP_Server_Plugin *plugin = cls;
1729   struct ServerRequest *sc = *httpSessionCache;
1730   struct Session *s;
1731   struct MHD_Response *response;
1732   int res = MHD_YES;
1733
1734   LOG (GNUNET_ERROR_TYPE_DEBUG,
1735        _("Access from connection %p (%u of %u) for `%s' `%s' url `%s' with upload data size %u\n"),
1736        sc,
1737        plugin->cur_request,
1738        plugin->max_request,
1739        method,
1740        version,
1741        url,
1742        (*upload_data_size));
1743   if (NULL == sc)
1744   {
1745     /* CORS pre-flight request */
1746     if (0 == strcmp (MHD_HTTP_METHOD_OPTIONS, method))
1747     {
1748       response = MHD_create_response_from_buffer (0, NULL,
1749           MHD_RESPMEM_PERSISTENT);
1750       add_cors_headers(response);
1751       res = MHD_queue_response (mhd_connection, MHD_HTTP_OK, response);
1752       MHD_destroy_response (response);
1753       return res;
1754     }
1755     /* new connection */
1756     sc = server_lookup_connection (plugin, mhd_connection, url, method);
1757     if (NULL != sc)
1758     {
1759       /* attach to new / existing session */
1760       (*httpSessionCache) = sc;
1761     }
1762     else
1763     {
1764       /* existing session already has matching connection, refuse */
1765       response = MHD_create_response_from_buffer (strlen (HTTP_ERROR_RESPONSE),
1766                                                   HTTP_ERROR_RESPONSE,
1767                                                   MHD_RESPMEM_PERSISTENT);
1768       MHD_add_response_header (response,
1769                                MHD_HTTP_HEADER_CONTENT_TYPE,
1770                                "text/html");
1771       add_cors_headers(response);
1772       res = MHD_queue_response (mhd_connection, MHD_HTTP_NOT_FOUND, response);
1773       MHD_destroy_response (response);
1774       return res;
1775     }
1776   }
1777   /* 'old' connection */
1778   if (NULL == (s = sc->session))
1779   {
1780     /* Session was already disconnected;
1781        sent HTTP/1.1: 200 OK as response */
1782     response = MHD_create_response_from_buffer (strlen ("Thank you!"),
1783                                                 "Thank you!",
1784                                                 MHD_RESPMEM_PERSISTENT);
1785     add_cors_headers(response);
1786     MHD_queue_response (mhd_connection, MHD_HTTP_OK, response);
1787     MHD_destroy_response (response);
1788     return MHD_YES;
1789   }
1790
1791   if (sc->direction == _SEND)
1792   {
1793     response = MHD_create_response_from_callback (MHD_SIZE_UNKNOWN, 32 * 1024,
1794         &server_send_callback, sc, NULL);
1795     add_cors_headers(response);
1796     MHD_queue_response (mhd_connection, MHD_HTTP_OK, response);
1797     MHD_destroy_response (response);
1798     return MHD_YES;
1799   }
1800   if (sc->direction == _RECEIVE)
1801   {
1802     if ((*upload_data_size == 0) && (sc->connected == GNUNET_NO))
1803     {
1804       /* (*upload_data_size == 0) first callback when header are passed */
1805       LOG (GNUNET_ERROR_TYPE_DEBUG,
1806            "Session %p / Connection %p: Peer `%s' PUT on address `%s' connected\n",
1807            s, sc,
1808            GNUNET_i2s (&s->target),
1809            http_common_plugin_address_to_string (plugin->protocol,
1810                                                  s->address->address,
1811                                                  s->address->address_length));
1812       sc->connected = GNUNET_YES;
1813       return MHD_YES;
1814     }
1815     else if ((*upload_data_size == 0) && (sc->connected == GNUNET_YES))
1816     {
1817       /* (*upload_data_size == 0) when upload is complete */
1818       LOG (GNUNET_ERROR_TYPE_DEBUG,
1819            "Session %p / Connection %p: Peer `%s' PUT on address `%s' finished upload\n",
1820            s, sc,
1821            GNUNET_i2s (&s->target),
1822            http_common_plugin_address_to_string (plugin->protocol,
1823                                                  s->address->address,
1824                                                  s->address->address_length));
1825       sc->connected = GNUNET_NO;
1826       /* Sent HTTP/1.1: 200 OK as PUT Response\ */
1827       response = MHD_create_response_from_buffer (strlen ("Thank you!"),
1828                                                   "Thank you!",
1829                                                   MHD_RESPMEM_PERSISTENT);
1830       add_cors_headers(response);
1831       MHD_queue_response (mhd_connection, MHD_HTTP_OK, response);
1832       MHD_destroy_response (response);
1833       return MHD_YES;
1834     }
1835     else if ((*upload_data_size > 0) && (sc->connected == GNUNET_YES))
1836     {
1837       struct GNUNET_TIME_Relative delay;
1838
1839       /* (*upload_data_size > 0) for every segment received */
1840       LOG (GNUNET_ERROR_TYPE_DEBUG,
1841            "Session %p / Connection %p: Peer `%s' PUT on address `%s' received %u bytes\n",
1842            s, sc,
1843            GNUNET_i2s (&s->target),
1844            http_common_plugin_address_to_string (plugin->protocol,
1845                                                  s->address->address,
1846                                                  s->address->address_length),
1847            *upload_data_size);
1848       delay = GNUNET_TIME_absolute_get_remaining (s->next_receive);
1849       if (0 == delay.rel_value_us)
1850       {
1851         LOG (GNUNET_ERROR_TYPE_DEBUG,
1852              "PUT with %u bytes forwarded to MST\n",
1853              *upload_data_size);
1854         if (s->msg_tk == NULL)
1855         {
1856           s->msg_tk = GNUNET_SERVER_mst_create (&server_receive_mst_cb, s);
1857         }
1858         GNUNET_SERVER_mst_receive (s->msg_tk, s, upload_data, *upload_data_size,
1859             GNUNET_NO, GNUNET_NO);
1860         server_mhd_connection_timeout (plugin, s,
1861             GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT.rel_value_us / 1000LL
1862                 / 1000LL);
1863         (*upload_data_size) = 0;
1864       }
1865       else
1866       {
1867         /* delay processing */
1868         GNUNET_log(GNUNET_ERROR_TYPE_DEBUG,
1869             "Session %p / Connection %p: no inbound bandwidth available! Next read was delayed by %s\n",
1870             s, sc, GNUNET_STRINGS_relative_time_to_string (delay, GNUNET_YES));
1871         GNUNET_assert(s->server_recv->mhd_conn == mhd_connection);
1872         MHD_suspend_connection (s->server_recv->mhd_conn);
1873         if (NULL == s->recv_wakeup_task)
1874           s->recv_wakeup_task = GNUNET_SCHEDULER_add_delayed (delay,
1875               &server_wake_up, s);
1876       }
1877       return MHD_YES;
1878     }
1879     else
1880     {
1881       GNUNET_break (0);
1882       return MHD_NO;
1883     }
1884   }
1885   return res;
1886 }
1887
1888
1889 /**
1890  * Callback from MHD when a connection disconnects
1891  *
1892  * @param cls closure with the `struct HTTP_Server_Plugin *`
1893  * @param connection the disconnected MHD connection
1894  * @param httpSessionCache the pointer to distinguish
1895  */
1896 static void
1897 server_disconnect_cb (void *cls,
1898                       struct MHD_Connection *connection,
1899                       void **httpSessionCache)
1900 {
1901   struct HTTP_Server_Plugin *plugin = cls;
1902   struct ServerRequest *sc = *httpSessionCache;
1903
1904   LOG (GNUNET_ERROR_TYPE_DEBUG,
1905        "Disconnect for connection %p\n",
1906        sc);
1907   if (NULL == sc)
1908   {
1909     /* CORS pre-flight request finished */
1910     return;
1911   }
1912
1913   if (NULL != sc->session)
1914   {
1915     if (sc->direction == _SEND)
1916     {
1917       LOG (GNUNET_ERROR_TYPE_DEBUG,
1918            "Peer `%s' connection  %p, GET on address `%s' disconnected\n",
1919            GNUNET_i2s (&sc->session->target),
1920            sc->session->server_send,
1921            http_common_plugin_address_to_string (plugin->protocol,
1922                sc->session->address->address,
1923                sc->session->address->address_length));
1924
1925       sc->session->server_send = NULL;
1926     }
1927     else if (sc->direction == _RECEIVE)
1928     {
1929       LOG (GNUNET_ERROR_TYPE_DEBUG,
1930            "Peer `%s' connection %p PUT on address `%s' disconnected\n",
1931            GNUNET_i2s (&sc->session->target),
1932            sc->session->server_recv,
1933            http_common_plugin_address_to_string (plugin->protocol,
1934                sc->session->address->address,
1935                sc->session->address->address_length));
1936       sc->session->server_recv = NULL;
1937       if (NULL != sc->session->msg_tk)
1938       {
1939         GNUNET_SERVER_mst_destroy (sc->session->msg_tk);
1940         sc->session->msg_tk = NULL;
1941       }
1942     }
1943   }
1944   GNUNET_free (sc);
1945   plugin->cur_request--;
1946 }
1947
1948
1949 /**
1950  * Check if incoming connection is accepted.
1951  *
1952  * @param cls plugin as closure
1953  * @param addr address of incoming connection
1954  * @param addr_len number of bytes in @a addr
1955  * @return MHD_YES if connection is accepted, MHD_NO if connection is rejected
1956  */
1957 static int
1958 server_accept_cb (void *cls,
1959                   const struct sockaddr *addr,
1960                   socklen_t addr_len)
1961 {
1962   struct HTTP_Server_Plugin *plugin = cls;
1963
1964   if (plugin->cur_request <= plugin->max_request)
1965   {
1966     LOG (GNUNET_ERROR_TYPE_DEBUG,
1967          _("Accepting connection (%u of %u) from `%s'\n"),
1968          plugin->cur_request, plugin->max_request,
1969          GNUNET_a2s (addr, addr_len));
1970     return MHD_YES;
1971   }
1972   else
1973   {
1974     LOG (GNUNET_ERROR_TYPE_WARNING,
1975          _("Server reached maximum number connections (%u), rejecting new connection\n"),
1976          plugin->max_request);
1977     return MHD_NO;
1978   }
1979 }
1980
1981
1982 /**
1983  * Log function called by MHD.
1984  *
1985  * @param arg NULL
1986  * @param fmt format string
1987  * @param ap arguments for the format string (va_start() and va_end()
1988  *           will be called by MHD)
1989  */
1990 static void
1991 server_log (void *arg,
1992             const char *fmt,
1993             va_list ap)
1994 {
1995   char text[1024];
1996
1997   vsnprintf (text,
1998              sizeof (text),
1999              fmt,
2000              ap);
2001   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2002               "Server: %s\n",
2003               text);
2004 }
2005
2006
2007 #if BUILD_HTTPS
2008 /**
2009  * Load ssl certificate from file
2010  *
2011  * @param file filename
2012  * @return content of the file
2013  */
2014 static char *
2015 server_load_file (const char *file)
2016 {
2017   struct GNUNET_DISK_FileHandle *gn_file;
2018   uint64_t fsize;
2019   char *text = NULL;
2020
2021   if (GNUNET_OK != GNUNET_DISK_file_size (file,
2022       &fsize, GNUNET_NO, GNUNET_YES))
2023     return NULL;
2024   text = GNUNET_malloc (fsize + 1);
2025   gn_file =
2026       GNUNET_DISK_file_open (file, GNUNET_DISK_OPEN_READ,
2027                              GNUNET_DISK_PERM_USER_READ);
2028   if (NULL == gn_file)
2029   {
2030     GNUNET_free (text);
2031     return NULL;
2032   }
2033   if (GNUNET_SYSERR == GNUNET_DISK_file_read (gn_file, text, fsize))
2034   {
2035     GNUNET_free (text);
2036     GNUNET_DISK_file_close (gn_file);
2037     return NULL;
2038   }
2039   text[fsize] = '\0';
2040   GNUNET_DISK_file_close (gn_file);
2041   return text;
2042 }
2043 #endif
2044
2045
2046 #if BUILD_HTTPS
2047 /**
2048  * Load ssl certificate
2049  *
2050  * @param plugin the plugin
2051  * @return #GNUNET_OK on success, #GNUNET_SYSERR on failure
2052  */
2053 static int
2054 server_load_certificate (struct HTTP_Server_Plugin *plugin)
2055 {
2056   int res = GNUNET_OK;
2057   char *key_file;
2058   char *cert_file;
2059
2060
2061   if (GNUNET_OK !=
2062       GNUNET_CONFIGURATION_get_value_filename (plugin->env->cfg,
2063                                                plugin->name,
2064                                                "KEY_FILE", &key_file))
2065   {
2066     GNUNET_log_config_missing (GNUNET_ERROR_TYPE_ERROR,
2067                                plugin->name, "CERT_FILE");
2068     return GNUNET_SYSERR;
2069   }
2070   if (GNUNET_OK !=
2071       GNUNET_CONFIGURATION_get_value_filename (plugin->env->cfg,
2072                                                plugin->name,
2073                                                "CERT_FILE", &cert_file))
2074   {
2075     GNUNET_log_config_missing (GNUNET_ERROR_TYPE_ERROR,
2076                                plugin->name, "CERT_FILE");
2077     GNUNET_free (key_file);
2078     return GNUNET_SYSERR;
2079   }
2080   /* Get crypto init string from config. If not present, use
2081    * default values */
2082   if (GNUNET_OK ==
2083       GNUNET_CONFIGURATION_get_value_string (plugin->env->cfg,
2084                                              plugin->name,
2085                                              "CRYPTO_INIT",
2086                                              &plugin->crypto_init))
2087     LOG (GNUNET_ERROR_TYPE_DEBUG,
2088          "Using crypto init string `%s'\n",
2089          plugin->crypto_init);
2090   else
2091     LOG (GNUNET_ERROR_TYPE_DEBUG,
2092          "Using default crypto init string \n");
2093
2094   /* read key & certificates from file */
2095   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2096               "Trying to loading TLS certificate from key-file `%s' cert-file`%s'\n",
2097               key_file, cert_file);
2098
2099   plugin->key = server_load_file (key_file);
2100   plugin->cert = server_load_file (cert_file);
2101
2102   if ((plugin->key == NULL) || (plugin->cert == NULL))
2103   {
2104     struct GNUNET_OS_Process *cert_creation;
2105
2106     GNUNET_free_non_null (plugin->key);
2107     plugin->key = NULL;
2108     GNUNET_free_non_null (plugin->cert);
2109     plugin->cert = NULL;
2110
2111     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2112                 "No usable TLS certificate found, creating certificate\n");
2113     errno = 0;
2114     cert_creation =
2115         GNUNET_OS_start_process (GNUNET_NO, GNUNET_OS_INHERIT_STD_OUT_AND_ERR,
2116                                  NULL, NULL, NULL,
2117                                  "gnunet-transport-certificate-creation",
2118                                  "gnunet-transport-certificate-creation",
2119                                  key_file,
2120                                  cert_file,
2121                                  NULL);
2122     if (NULL == cert_creation)
2123     {
2124       LOG (GNUNET_ERROR_TYPE_ERROR,
2125            _("Could not create a new TLS certificate, program `gnunet-transport-certificate-creation' could not be started!\n"));
2126       GNUNET_free (key_file);
2127       GNUNET_free (cert_file);
2128
2129       GNUNET_free_non_null (plugin->key);
2130       plugin->key = NULL;
2131       GNUNET_free_non_null (plugin->cert);
2132       plugin->cert = NULL;
2133       GNUNET_free_non_null (plugin->crypto_init);
2134       plugin->crypto_init = NULL;
2135
2136       return GNUNET_SYSERR;
2137     }
2138     GNUNET_assert (GNUNET_OK == GNUNET_OS_process_wait (cert_creation));
2139     GNUNET_OS_process_destroy (cert_creation);
2140
2141     plugin->key = server_load_file (key_file);
2142     plugin->cert = server_load_file (cert_file);
2143   }
2144
2145   if ((plugin->key == NULL) || (plugin->cert == NULL))
2146   {
2147     LOG (GNUNET_ERROR_TYPE_ERROR,
2148          _("No usable TLS certificate found and creating one at `%s/%s' failed!\n"),
2149          key_file, cert_file);
2150     GNUNET_free (key_file);
2151     GNUNET_free (cert_file);
2152
2153     GNUNET_free_non_null (plugin->key);
2154     plugin->key = NULL;
2155     GNUNET_free_non_null (plugin->cert);
2156     plugin->cert = NULL;
2157     GNUNET_free_non_null (plugin->crypto_init);
2158     plugin->crypto_init = NULL;
2159
2160     return GNUNET_SYSERR;
2161   }
2162   GNUNET_free (key_file);
2163   GNUNET_free (cert_file);
2164   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2165               "TLS certificate loaded\n");
2166   return res;
2167 }
2168 #endif
2169
2170
2171 /**
2172  * Invoke `MHD_start_daemon` with the various options we need to
2173  * setup the HTTP server with the given listen address.
2174  *
2175  * @param plugin our plugin
2176  * @param addr listen address to use
2177  * @param v6 MHD_NO_FLAG or MHD_USE_IPv6, depending on context
2178  * @return NULL on error
2179  */
2180 static struct MHD_Daemon *
2181 run_mhd_start_daemon (struct HTTP_Server_Plugin *plugin,
2182                       const struct sockaddr_in *addr,
2183                       int v6)
2184 {
2185   struct MHD_Daemon *server;
2186   unsigned int timeout;
2187
2188 #if MHD_VERSION >= 0x00090E00
2189   timeout = HTTP_SERVER_NOT_VALIDATED_TIMEOUT.rel_value_us / 1000LL / 1000LL;
2190   LOG (GNUNET_ERROR_TYPE_DEBUG,
2191        "MHD can set timeout per connection! Default time out %u sec.\n",
2192        timeout);
2193 #else
2194   timeout = HTTP_SERVER_SESSION_TIMEOUT.rel_value_us / 1000LL / 1000LL;
2195   LOG (GNUNET_ERROR_TYPE_WARNING,
2196        "MHD cannot set timeout per connection! Default time out %u sec.\n",
2197        timeout);
2198 #endif
2199   server = MHD_start_daemon (
2200 #if VERBOSE_SERVER
2201                              MHD_USE_DEBUG |
2202 #endif
2203 #if BUILD_HTTPS
2204                              MHD_USE_SSL |
2205 #endif
2206                              MHD_USE_SUSPEND_RESUME |
2207                              v6,
2208                              plugin->port,
2209                              &server_accept_cb, plugin,
2210                              &server_access_cb, plugin,
2211                              MHD_OPTION_SOCK_ADDR,
2212                              addr,
2213                              MHD_OPTION_CONNECTION_LIMIT,
2214                              (unsigned int) plugin->max_request,
2215 #if BUILD_HTTPS
2216                              MHD_OPTION_HTTPS_PRIORITIES,
2217                              plugin->crypto_init,
2218                              MHD_OPTION_HTTPS_MEM_KEY,
2219                              plugin->key,
2220                              MHD_OPTION_HTTPS_MEM_CERT,
2221                              plugin->cert,
2222 #endif
2223                              MHD_OPTION_CONNECTION_TIMEOUT,
2224                              timeout,
2225                              MHD_OPTION_CONNECTION_MEMORY_LIMIT,
2226                              (size_t) (2 *
2227                                        GNUNET_SERVER_MAX_MESSAGE_SIZE),
2228                              MHD_OPTION_NOTIFY_COMPLETED,
2229                              &server_disconnect_cb, plugin,
2230                              MHD_OPTION_EXTERNAL_LOGGER,
2231                              &server_log, NULL,
2232                              MHD_OPTION_END);
2233 #ifdef TCP_STEALTH
2234   if ( (NULL != server) &&
2235        (0 != (plugin->options & HTTP_OPTIONS_TCP_STEALTH)) )
2236   {
2237     const union MHD_DaemonInfo *di;
2238
2239     di = MHD_get_daemon_info (server,
2240                               MHD_DAEMON_INFO_LISTEN_FD,
2241                               NULL);
2242     if ( (0 != setsockopt ((int) di->listen_fd,
2243                            IPPROTO_TCP,
2244                            TCP_STEALTH,
2245                            plugin->env->my_identity,
2246                            sizeof (struct GNUNET_PeerIdentity))) )
2247     {
2248       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2249                   _("TCP_STEALTH not supported on this platform.\n"));
2250       MHD_stop_daemon (server);
2251       server = NULL;
2252     }
2253   }
2254 #endif
2255   return server;
2256 }
2257
2258
2259 /**
2260  * Start the HTTP server
2261  *
2262  * @param plugin the plugin handle
2263  * @return #GNUNET_OK on success, #GNUNET_SYSERR on failure
2264  */
2265 static int
2266 server_start (struct HTTP_Server_Plugin *plugin)
2267 {
2268   const char *msg;
2269
2270   GNUNET_assert (NULL != plugin);
2271 #if BUILD_HTTPS
2272   if (GNUNET_SYSERR == server_load_certificate (plugin))
2273   {
2274     LOG (GNUNET_ERROR_TYPE_ERROR,
2275          _("Could not load or create server certificate! Loading plugin failed!\n"));
2276     return GNUNET_SYSERR;
2277   }
2278 #endif
2279
2280
2281
2282   plugin->server_v4 = NULL;
2283   if (GNUNET_YES == plugin->use_ipv4)
2284   {
2285     plugin->server_v4
2286       = run_mhd_start_daemon (plugin,
2287                               (const struct sockaddr_in *) plugin->server_addr_v4,
2288                               MHD_NO_FLAG);
2289
2290     if (NULL == plugin->server_v4)
2291     {
2292       LOG (GNUNET_ERROR_TYPE_ERROR,
2293            "Failed to start %s IPv4 server component on port %u\n",
2294            plugin->name,
2295            plugin->port);
2296     }
2297     else
2298       server_reschedule (plugin,
2299                          plugin->server_v4,
2300                          GNUNET_NO);
2301   }
2302
2303
2304   plugin->server_v6 = NULL;
2305   if (GNUNET_YES == plugin->use_ipv6)
2306   {
2307     plugin->server_v6
2308       = run_mhd_start_daemon (plugin,
2309                               (const struct sockaddr_in *) plugin->server_addr_v6,
2310                               MHD_USE_IPv6);
2311     if (NULL == plugin->server_v6)
2312     {
2313       LOG (GNUNET_ERROR_TYPE_ERROR,
2314            "Failed to start %s IPv6 server component on port %u\n",
2315            plugin->name,
2316            plugin->port);
2317     }
2318     else
2319     {
2320       server_reschedule (plugin,
2321                          plugin->server_v6,
2322                          GNUNET_NO);
2323     }
2324   }
2325   msg = "No";
2326   if ( (NULL == plugin->server_v6) &&
2327        (NULL == plugin->server_v4) )
2328   {
2329     LOG (GNUNET_ERROR_TYPE_ERROR,
2330          "%s %s server component started on port %u\n",
2331          msg,
2332          plugin->name,
2333          plugin->port);
2334     return GNUNET_SYSERR;
2335   }
2336   if ((NULL != plugin->server_v6) &&
2337       (NULL != plugin->server_v4))
2338     msg = "IPv4 and IPv6";
2339   else if (NULL != plugin->server_v6)
2340     msg = "IPv6";
2341   else if (NULL != plugin->server_v4)
2342     msg = "IPv4";
2343   LOG (GNUNET_ERROR_TYPE_DEBUG,
2344        "%s %s server component started on port %u\n",
2345        msg,
2346        plugin->name,
2347        plugin->port);
2348   return GNUNET_OK;
2349 }
2350
2351
2352 /**
2353  * Add an address to the server's set of addresses and notify transport
2354  *
2355  * @param cls the plugin handle
2356  * @param add_remove #GNUNET_YES on add, #GNUNET_NO on remove
2357  * @param addr the address
2358  * @param addrlen address length
2359  */
2360 static void
2361 server_add_address (void *cls,
2362                     int add_remove,
2363                     const struct sockaddr *addr,
2364                     socklen_t addrlen)
2365 {
2366   struct HTTP_Server_Plugin *plugin = cls;
2367   struct GNUNET_HELLO_Address *address;
2368   struct HttpAddressWrapper *w = NULL;
2369
2370   w = GNUNET_new (struct HttpAddressWrapper);
2371   w->address = http_common_address_from_socket (plugin->protocol,
2372                                                 addr,
2373                                                 addrlen);
2374   if (NULL == w->address)
2375   {
2376     GNUNET_free (w);
2377     return;
2378   }
2379   w->addrlen = http_common_address_get_size (w->address);
2380
2381   GNUNET_CONTAINER_DLL_insert (plugin->addr_head,
2382                                plugin->addr_tail,
2383                                w);
2384   LOG (GNUNET_ERROR_TYPE_DEBUG,
2385        "Notifying transport to add address `%s'\n",
2386        http_common_plugin_address_to_string (plugin->protocol,
2387                                              w->address,
2388                                              w->addrlen));
2389   /* modify our published address list */
2390 #if BUILD_HTTPS
2391   address = GNUNET_HELLO_address_allocate (plugin->env->my_identity,
2392       "https_client", w->address, w->addrlen, GNUNET_HELLO_ADDRESS_INFO_NONE);
2393 #else
2394   address = GNUNET_HELLO_address_allocate (plugin->env->my_identity,
2395       "http_client", w->address, w->addrlen, GNUNET_HELLO_ADDRESS_INFO_NONE);
2396 #endif
2397
2398   plugin->env->notify_address (plugin->env->cls,
2399                                add_remove,
2400                                address);
2401   GNUNET_HELLO_address_free (address);
2402 }
2403
2404
2405 /**
2406  * Remove an address from the server's set of addresses and notify transport
2407  *
2408  * @param cls the plugin handle
2409  * @param add_remove #GNUNET_YES on add, #GNUNET_NO on remove
2410  * @param addr the address
2411  * @param addrlen address length
2412  */
2413 static void
2414 server_remove_address (void *cls,
2415                        int add_remove,
2416                        const struct sockaddr *addr,
2417                        socklen_t addrlen)
2418 {
2419   struct HTTP_Server_Plugin *plugin = cls;
2420   struct GNUNET_HELLO_Address *address;
2421   struct HttpAddressWrapper *w = plugin->addr_head;
2422   size_t saddr_len;
2423   void * saddr;
2424
2425   saddr = http_common_address_from_socket (plugin->protocol,
2426                                            addr,
2427                                            addrlen);
2428   if (NULL == saddr)
2429     return;
2430   saddr_len = http_common_address_get_size (saddr);
2431
2432   while (NULL != w)
2433   {
2434     if (GNUNET_YES ==
2435         http_common_cmp_addresses (w->address,
2436                                    w->addrlen,
2437                                    saddr,
2438                                    saddr_len))
2439       break;
2440     w = w->next;
2441   }
2442   GNUNET_free (saddr);
2443
2444   if (NULL == w)
2445     return;
2446
2447   LOG (GNUNET_ERROR_TYPE_DEBUG,
2448        "Notifying transport to remove address `%s'\n",
2449        http_common_plugin_address_to_string (plugin->protocol,
2450                                              w->address,
2451                                              w->addrlen));
2452   GNUNET_CONTAINER_DLL_remove (plugin->addr_head,
2453                                plugin->addr_tail,
2454                                w);
2455   /* modify our published address list */
2456 #if BUILD_HTTPS
2457   address = GNUNET_HELLO_address_allocate (plugin->env->my_identity,
2458       "https_client", w->address, w->addrlen, GNUNET_HELLO_ADDRESS_INFO_NONE);
2459 #else
2460   address = GNUNET_HELLO_address_allocate (plugin->env->my_identity,
2461       "http_client", w->address, w->addrlen, GNUNET_HELLO_ADDRESS_INFO_NONE);
2462 #endif
2463   plugin->env->notify_address (plugin->env->cls, add_remove, address);
2464   GNUNET_HELLO_address_free (address);
2465   GNUNET_free (w->address);
2466   GNUNET_free (w);
2467 }
2468
2469
2470
2471 /**
2472  * Our external IP address/port mapping has changed.
2473  *
2474  * @param cls closure, the 'struct LocalAddrList'
2475  * @param add_remove #GNUNET_YES to mean the new public IP address, #GNUNET_NO to mean
2476  *     the previous (now invalid) one
2477  * @param addr either the previous or the new public IP address
2478  * @param addrlen actual lenght of the address
2479  */
2480 static void
2481 server_nat_port_map_callback (void *cls,
2482                               int add_remove,
2483                               const struct sockaddr *addr,
2484                               socklen_t addrlen)
2485 {
2486   struct HTTP_Server_Plugin *plugin = cls;
2487
2488   LOG (GNUNET_ERROR_TYPE_DEBUG,
2489        "NAT called to %s address `%s'\n",
2490        (add_remove == GNUNET_NO) ? "remove" : "add",
2491        GNUNET_a2s (addr, addrlen));
2492
2493   if (AF_INET == addr->sa_family)
2494   {
2495     struct sockaddr_in *s4 = (struct sockaddr_in *) addr;
2496
2497     if (GNUNET_NO == plugin->use_ipv4)
2498       return;
2499
2500     if ((NULL != plugin->server_addr_v4) &&
2501         (0 != memcmp (&plugin->server_addr_v4->sin_addr,
2502                       &s4->sin_addr, sizeof (struct in_addr))))
2503     {
2504       LOG (GNUNET_ERROR_TYPE_DEBUG,
2505            "Skipping address `%s' (not bindto address)\n",
2506            GNUNET_a2s (addr, addrlen));
2507       return;
2508     }
2509   }
2510
2511   if (AF_INET6 == addr->sa_family)
2512   {
2513     struct sockaddr_in6 *s6 = (struct sockaddr_in6 *) addr;
2514     if (GNUNET_NO == plugin->use_ipv6)
2515       return;
2516
2517     if ((NULL != plugin->server_addr_v6) &&
2518         (0 != memcmp (&plugin->server_addr_v6->sin6_addr,
2519                       &s6->sin6_addr, sizeof (struct in6_addr))))
2520     {
2521       LOG (GNUNET_ERROR_TYPE_DEBUG,
2522            "Skipping address `%s' (not bindto address)\n",
2523            GNUNET_a2s (addr, addrlen));
2524       return;
2525     }
2526   }
2527
2528   switch (add_remove)
2529   {
2530   case GNUNET_YES:
2531     server_add_address (cls, add_remove, addr, addrlen);
2532     break;
2533   case GNUNET_NO:
2534     server_remove_address (cls, add_remove, addr, addrlen);
2535     break;
2536   }
2537 }
2538
2539
2540 /**
2541  * Get valid server addresses
2542  *
2543  * @param plugin the plugin handle
2544  * @param service_name the servicename
2545  * @param cfg configuration handle
2546  * @param addrs addresses
2547  * @param addr_lens address length
2548  * @return number of addresses
2549  */
2550 static int
2551 server_get_addresses (struct HTTP_Server_Plugin *plugin,
2552                       const char *service_name,
2553                       const struct GNUNET_CONFIGURATION_Handle *cfg,
2554                       struct sockaddr ***addrs,
2555                       socklen_t ** addr_lens)
2556 {
2557   int disablev6;
2558   unsigned long long port;
2559   struct addrinfo hints;
2560   struct addrinfo *res;
2561   struct addrinfo *pos;
2562   struct addrinfo *next;
2563   unsigned int i;
2564   int resi;
2565   int ret;
2566   struct sockaddr **saddrs;
2567   socklen_t *saddrlens;
2568   char *hostname;
2569
2570   *addrs = NULL;
2571   *addr_lens = NULL;
2572
2573   disablev6 = !plugin->use_ipv6;
2574
2575   port = 0;
2576   if (GNUNET_CONFIGURATION_have_value (cfg, service_name, "PORT"))
2577   {
2578     GNUNET_break (GNUNET_OK ==
2579                   GNUNET_CONFIGURATION_get_value_number (cfg, service_name,
2580                                                          "PORT", &port));
2581     if (port > 65535)
2582     {
2583       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2584                   _("Require valid port number for service in configuration!\n"));
2585       return GNUNET_SYSERR;
2586     }
2587   }
2588   if (0 == port)
2589   {
2590     LOG (GNUNET_ERROR_TYPE_INFO,
2591          "Starting in listen only mode\n");
2592     return -1; /* listen only */
2593   }
2594
2595
2596   if (GNUNET_CONFIGURATION_have_value (cfg, service_name,
2597                                        "BINDTO"))
2598   {
2599     GNUNET_break (GNUNET_OK ==
2600                   GNUNET_CONFIGURATION_get_value_string (cfg, service_name,
2601                                                          "BINDTO", &hostname));
2602   }
2603   else
2604     hostname = NULL;
2605
2606   if (NULL != hostname)
2607   {
2608     LOG (GNUNET_ERROR_TYPE_DEBUG,
2609          "Resolving `%s' since that is where `%s' will bind to.\n",
2610          hostname, service_name);
2611     memset (&hints, 0, sizeof (struct addrinfo));
2612     if (disablev6)
2613       hints.ai_family = AF_INET;
2614     if ((0 != (ret = getaddrinfo (hostname, NULL, &hints, &res))) ||
2615         (NULL == res))
2616     {
2617       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2618                   _("Failed to resolve `%s': %s\n"),
2619                   hostname,
2620                   gai_strerror (ret));
2621       GNUNET_free (hostname);
2622       return GNUNET_SYSERR;
2623     }
2624     next = res;
2625     i = 0;
2626     while (NULL != (pos = next))
2627     {
2628       next = pos->ai_next;
2629       if ((disablev6) && (pos->ai_family == AF_INET6))
2630         continue;
2631       i++;
2632     }
2633     if (0 == i)
2634     {
2635       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2636                   _("Failed to find %saddress for `%s'.\n"),
2637                   disablev6 ? "IPv4 " : "", hostname);
2638       freeaddrinfo (res);
2639       GNUNET_free (hostname);
2640       return GNUNET_SYSERR;
2641     }
2642     resi = i;
2643     saddrs = GNUNET_malloc ((resi + 1) * sizeof (struct sockaddr *));
2644     saddrlens = GNUNET_malloc ((resi + 1) * sizeof (socklen_t));
2645     i = 0;
2646     next = res;
2647     while (NULL != (pos = next))
2648     {
2649       next = pos->ai_next;
2650       if ((disablev6) && (pos->ai_family == AF_INET6))
2651         continue;
2652       if ((pos->ai_protocol != IPPROTO_TCP) && (0 != pos->ai_protocol))
2653         continue;               /* not TCP */
2654       if ((pos->ai_socktype != SOCK_STREAM) && (0 != pos->ai_socktype))
2655         continue;               /* huh? */
2656       LOG (GNUNET_ERROR_TYPE_DEBUG,
2657            "Service will bind to `%s'\n",
2658            GNUNET_a2s (pos->ai_addr,
2659                        pos->ai_addrlen));
2660       if (pos->ai_family == AF_INET)
2661       {
2662         GNUNET_assert (pos->ai_addrlen == sizeof (struct sockaddr_in));
2663         saddrlens[i] = pos->ai_addrlen;
2664         saddrs[i] = GNUNET_malloc (saddrlens[i]);
2665         memcpy (saddrs[i], pos->ai_addr, saddrlens[i]);
2666         ((struct sockaddr_in *) saddrs[i])->sin_port = htons (port);
2667       }
2668       else
2669       {
2670         GNUNET_assert (pos->ai_family == AF_INET6);
2671         GNUNET_assert (pos->ai_addrlen == sizeof (struct sockaddr_in6));
2672         saddrlens[i] = pos->ai_addrlen;
2673         saddrs[i] = GNUNET_malloc (saddrlens[i]);
2674         memcpy (saddrs[i], pos->ai_addr, saddrlens[i]);
2675         ((struct sockaddr_in6 *) saddrs[i])->sin6_port = htons (port);
2676       }
2677       i++;
2678     }
2679     GNUNET_free (hostname);
2680     freeaddrinfo (res);
2681     resi = i;
2682   }
2683   else
2684   {
2685     /* will bind against everything, just set port */
2686     if (disablev6)
2687     {
2688       /* V4-only */
2689       resi = 1;
2690       i = 0;
2691       saddrs = GNUNET_malloc ((resi + 1) * sizeof (struct sockaddr *));
2692       saddrlens = GNUNET_malloc ((resi + 1) * sizeof (socklen_t));
2693
2694       saddrlens[i] = sizeof (struct sockaddr_in);
2695       saddrs[i] = GNUNET_malloc (saddrlens[i]);
2696 #if HAVE_SOCKADDR_IN_SIN_LEN
2697       ((struct sockaddr_in *) saddrs[i])->sin_len = saddrlens[i];
2698 #endif
2699       ((struct sockaddr_in *) saddrs[i])->sin_family = AF_INET;
2700       ((struct sockaddr_in *) saddrs[i])->sin_port = htons (port);
2701     }
2702     else
2703     {
2704       /* dual stack */
2705       resi = 2;
2706       saddrs = GNUNET_malloc ((resi + 1) * sizeof (struct sockaddr *));
2707       saddrlens = GNUNET_malloc ((resi + 1) * sizeof (socklen_t));
2708       i = 0;
2709       saddrlens[i] = sizeof (struct sockaddr_in6);
2710       saddrs[i] = GNUNET_malloc (saddrlens[i]);
2711 #if HAVE_SOCKADDR_IN_SIN_LEN
2712       ((struct sockaddr_in6 *) saddrs[i])->sin6_len = saddrlens[0];
2713 #endif
2714       ((struct sockaddr_in6 *) saddrs[i])->sin6_family = AF_INET6;
2715       ((struct sockaddr_in6 *) saddrs[i])->sin6_port = htons (port);
2716       i++;
2717       saddrlens[i] = sizeof (struct sockaddr_in);
2718       saddrs[i] = GNUNET_malloc (saddrlens[i]);
2719 #if HAVE_SOCKADDR_IN_SIN_LEN
2720       ((struct sockaddr_in *) saddrs[i])->sin_len = saddrlens[1];
2721 #endif
2722       ((struct sockaddr_in *) saddrs[i])->sin_family = AF_INET;
2723       ((struct sockaddr_in *) saddrs[i])->sin_port = htons (port);
2724     }
2725   }
2726   *addrs = saddrs;
2727   *addr_lens = saddrlens;
2728   return resi;
2729 }
2730
2731
2732 /**
2733  * Ask NAT for addresses
2734  *
2735  * @param plugin the plugin handle
2736  */
2737 static void
2738 server_start_report_addresses (struct HTTP_Server_Plugin *plugin)
2739 {
2740   int res = GNUNET_OK;
2741   struct sockaddr **addrs;
2742   socklen_t *addrlens;
2743
2744   res = server_get_addresses (plugin,
2745                               plugin->name,
2746                               plugin->env->cfg,
2747                               &addrs, &addrlens);
2748   LOG (GNUNET_ERROR_TYPE_DEBUG,
2749        _("Found %u addresses to report to NAT service\n"),
2750        res);
2751
2752   if (GNUNET_SYSERR == res)
2753   {
2754     plugin->nat = NULL;
2755     return;
2756   }
2757
2758   plugin->nat =
2759       GNUNET_NAT_register (plugin->env->cfg,
2760                            GNUNET_YES,
2761                            plugin->port,
2762                            (unsigned int) res,
2763                            (const struct sockaddr **) addrs, addrlens,
2764                            &server_nat_port_map_callback, NULL, plugin, NULL);
2765   while (res > 0)
2766   {
2767     res--;
2768     GNUNET_assert (NULL != addrs[res]);
2769     GNUNET_free (addrs[res]);
2770   }
2771   GNUNET_free_non_null (addrs);
2772   GNUNET_free_non_null (addrlens);
2773 }
2774
2775
2776 /**
2777  * Stop NAT for addresses
2778  *
2779  * @param plugin the plugin handle
2780  */
2781 static void
2782 server_stop_report_addresses (struct HTTP_Server_Plugin *plugin)
2783 {
2784   struct HttpAddressWrapper *w;
2785
2786   /* Stop NAT handle */
2787   if (NULL != plugin->nat)
2788   {
2789     GNUNET_NAT_unregister (plugin->nat);
2790     plugin->nat = NULL;
2791   }
2792   /* Clean up addresses */
2793   while (NULL != plugin->addr_head)
2794   {
2795     w = plugin->addr_head;
2796     GNUNET_CONTAINER_DLL_remove (plugin->addr_head,
2797                                  plugin->addr_tail,
2798                                  w);
2799     GNUNET_free (w->address);
2800     GNUNET_free (w);
2801   }
2802 }
2803
2804
2805 /**
2806  * Check if IPv6 supported on this system
2807  *
2808  * @param plugin the plugin handle
2809  * @return #GNUNET_YES on success, else #GNUNET_NO
2810  */
2811 static int
2812 server_check_ipv6_support (struct HTTP_Server_Plugin *plugin)
2813 {
2814   struct GNUNET_NETWORK_Handle *desc = NULL;
2815   int res = GNUNET_NO;
2816
2817   /* Probe IPv6 support */
2818   desc = GNUNET_NETWORK_socket_create (PF_INET6, SOCK_STREAM, 0);
2819   if (NULL == desc)
2820   {
2821     if ((errno == ENOBUFS) || (errno == ENOMEM) || (errno == ENFILE) ||
2822         (errno == EACCES))
2823     {
2824       GNUNET_log_strerror (GNUNET_ERROR_TYPE_ERROR, "socket");
2825     }
2826     LOG (GNUNET_ERROR_TYPE_WARNING,
2827          _("Disabling IPv6 since it is not supported on this system!\n"));
2828     res = GNUNET_NO;
2829   }
2830   else
2831   {
2832     GNUNET_break (GNUNET_OK == GNUNET_NETWORK_socket_close (desc));
2833     desc = NULL;
2834     res = GNUNET_YES;
2835   }
2836   LOG (GNUNET_ERROR_TYPE_DEBUG,
2837        "Testing IPv6 on this system: %s\n",
2838        (res == GNUNET_YES) ? "successful" : "failed");
2839   return res;
2840 }
2841
2842
2843 /**
2844  * Notify server about our external hostname
2845  *
2846  * @param cls plugin
2847  * @param tc task context (unused)
2848  */
2849 static void
2850 server_notify_external_hostname (void *cls,
2851                                  const struct GNUNET_SCHEDULER_TaskContext *tc)
2852 {
2853   struct HTTP_Server_Plugin *plugin = cls;
2854   struct HttpAddress *ext_addr;
2855   size_t ext_addr_len;
2856   unsigned int urlen;
2857   char *url;
2858
2859   plugin->notify_ext_task = NULL;
2860   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
2861     return;
2862
2863   GNUNET_asprintf(&url,
2864                   "%s://%s",
2865                   plugin->protocol,
2866                   plugin->external_hostname);
2867
2868   urlen = strlen (url) + 1;
2869   ext_addr = GNUNET_malloc (sizeof (struct HttpAddress) + urlen);
2870   ext_addr->options = htonl (plugin->options);
2871   ext_addr->urlen = htonl (urlen);
2872   ext_addr_len = sizeof (struct HttpAddress) + urlen;
2873   memcpy (&ext_addr[1], url, urlen);
2874   GNUNET_free (url);
2875
2876   LOG (GNUNET_ERROR_TYPE_DEBUG,
2877        "Notifying transport about external hostname address `%s'\n",
2878        plugin->external_hostname);
2879
2880 #if BUILD_HTTPS
2881   if (GNUNET_YES == plugin->verify_external_hostname)
2882     LOG (GNUNET_ERROR_TYPE_INFO,
2883          "Enabling SSL verification for external hostname address `%s'\n",
2884          plugin->external_hostname);
2885   plugin->ext_addr = GNUNET_HELLO_address_allocate (plugin->env->my_identity,
2886       "https_client", ext_addr, ext_addr_len, GNUNET_HELLO_ADDRESS_INFO_NONE );
2887   plugin->env->notify_address (plugin->env->cls, GNUNET_YES, plugin->ext_addr);
2888   GNUNET_free (ext_addr);
2889 #else
2890   plugin->ext_addr = GNUNET_HELLO_address_allocate (plugin->env->my_identity,
2891       "http_client", ext_addr, ext_addr_len, GNUNET_HELLO_ADDRESS_INFO_NONE );
2892   plugin->env->notify_address (plugin->env->cls, GNUNET_YES, plugin->ext_addr);
2893   GNUNET_free (ext_addr);
2894 #endif
2895 }
2896
2897
2898 /**
2899  * Configure the plugin
2900  *
2901  * @param plugin plugin handle
2902  * @return #GNUNET_OK on success, #GNUNET_SYSERR on failure
2903  */
2904 static int
2905 server_configure_plugin (struct HTTP_Server_Plugin *plugin)
2906 {
2907   unsigned long long port;
2908   unsigned long long max_connections;
2909   char *bind4_address = NULL;
2910   char *bind6_address = NULL;
2911   char *eh_tmp = NULL;
2912   int external_hostname_use_port;
2913
2914   /* Use IPv4? */
2915   if (GNUNET_CONFIGURATION_have_value
2916       (plugin->env->cfg, plugin->name, "USE_IPv4"))
2917   {
2918     plugin->use_ipv4 =
2919         GNUNET_CONFIGURATION_get_value_yesno (plugin->env->cfg,
2920                                               plugin->name,
2921                                               "USE_IPv4");
2922   }
2923   else
2924     plugin->use_ipv4 = GNUNET_YES;
2925   LOG (GNUNET_ERROR_TYPE_DEBUG,
2926        _("IPv4 support is %s\n"),
2927        (plugin->use_ipv4 == GNUNET_YES) ? "enabled" : "disabled");
2928
2929   /* Use IPv6? */
2930   if (GNUNET_CONFIGURATION_have_value
2931       (plugin->env->cfg, plugin->name, "USE_IPv6"))
2932   {
2933     plugin->use_ipv6 =
2934         GNUNET_CONFIGURATION_get_value_yesno (plugin->env->cfg,
2935                                               plugin->name,
2936                                               "USE_IPv6");
2937   }
2938   else
2939     plugin->use_ipv6 = GNUNET_YES;
2940   LOG (GNUNET_ERROR_TYPE_DEBUG,
2941        _("IPv6 support is %s\n"),
2942        (plugin->use_ipv6 == GNUNET_YES) ? "enabled" : "disabled");
2943
2944   if ((plugin->use_ipv4 == GNUNET_NO) && (plugin->use_ipv6 == GNUNET_NO))
2945   {
2946     LOG (GNUNET_ERROR_TYPE_ERROR,
2947          _("Neither IPv4 nor IPv6 are enabled! Fix in configuration\n"));
2948     return GNUNET_SYSERR;
2949   }
2950
2951   /* Reading port number from config file */
2952   if ((GNUNET_OK !=
2953        GNUNET_CONFIGURATION_get_value_number (plugin->env->cfg,
2954                                               plugin->name,
2955                                               "PORT", &port)) || (port > 65535))
2956   {
2957     LOG (GNUNET_ERROR_TYPE_ERROR,
2958          _("Port is required! Fix in configuration\n"));
2959     return GNUNET_SYSERR;
2960   }
2961   plugin->port = port;
2962
2963   LOG (GNUNET_ERROR_TYPE_INFO,
2964        _("Using port %u\n"), plugin->port);
2965
2966   if ((plugin->use_ipv4 == GNUNET_YES) &&
2967       (GNUNET_YES == GNUNET_CONFIGURATION_get_value_string (plugin->env->cfg,
2968                           plugin->name, "BINDTO", &bind4_address)))
2969   {
2970     LOG (GNUNET_ERROR_TYPE_DEBUG,
2971          "Binding %s plugin to specific IPv4 address: `%s'\n",
2972          plugin->protocol, bind4_address);
2973     plugin->server_addr_v4 = GNUNET_new (struct sockaddr_in);
2974     if (1 != inet_pton (AF_INET, bind4_address,
2975                         &plugin->server_addr_v4->sin_addr))
2976     {
2977       LOG (GNUNET_ERROR_TYPE_ERROR,
2978            _("Specific IPv4 address `%s' in configuration file is invalid!\n"),
2979            bind4_address);
2980       GNUNET_free (bind4_address);
2981       GNUNET_free (plugin->server_addr_v4);
2982       plugin->server_addr_v4 = NULL;
2983       return GNUNET_SYSERR;
2984     }
2985     else
2986     {
2987       LOG (GNUNET_ERROR_TYPE_DEBUG,
2988            _("Binding to IPv4 address %s\n"),
2989            bind4_address);
2990       plugin->server_addr_v4->sin_family = AF_INET;
2991       plugin->server_addr_v4->sin_port = htons (plugin->port);
2992     }
2993     GNUNET_free (bind4_address);
2994   }
2995
2996   if ((plugin->use_ipv6 == GNUNET_YES) &&
2997       (GNUNET_YES ==
2998        GNUNET_CONFIGURATION_get_value_string (plugin->env->cfg,
2999                                               plugin->name,
3000                                               "BINDTO6", &bind6_address)))
3001   {
3002     LOG (GNUNET_ERROR_TYPE_DEBUG,
3003          "Binding %s plugin to specific IPv6 address: `%s'\n",
3004          plugin->protocol, bind6_address);
3005     plugin->server_addr_v6 = GNUNET_new (struct sockaddr_in6);
3006     if (1 !=
3007         inet_pton (AF_INET6, bind6_address, &plugin->server_addr_v6->sin6_addr))
3008     {
3009       LOG (GNUNET_ERROR_TYPE_ERROR,
3010            _("Specific IPv6 address `%s' in configuration file is invalid!\n"),
3011            bind6_address);
3012       GNUNET_free (bind6_address);
3013       GNUNET_free (plugin->server_addr_v6);
3014       plugin->server_addr_v6 = NULL;
3015       return GNUNET_SYSERR;
3016     }
3017     else
3018     {
3019       LOG (GNUNET_ERROR_TYPE_DEBUG,
3020            _("Binding to IPv6 address %s\n"),
3021            bind6_address);
3022       plugin->server_addr_v6->sin6_family = AF_INET6;
3023       plugin->server_addr_v6->sin6_port = htons (plugin->port);
3024     }
3025     GNUNET_free (bind6_address);
3026   }
3027
3028   plugin->verify_external_hostname = GNUNET_NO;
3029 #if BUILD_HTTPS
3030   plugin->verify_external_hostname = GNUNET_CONFIGURATION_get_value_yesno (plugin->env->cfg,
3031                                                                            plugin->name,
3032                                                                            "VERIFY_EXTERNAL_HOSTNAME");
3033   if (GNUNET_SYSERR == plugin->verify_external_hostname)
3034         plugin->verify_external_hostname = GNUNET_NO;
3035   if (GNUNET_YES == plugin->verify_external_hostname)
3036         plugin->options |= HTTP_OPTIONS_VERIFY_CERTIFICATE;
3037 #endif
3038   external_hostname_use_port = GNUNET_CONFIGURATION_get_value_yesno (plugin->env->cfg,
3039                                                                      plugin->name,
3040                                                                      "EXTERNAL_HOSTNAME_USE_PORT");
3041   if (GNUNET_SYSERR == external_hostname_use_port)
3042         external_hostname_use_port = GNUNET_NO;
3043
3044
3045   if (GNUNET_YES ==
3046       GNUNET_CONFIGURATION_get_value_string (plugin->env->cfg,
3047                                              plugin->name,
3048                                              "EXTERNAL_HOSTNAME",
3049                                              &eh_tmp))
3050   {
3051     char *tmp;
3052     char *pos = NULL;
3053     char *pos_url = NULL;
3054
3055     if (NULL != strstr(eh_tmp, "://"))
3056       tmp = &strstr(eh_tmp, "://")[3];
3057     else
3058       tmp = eh_tmp;
3059
3060     if (GNUNET_YES == external_hostname_use_port)
3061     {
3062       if ( (strlen (tmp) > 1) && (NULL != (pos = strchr(tmp, '/'))) )
3063       {
3064         pos_url = pos + 1;
3065         pos[0] = '\0';
3066         GNUNET_asprintf (&plugin->external_hostname,
3067                          "%s:%u/%s",
3068                          tmp,
3069                          (uint16_t) port,
3070                          (NULL == pos_url) ? "" : pos_url);
3071       }
3072       else
3073         GNUNET_asprintf (&plugin->external_hostname,
3074                          "%s:%u",
3075                          tmp,
3076                          (uint16_t) port);
3077     }
3078     else
3079       plugin->external_hostname = GNUNET_strdup (tmp);
3080     GNUNET_free (eh_tmp);
3081
3082     LOG (GNUNET_ERROR_TYPE_INFO,
3083          _("Using external hostname `%s'\n"),
3084          plugin->external_hostname);
3085     plugin->notify_ext_task = GNUNET_SCHEDULER_add_now (&server_notify_external_hostname,
3086                                                         plugin);
3087
3088     /* Use only configured external hostname */
3089     if (GNUNET_CONFIGURATION_have_value
3090         (plugin->env->cfg,
3091          plugin->name,
3092          "EXTERNAL_HOSTNAME_ONLY"))
3093     {
3094       plugin->external_only =
3095         GNUNET_CONFIGURATION_get_value_yesno (plugin->env->cfg,
3096                                               plugin->name,
3097                                               "EXTERNAL_HOSTNAME_ONLY");
3098     }
3099     else
3100       plugin->external_only = GNUNET_NO;
3101
3102     if (GNUNET_YES == plugin->external_only)
3103       LOG (GNUNET_ERROR_TYPE_DEBUG,
3104            _("Notifying transport only about hostname `%s'\n"),
3105            plugin->external_hostname);
3106   }
3107   else
3108     LOG (GNUNET_ERROR_TYPE_DEBUG,
3109          "No external hostname configured\n");
3110
3111   /* Optional parameters */
3112   if (GNUNET_OK !=
3113       GNUNET_CONFIGURATION_get_value_number (plugin->env->cfg,
3114                                              plugin->name,
3115                                              "MAX_CONNECTIONS",
3116                                              &max_connections))
3117     max_connections = 128;
3118   plugin->max_request = max_connections;
3119
3120   LOG (GNUNET_ERROR_TYPE_DEBUG,
3121        _("Maximum number of connections is %u\n"),
3122        plugin->max_request);
3123
3124   plugin->peer_id_length = strlen (GNUNET_i2s_full (plugin->env->my_identity));
3125
3126   return GNUNET_OK;
3127 }
3128
3129
3130 /**
3131  * Exit point from the plugin.
3132  *
3133  * @param cls api
3134  * @return NULL
3135  */
3136 void *
3137 LIBGNUNET_PLUGIN_TRANSPORT_DONE (void *cls)
3138 {
3139   struct GNUNET_TRANSPORT_PluginFunctions *api = cls;
3140   struct HTTP_Server_Plugin *plugin = api->cls;
3141
3142   if (NULL == api->cls)
3143   {
3144     /* Free for stub mode */
3145     GNUNET_free (api);
3146     return NULL;
3147   }
3148   plugin->in_shutdown = GNUNET_YES;
3149   LOG (GNUNET_ERROR_TYPE_INFO,
3150        _("Shutting down plugin `%s'\n"),
3151        plugin->name);
3152
3153   if (NULL != plugin->notify_ext_task)
3154   {
3155     GNUNET_SCHEDULER_cancel (plugin->notify_ext_task);
3156     plugin->notify_ext_task = NULL;
3157   }
3158
3159   if (NULL != plugin->ext_addr)
3160   {
3161     LOG (GNUNET_ERROR_TYPE_DEBUG,
3162          "Notifying transport to remove address `%s'\n",
3163          http_common_plugin_address_to_string (plugin->protocol,
3164                                                plugin->ext_addr->address,
3165                                                plugin->ext_addr->address_length));
3166 #if BUILD_HTTPS
3167     plugin->env->notify_address (plugin->env->cls,
3168                                  GNUNET_NO,
3169                                  plugin->ext_addr);
3170 #else
3171   plugin->env->notify_address (plugin->env->cls,
3172                                GNUNET_NO,
3173                                plugin->ext_addr);
3174 #endif
3175     GNUNET_HELLO_address_free (plugin->ext_addr);
3176     plugin->ext_addr = NULL;
3177   }
3178
3179   /* Stop to report addresses to transport service */
3180   server_stop_report_addresses (plugin);
3181   if (NULL != plugin->server_v4)
3182   {
3183     MHD_stop_daemon (plugin->server_v4);
3184     plugin->server_v4 = NULL;
3185   }
3186   if (NULL != plugin->server_v6)
3187   {
3188     MHD_stop_daemon (plugin->server_v6);
3189     plugin->server_v6 = NULL;
3190   }
3191   if (NULL != plugin->server_v4_task)
3192   {
3193     GNUNET_SCHEDULER_cancel (plugin->server_v4_task);
3194     plugin->server_v4_task = NULL;
3195   }
3196
3197   if (NULL != plugin->server_v6_task)
3198   {
3199     GNUNET_SCHEDULER_cancel (plugin->server_v6_task);
3200     plugin->server_v6_task = NULL;
3201   }
3202 #if BUILD_HTTPS
3203   GNUNET_free_non_null (plugin->crypto_init);
3204   GNUNET_free_non_null (plugin->cert);
3205   GNUNET_free_non_null (plugin->key);
3206 #endif
3207   GNUNET_CONTAINER_multipeermap_iterate (plugin->sessions,
3208                                          &destroy_session_shutdown_cb,
3209                                          plugin);
3210   GNUNET_CONTAINER_multipeermap_destroy (plugin->sessions);
3211   plugin->sessions = NULL;
3212   /* Clean up */
3213   GNUNET_free_non_null (plugin->external_hostname);
3214   GNUNET_free_non_null (plugin->ext_addr);
3215   GNUNET_free_non_null (plugin->server_addr_v4);
3216   GNUNET_free_non_null (plugin->server_addr_v6);
3217   regfree (&plugin->url_regex);
3218
3219   LOG (GNUNET_ERROR_TYPE_DEBUG,
3220        _("Shutdown for plugin `%s' complete\n"),
3221        plugin->name);
3222
3223   GNUNET_free (plugin);
3224   GNUNET_free (api);
3225   return NULL;
3226 }
3227
3228
3229 /**
3230  * Function called for a quick conversion of the binary address to
3231  * a numeric address.  Note that the caller must not free the
3232  * address and that the next call to this function is allowed
3233  * to override the address again.
3234  *
3235  * @param cls unused
3236  * @param addr binary address
3237  * @param addrlen length of the address
3238  * @return string representing the same address
3239  */
3240 static const char *
3241 http_server_plugin_address_to_string (void *cls,
3242                                       const void *addr,
3243                                       size_t addrlen)
3244 {
3245   return http_common_plugin_address_to_string (PLUGIN_NAME,
3246                                                addr,
3247                                                addrlen);
3248 }
3249
3250
3251 /**
3252  * Function obtain the network type for a session
3253  *
3254  * @param cls closure ('struct HTTP_Server_Plugin*')
3255  * @param session the session
3256  * @return the network type in HBO or #GNUNET_SYSERR
3257  */
3258 static enum GNUNET_ATS_Network_Type
3259 http_server_plugin_get_network (void *cls,
3260                                 struct Session *session)
3261 {
3262   return session->scope;
3263 }
3264
3265
3266 /**
3267  * Function that will be called whenever the transport service wants to
3268  * notify the plugin that the inbound quota changed and that the plugin
3269  * should update it's delay for the next receive value
3270  *
3271  * @param cls closure
3272  * @param peer which peer was the session for
3273  * @param session which session is being updated
3274  * @param delay new delay to use for receiving
3275  */
3276 static void
3277 http_server_plugin_update_inbound_delay (void *cls,
3278                                          const struct GNUNET_PeerIdentity *peer,
3279                                          struct Session *session,
3280                                          struct GNUNET_TIME_Relative delay)
3281 {
3282   session->next_receive = GNUNET_TIME_relative_to_absolute (delay);
3283   LOG (GNUNET_ERROR_TYPE_DEBUG,
3284        "New inbound delay %s\n",
3285        GNUNET_STRINGS_relative_time_to_string (delay,
3286                                                GNUNET_NO));
3287   if (NULL != session->recv_wakeup_task)
3288   {
3289     GNUNET_SCHEDULER_cancel (session->recv_wakeup_task);
3290     session->recv_wakeup_task
3291       = GNUNET_SCHEDULER_add_delayed (delay,
3292                                       &server_wake_up,
3293                                       session);
3294   }
3295 }
3296
3297
3298 /**
3299  * Return information about the given session to the
3300  * monitor callback.
3301  *
3302  * @param cls the `struct Plugin` with the monitor callback (`sic`)
3303  * @param peer peer we send information about
3304  * @param value our `struct Session` to send information about
3305  * @return #GNUNET_OK (continue to iterate)
3306  */
3307 static int
3308 send_session_info_iter (void *cls,
3309                         const struct GNUNET_PeerIdentity *peer,
3310                         void *value)
3311 {
3312   struct HTTP_Server_Plugin *plugin = cls;
3313   struct Session *session = value;
3314
3315   notify_session_monitor (plugin,
3316                           session,
3317                           GNUNET_TRANSPORT_SS_INIT);
3318   return GNUNET_OK;
3319 }
3320
3321
3322 /**
3323  * Begin monitoring sessions of a plugin.  There can only
3324  * be one active monitor per plugin (i.e. if there are
3325  * multiple monitors, the transport service needs to
3326  * multiplex the generated events over all of them).
3327  *
3328  * @param cls closure of the plugin
3329  * @param sic callback to invoke, NULL to disable monitor;
3330  *            plugin will being by iterating over all active
3331  *            sessions immediately and then enter monitor mode
3332  * @param sic_cls closure for @a sic
3333  */
3334 static void
3335 http_server_plugin_setup_monitor (void *cls,
3336                                   GNUNET_TRANSPORT_SessionInfoCallback sic,
3337                                   void *sic_cls)
3338 {
3339   struct HTTP_Server_Plugin *plugin = cls;
3340
3341   plugin->sic = sic;
3342   plugin->sic_cls = sic_cls;
3343   if (NULL != sic)
3344   {
3345     GNUNET_CONTAINER_multipeermap_iterate (plugin->sessions,
3346                                            &send_session_info_iter,
3347                                            plugin);
3348     /* signal end of first iteration */
3349     sic (sic_cls, NULL, NULL);
3350   }
3351 }
3352
3353
3354 /**
3355  * Entry point for the plugin.
3356  *
3357  * @param cls env
3358  * @return api
3359  */
3360 void *
3361 LIBGNUNET_PLUGIN_TRANSPORT_INIT (void *cls)
3362 {
3363   struct GNUNET_TRANSPORT_PluginEnvironment *env = cls;
3364   struct GNUNET_TRANSPORT_PluginFunctions *api;
3365   struct HTTP_Server_Plugin *plugin;
3366
3367   if (NULL == env->receive)
3368   {
3369     /* run in 'stub' mode (i.e. as part of gnunet-peerinfo), don't fully
3370        initialze the plugin or the API */
3371     api = GNUNET_new (struct GNUNET_TRANSPORT_PluginFunctions);
3372     api->cls = NULL;
3373     api->address_to_string = &http_server_plugin_address_to_string;
3374     api->string_to_address = &http_common_plugin_string_to_address;
3375     api->address_pretty_printer = &http_common_plugin_address_pretty_printer;
3376     return api;
3377   }
3378   plugin = GNUNET_new (struct HTTP_Server_Plugin);
3379   plugin->env = env;
3380   plugin->sessions = GNUNET_CONTAINER_multipeermap_create (128,
3381                                                            GNUNET_YES);
3382
3383   api = GNUNET_new (struct GNUNET_TRANSPORT_PluginFunctions);
3384   api->cls = plugin;
3385   api->send = &http_server_plugin_send;
3386   api->disconnect_peer = &http_server_plugin_disconnect_peer;
3387   api->disconnect_session = &http_server_plugin_disconnect_session;
3388   api->query_keepalive_factor = &http_server_query_keepalive_factor;
3389   api->check_address = &http_server_plugin_address_suggested;
3390   api->get_session = &http_server_plugin_get_session;
3391
3392   api->address_to_string = &http_server_plugin_address_to_string;
3393   api->string_to_address = &http_common_plugin_string_to_address;
3394   api->address_pretty_printer = &http_common_plugin_address_pretty_printer;
3395   api->get_network = &http_server_plugin_get_network;
3396   api->update_session_timeout = &http_server_plugin_update_session_timeout;
3397   api->update_inbound_delay = &http_server_plugin_update_inbound_delay;
3398   api->setup_monitor = &http_server_plugin_setup_monitor;
3399 #if BUILD_HTTPS
3400   plugin->name = "transport-https_server";
3401   plugin->protocol = "https";
3402 #else
3403   plugin->name = "transport-http_server";
3404   plugin->protocol = "http";
3405 #endif
3406
3407   if (GNUNET_YES ==
3408       GNUNET_CONFIGURATION_get_value_yesno (env->cfg,
3409                                             plugin->name,
3410                                             "TCP_STEALTH"))
3411   {
3412 #ifdef TCP_STEALTH
3413     plugin->options |= HTTP_OPTIONS_TCP_STEALTH;
3414 #else
3415     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3416                 _("TCP_STEALTH not supported on this platform.\n"));
3417     LIBGNUNET_PLUGIN_TRANSPORT_DONE (api);
3418     return NULL;
3419 #endif
3420   }
3421
3422   /* Compile URL regex */
3423   if (regcomp(&plugin->url_regex,
3424               URL_REGEX,
3425               REG_EXTENDED))
3426   {
3427     LOG (GNUNET_ERROR_TYPE_ERROR,
3428                      _("Unable to compile URL regex\n"));
3429     LIBGNUNET_PLUGIN_TRANSPORT_DONE (api);
3430     return NULL;
3431   }
3432
3433   /* Configure plugin */
3434   if (GNUNET_SYSERR == server_configure_plugin (plugin))
3435   {
3436     LIBGNUNET_PLUGIN_TRANSPORT_DONE (api);
3437     return NULL;
3438   }
3439
3440   /* Check IPv6 support */
3441   if (GNUNET_YES == plugin->use_ipv6)
3442     plugin->use_ipv6 = server_check_ipv6_support (plugin);
3443
3444   /* Report addresses to transport service */
3445   if (GNUNET_NO == plugin->external_only)
3446     server_start_report_addresses (plugin);
3447
3448   if (GNUNET_SYSERR == server_start (plugin))
3449   {
3450     LIBGNUNET_PLUGIN_TRANSPORT_DONE (api);
3451     return NULL;
3452   }
3453   return api;
3454 }
3455
3456 /* end of plugin_transport_http_server.c */