add first sketch of gns benchmarking tool
[oweals/gnunet.git] / src / gns / gnunet-gns-proxy.c
1 /*
2      This file is part of GNUnet.
3      Copyright (C) 2012-2014 GNUnet e.V.
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
18      Boston, MA 02110-1301, USA.
19 */
20 /**
21  * @author Martin Schanzenbach
22  * @author Christian Grothoff
23  * @file src/gns/gnunet-gns-proxy.c
24  * @brief HTTP(S) proxy that rewrites URIs and fakes certificats to make GNS work
25  *        with legacy browsers
26  *
27  * TODO:
28  * - double-check queueing logic
29  */
30 #include "platform.h"
31 #include <microhttpd.h>
32 #if HAVE_CURL_CURL_H
33 #include <curl/curl.h>
34 #elif HAVE_GNURL_CURL_H
35 #include <gnurl/curl.h>
36 #endif
37 #include <gnutls/gnutls.h>
38 #include <gnutls/x509.h>
39 #include <gnutls/abstract.h>
40 #include <gnutls/crypto.h>
41 #if HAVE_GNUTLS_DANE
42 #include <gnutls/dane.h>
43 #endif
44 #include <regex.h>
45 #include "gnunet_util_lib.h"
46 #include "gnunet_gns_service.h"
47 #include "gnunet_identity_service.h"
48 #include "gns.h"
49
50
51 /**
52  * Default Socks5 listen port.
53  */
54 #define GNUNET_GNS_PROXY_PORT 7777
55
56 /**
57  * Maximum supported length for a URI.
58  * Should die. @deprecated
59  */
60 #define MAX_HTTP_URI_LENGTH 2048
61
62 /**
63  * Size of the buffer for the data upload / download.  Must be
64  * enough for curl, thus CURL_MAX_WRITE_SIZE is needed here (16k).
65  */
66 #define IO_BUFFERSIZE CURL_MAX_WRITE_SIZE
67
68 /**
69  * Size of the read/write buffers for Socks.   Uses
70  * 256 bytes for the hostname (at most), plus a few
71  * bytes overhead for the messages.
72  */
73 #define SOCKS_BUFFERSIZE (256 + 32)
74
75 /**
76  * Port for plaintext HTTP.
77  */
78 #define HTTP_PORT 80
79
80 /**
81  * Port for HTTPS.
82  */
83 #define HTTPS_PORT 443
84
85 /**
86  * Largest allowed size for a PEM certificate.
87  */
88 #define MAX_PEM_SIZE (10 * 1024)
89
90 /**
91  * After how long do we clean up unused MHD TLS instances?
92  */
93 #define MHD_CACHE_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 5)
94
95 /**
96  * After how long do we clean up Socks5 handles that failed to show any activity
97  * with their respective MHD instance?
98  */
99 #define HTTP_HANDSHAKE_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 15)
100
101
102 /**
103  * Log curl error.
104  *
105  * @param level log level
106  * @param fun name of curl_easy-function that gave the error
107  * @param rc return code from curl
108  */
109 #define LOG_CURL_EASY(level,fun,rc) GNUNET_log(level, _("%s failed at %s:%d: `%s'\n"), fun, __FILE__, __LINE__, curl_easy_strerror (rc))
110
111
112 /* *************** Socks protocol definitions (move to TUN?) ****************** */
113
114 /**
115  * Which SOCKS version do we speak?
116  */
117 #define SOCKS_VERSION_5 0x05
118
119 /**
120  * Flag to set for 'no authentication'.
121  */
122 #define SOCKS_AUTH_NONE 0
123
124
125 /**
126  * Commands in Socks5.
127  */
128 enum Socks5Commands
129 {
130   /**
131    * Establish TCP/IP stream.
132    */
133   SOCKS5_CMD_TCP_STREAM = 1,
134
135   /**
136    * Establish TCP port binding.
137    */
138   SOCKS5_CMD_TCP_PORT = 2,
139
140   /**
141    * Establish UDP port binding.
142    */
143   SOCKS5_CMD_UDP_PORT = 3
144 };
145
146
147 /**
148  * Address types in Socks5.
149  */
150 enum Socks5AddressType
151 {
152   /**
153    * IPv4 address.
154    */
155   SOCKS5_AT_IPV4 = 1,
156
157   /**
158    * IPv4 address.
159    */
160   SOCKS5_AT_DOMAINNAME = 3,
161
162   /**
163    * IPv6 address.
164    */
165   SOCKS5_AT_IPV6 = 4
166
167 };
168
169
170 /**
171  * Status codes in Socks5 response.
172  */
173 enum Socks5StatusCode
174 {
175   SOCKS5_STATUS_REQUEST_GRANTED = 0,
176   SOCKS5_STATUS_GENERAL_FAILURE = 1,
177   SOCKS5_STATUS_CONNECTION_NOT_ALLOWED_BY_RULE = 2,
178   SOCKS5_STATUS_NETWORK_UNREACHABLE = 3,
179   SOCKS5_STATUS_HOST_UNREACHABLE = 4,
180   SOCKS5_STATUS_CONNECTION_REFUSED_BY_HOST = 5,
181   SOCKS5_STATUS_TTL_EXPIRED = 6,
182   SOCKS5_STATUS_COMMAND_NOT_SUPPORTED = 7,
183   SOCKS5_STATUS_ADDRESS_TYPE_NOT_SUPPORTED = 8
184 };
185
186
187 /**
188  * Client hello in Socks5 protocol.
189  */
190 struct Socks5ClientHelloMessage
191 {
192   /**
193    * Should be #SOCKS_VERSION_5.
194    */
195   uint8_t version;
196
197   /**
198    * How many authentication methods does the client support.
199    */
200   uint8_t num_auth_methods;
201
202   /* followed by supported authentication methods, 1 byte per method */
203
204 };
205
206
207 /**
208  * Server hello in Socks5 protocol.
209  */
210 struct Socks5ServerHelloMessage
211 {
212   /**
213    * Should be #SOCKS_VERSION_5.
214    */
215   uint8_t version;
216
217   /**
218    * Chosen authentication method, for us always #SOCKS_AUTH_NONE,
219    * which skips the authentication step.
220    */
221   uint8_t auth_method;
222 };
223
224
225 /**
226  * Client socks request in Socks5 protocol.
227  */
228 struct Socks5ClientRequestMessage
229 {
230   /**
231    * Should be #SOCKS_VERSION_5.
232    */
233   uint8_t version;
234
235   /**
236    * Command code, we only uspport #SOCKS5_CMD_TCP_STREAM.
237    */
238   uint8_t command;
239
240   /**
241    * Reserved, always zero.
242    */
243   uint8_t resvd;
244
245   /**
246    * Address type, an `enum Socks5AddressType`.
247    */
248   uint8_t addr_type;
249
250   /*
251    * Followed by either an ip4/ipv6 address or a domain name with a
252    * length field (uint8_t) in front (depending on @e addr_type).
253    * followed by port number in network byte order (uint16_t).
254    */
255 };
256
257
258 /**
259  * Server response to client requests in Socks5 protocol.
260  */
261 struct Socks5ServerResponseMessage
262 {
263   /**
264    * Should be #SOCKS_VERSION_5.
265    */
266   uint8_t version;
267
268   /**
269    * Status code, an `enum Socks5StatusCode`
270    */
271   uint8_t reply;
272
273   /**
274    * Always zero.
275    */
276   uint8_t reserved;
277
278   /**
279    * Address type, an `enum Socks5AddressType`.
280    */
281   uint8_t addr_type;
282
283   /*
284    * Followed by either an ip4/ipv6 address or a domain name with a
285    * length field (uint8_t) in front (depending on @e addr_type).
286    * followed by port number in network byte order (uint16_t).
287    */
288
289 };
290
291
292
293 /* *********************** Datastructures for HTTP handling ****************** */
294
295 /**
296  * A structure for CA cert/key
297  */
298 struct ProxyCA
299 {
300   /**
301    * The certificate
302    */
303   gnutls_x509_crt_t cert;
304
305   /**
306    * The private key
307    */
308   gnutls_x509_privkey_t key;
309 };
310
311
312 /**
313  * Structure for GNS certificates
314  */
315 struct ProxyGNSCertificate
316 {
317   /**
318    * The certificate as PEM
319    */
320   char cert[MAX_PEM_SIZE];
321
322   /**
323    * The private key as PEM
324    */
325   char key[MAX_PEM_SIZE];
326 };
327
328
329
330 /**
331  * A structure for all running Httpds
332  */
333 struct MhdHttpList
334 {
335   /**
336    * DLL for httpds
337    */
338   struct MhdHttpList *prev;
339
340   /**
341    * DLL for httpds
342    */
343   struct MhdHttpList *next;
344
345   /**
346    * the domain name to server (only important for TLS)
347    */
348   char *domain;
349
350   /**
351    * The daemon handle
352    */
353   struct MHD_Daemon *daemon;
354
355   /**
356    * Optional proxy certificate used
357    */
358   struct ProxyGNSCertificate *proxy_cert;
359
360   /**
361    * The task ID
362    */
363   struct GNUNET_SCHEDULER_Task *httpd_task;
364
365   /**
366    * is this an ssl daemon?
367    */
368   int is_ssl;
369
370 };
371
372
373 /* ***************** Datastructures for Socks handling **************** */
374
375
376 /**
377  * The socks phases.
378  */
379 enum SocksPhase
380 {
381   /**
382    * We're waiting to get the client hello.
383    */
384   SOCKS5_INIT,
385
386   /**
387    * We're waiting to get the initial request.
388    */
389   SOCKS5_REQUEST,
390
391   /**
392    * We are currently resolving the destination.
393    */
394   SOCKS5_RESOLVING,
395
396   /**
397    * We're in transfer mode.
398    */
399   SOCKS5_DATA_TRANSFER,
400
401   /**
402    * Finish writing the write buffer, then clean up.
403    */
404   SOCKS5_WRITE_THEN_CLEANUP,
405
406   /**
407    * Socket has been passed to MHD, do not close it anymore.
408    */
409   SOCKS5_SOCKET_WITH_MHD,
410
411   /**
412    * We've started receiving upload data from MHD.
413    */
414   SOCKS5_SOCKET_UPLOAD_STARTED,
415
416   /**
417    * We've finished receiving upload data from MHD.
418    */
419   SOCKS5_SOCKET_UPLOAD_DONE,
420
421   /**
422    * We've finished uploading data via CURL and can now download.
423    */
424   SOCKS5_SOCKET_DOWNLOAD_STARTED,
425
426   /**
427    * We've finished receiving download data from cURL.
428    */
429   SOCKS5_SOCKET_DOWNLOAD_DONE
430 };
431
432
433 /**
434  * A header list
435  */
436 struct HttpResponseHeader
437 {
438   /**
439    * DLL
440    */
441   struct HttpResponseHeader *next;
442
443   /**
444    * DLL
445    */
446   struct HttpResponseHeader *prev;
447
448   /**
449    * Header type
450    */
451   char *type;
452
453   /**
454    * Header value
455    */
456   char *value;
457 };
458
459 /**
460  * A structure for socks requests
461  */
462 struct Socks5Request
463 {
464
465   /**
466    * DLL.
467    */
468   struct Socks5Request *next;
469
470   /**
471    * DLL.
472    */
473   struct Socks5Request *prev;
474
475   /**
476    * The client socket
477    */
478   struct GNUNET_NETWORK_Handle *sock;
479
480   /**
481    * Handle to GNS lookup, during #SOCKS5_RESOLVING phase.
482    */
483   struct GNUNET_GNS_LookupWithTldRequest *gns_lookup;
484
485   /**
486    * Client socket read task
487    */
488   struct GNUNET_SCHEDULER_Task *rtask;
489
490   /**
491    * Client socket write task
492    */
493   struct GNUNET_SCHEDULER_Task *wtask;
494
495   /**
496    * Timeout task
497    */
498   struct GNUNET_SCHEDULER_Task *timeout_task;
499
500   /**
501    * Read buffer
502    */
503   char rbuf[SOCKS_BUFFERSIZE];
504
505   /**
506    * Write buffer
507    */
508   char wbuf[SOCKS_BUFFERSIZE];
509
510   /**
511    * Buffer we use for moving data between MHD and curl (in both directions).
512    */
513   char io_buf[IO_BUFFERSIZE];
514
515   /**
516    * MHD HTTP instance handling this request, NULL for none.
517    */
518   struct MhdHttpList *hd;
519
520   /**
521    * MHD connection for this request.
522    */
523   struct MHD_Connection *con;
524
525   /**
526    * MHD response object for this request.
527    */
528   struct MHD_Response *response;
529
530   /**
531    * the domain name to server (only important for TLS)
532    */
533   char *domain;
534
535   /**
536    * DNS Legacy Host Name as given by GNS, NULL if not given.
537    */
538   char *leho;
539
540   /**
541    * Payload of the (last) DANE record encountered.
542    */
543   char *dane_data;
544
545   /**
546    * The URL to fetch
547    */
548   char *url;
549
550   /**
551    * Handle to cURL
552    */
553   CURL *curl;
554
555   /**
556    * HTTP request headers for the curl request.
557    */
558   struct curl_slist *headers;
559
560   /**
561    * DNS->IP mappings resolved through GNS
562    */
563   struct curl_slist *hosts;
564
565   /**
566    * HTTP response code to give to MHD for the response.
567    */
568   unsigned int response_code;
569
570   /**
571    * Number of bytes in @e dane_data.
572    */
573   size_t dane_data_len;
574
575   /**
576    * Number of bytes already in read buffer
577    */
578   size_t rbuf_len;
579
580   /**
581    * Number of bytes already in write buffer
582    */
583   size_t wbuf_len;
584
585   /**
586    * Number of bytes already in the IO buffer.
587    */
588   size_t io_len;
589
590   /**
591    * Once known, what's the target address for the connection?
592    */
593   struct sockaddr_storage destination_address;
594
595   /**
596    * The socks state
597    */
598   enum SocksPhase state;
599
600   /**
601    * Desired destination port.
602    */
603   uint16_t port;
604
605   /**
606    * Headers from response
607    */
608   struct HttpResponseHeader *header_head;
609
610   /**
611    * Headers from response
612    */
613   struct HttpResponseHeader *header_tail;
614
615   /**
616    * X.509 Certificate status
617    */
618   int ssl_checked;
619
620   /**
621    * Was the hostname resolved via GNS?
622    */
623   int is_gns;
624
625   /**
626    * Did we suspend MHD processing?
627    */
628   int suspended;
629 };
630
631
632
633 /* *********************** Globals **************************** */
634
635
636 /**
637  * The port the proxy is running on (default 7777)
638  */
639 static unsigned long long port = GNUNET_GNS_PROXY_PORT;
640
641 /**
642  * The CA file (pem) to use for the proxy CA
643  */
644 static char *cafile_opt;
645
646 /**
647  * The listen socket of the proxy for IPv4
648  */
649 static struct GNUNET_NETWORK_Handle *lsock4;
650
651 /**
652  * The listen socket of the proxy for IPv6
653  */
654 static struct GNUNET_NETWORK_Handle *lsock6;
655
656 /**
657  * The listen task ID for IPv4
658  */
659 static struct GNUNET_SCHEDULER_Task * ltask4;
660
661 /**
662  * The listen task ID for IPv6
663  */
664 static struct GNUNET_SCHEDULER_Task * ltask6;
665
666 /**
667  * The cURL download task (curl multi API).
668  */
669 static struct GNUNET_SCHEDULER_Task * curl_download_task;
670
671 /**
672  * The cURL multi handle
673  */
674 static CURLM *curl_multi;
675
676 /**
677  * Handle to the GNS service
678  */
679 static struct GNUNET_GNS_Handle *gns_handle;
680
681 /**
682  * DLL for http/https daemons
683  */
684 static struct MhdHttpList *mhd_httpd_head;
685
686 /**
687  * DLL for http/https daemons
688  */
689 static struct MhdHttpList *mhd_httpd_tail;
690
691 /**
692  * Daemon for HTTP (we have one per X.509 certificate, and then one for
693  * all HTTP connections; this is the one for HTTP, not HTTPS).
694  */
695 static struct MhdHttpList *httpd;
696
697 /**
698  * DLL of active socks requests.
699  */
700 static struct Socks5Request *s5r_head;
701
702 /**
703  * DLL of active socks requests.
704  */
705 static struct Socks5Request *s5r_tail;
706
707 /**
708  * The CA for X.509 certificate generation
709  */
710 static struct ProxyCA proxy_ca;
711
712 /**
713  * Response we return on cURL failures.
714  */
715 static struct MHD_Response *curl_failure_response;
716
717 /**
718  * Our configuration.
719  */
720 static const struct GNUNET_CONFIGURATION_Handle *cfg;
721
722
723 /* ************************* Global helpers ********************* */
724
725
726 /**
727  * Run MHD now, we have extra data ready for the callback.
728  *
729  * @param hd the daemon to run now.
730  */
731 static void
732 run_mhd_now (struct MhdHttpList *hd);
733
734
735 /**
736  * Clean up s5r handles.
737  *
738  * @param s5r the handle to destroy
739  */
740 static void
741 cleanup_s5r (struct Socks5Request *s5r)
742 {
743   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
744               "Cleaning up socks request\n");
745   if (NULL != s5r->curl)
746   {
747     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
748                 "Cleaning up cURL handle\n");
749     curl_multi_remove_handle (curl_multi,
750                               s5r->curl);
751     curl_easy_cleanup (s5r->curl);
752     s5r->curl = NULL;
753   }
754   if (s5r->suspended)
755   {
756     s5r->suspended = GNUNET_NO;
757     MHD_resume_connection (s5r->con);
758   }
759   curl_slist_free_all (s5r->headers);
760   if (NULL != s5r->hosts)
761   {
762     curl_slist_free_all (s5r->hosts);
763   }
764   if ( (NULL != s5r->response) &&
765        (curl_failure_response != s5r->response) )
766     MHD_destroy_response (s5r->response);
767   if (NULL != s5r->rtask)
768     GNUNET_SCHEDULER_cancel (s5r->rtask);
769   if (NULL != s5r->timeout_task)
770     GNUNET_SCHEDULER_cancel (s5r->timeout_task);
771   if (NULL != s5r->wtask)
772     GNUNET_SCHEDULER_cancel (s5r->wtask);
773   if (NULL != s5r->gns_lookup)
774     GNUNET_GNS_lookup_with_tld_cancel (s5r->gns_lookup);
775   if (NULL != s5r->sock)
776   {
777     if (SOCKS5_SOCKET_WITH_MHD <= s5r->state)
778       GNUNET_NETWORK_socket_free_memory_only_ (s5r->sock);
779     else
780       GNUNET_NETWORK_socket_close (s5r->sock);
781   }
782   GNUNET_CONTAINER_DLL_remove (s5r_head,
783                                s5r_tail,
784                                s5r);
785   GNUNET_free_non_null (s5r->domain);
786   GNUNET_free_non_null (s5r->leho);
787   GNUNET_free_non_null (s5r->url);
788   GNUNET_free_non_null (s5r->dane_data);
789   GNUNET_free (s5r);
790 }
791
792
793 /* ************************* HTTP handling with cURL *********************** */
794
795 static void
796 curl_download_prepare ();
797
798
799 /**
800  * Callback for MHD response generation.  This function is called from
801  * MHD whenever MHD expects to get data back.  Copies data from the
802  * io_buf, if available.
803  *
804  * @param cls closure with our `struct Socks5Request`
805  * @param pos in buffer
806  * @param buf where to copy data
807  * @param max available space in @a buf
808  * @return number of bytes written to @a buf
809  */
810 static ssize_t
811 mhd_content_cb (void *cls,
812                 uint64_t pos,
813                 char* buf,
814                 size_t max)
815 {
816   struct Socks5Request *s5r = cls;
817   size_t bytes_to_copy;
818
819   if ( (SOCKS5_SOCKET_UPLOAD_STARTED == s5r->state) ||
820        (SOCKS5_SOCKET_UPLOAD_DONE == s5r->state) )
821   {
822     /* we're still not done with the upload, do not yet
823        start the download, the IO buffer is still full
824        with upload data. */
825     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
826                 "Pausing MHD download, not yet ready for download\n");
827     return 0; /* not yet ready for data download */
828   }
829   bytes_to_copy = GNUNET_MIN (max,
830                               s5r->io_len);
831   if ( (0 == bytes_to_copy) &&
832        (SOCKS5_SOCKET_DOWNLOAD_DONE != s5r->state) )
833   {
834     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
835                 "Pausing MHD download, no data available\n");
836     if (NULL != s5r->curl)
837     {
838       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
839                   "Continuing CURL interaction\n");
840       curl_easy_pause (s5r->curl, CURLPAUSE_CONT);
841       curl_download_prepare ();
842     }
843     if (GNUNET_NO == s5r->suspended)
844     {
845       MHD_suspend_connection (s5r->con);
846       s5r->suspended = GNUNET_YES;
847     }
848     return 0; /* more data later */
849   }
850   if ( (0 == bytes_to_copy) &&
851        (SOCKS5_SOCKET_DOWNLOAD_DONE == s5r->state) )
852   {
853     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
854                 "Completed MHD download\n");
855     return MHD_CONTENT_READER_END_OF_STREAM;
856   }
857   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
858               "Writing %llu/%llu bytes\n",
859               (unsigned long long) bytes_to_copy,
860               (unsigned long long) s5r->io_len);
861   GNUNET_memcpy (buf,
862                  s5r->io_buf,
863                  bytes_to_copy);
864   memmove (s5r->io_buf,
865            &s5r->io_buf[bytes_to_copy],
866            s5r->io_len - bytes_to_copy);
867   s5r->io_len -= bytes_to_copy;
868   if (NULL != s5r->curl)
869   {
870     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
871                 "Continuing CURL interaction\n");
872     curl_easy_pause (s5r->curl,
873                      CURLPAUSE_CONT);
874   }
875   return bytes_to_copy;
876 }
877
878
879 /**
880  * Check that the website has presented us with a valid X.509 certificate.
881  * The certificate must either match the domain name or the LEHO name
882  * (or, if available, the TLSA record).
883  *
884  * @param s5r request to check for.
885  * @return #GNUNET_OK if the certificate is valid
886  */
887 static int
888 check_ssl_certificate (struct Socks5Request *s5r)
889 {
890   unsigned int cert_list_size;
891   const gnutls_datum_t *chainp;
892   const struct curl_tlssessioninfo *tlsinfo;
893   char certdn[GNUNET_DNSPARSER_MAX_NAME_LENGTH + 3];
894   size_t size;
895   gnutls_x509_crt_t x509_cert;
896   int rc;
897   const char *name;
898
899   s5r->ssl_checked = GNUNET_YES;
900   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
901               "Checking X.509 certificate\n");
902   if (CURLE_OK !=
903       curl_easy_getinfo (s5r->curl,
904                          CURLINFO_TLS_SESSION,
905                          (struct curl_slist **) &tlsinfo))
906     return GNUNET_SYSERR;
907   if (CURLSSLBACKEND_GNUTLS != tlsinfo->backend)
908   {
909     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
910                 _("Unsupported CURL TLS backend %d\n"),
911                 tlsinfo->backend);
912     return GNUNET_SYSERR;
913   }
914   chainp = gnutls_certificate_get_peers (tlsinfo->internals, &cert_list_size);
915   if ( (! chainp) || (0 == cert_list_size) )
916     return GNUNET_SYSERR;
917
918   size = sizeof (certdn);
919   /* initialize an X.509 certificate structure. */
920   gnutls_x509_crt_init (&x509_cert);
921   gnutls_x509_crt_import (x509_cert,
922                           chainp,
923                           GNUTLS_X509_FMT_DER);
924
925   if (0 != (rc = gnutls_x509_crt_get_dn_by_oid (x509_cert,
926                                                 GNUTLS_OID_X520_COMMON_NAME,
927                                                 0, /* the first and only one */
928                                                 0 /* no DER encoding */,
929                                                 certdn,
930                                                 &size)))
931   {
932     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
933                 _("Failed to fetch CN from cert: %s\n"),
934                 gnutls_strerror(rc));
935     gnutls_x509_crt_deinit (x509_cert);
936     return GNUNET_SYSERR;
937   }
938   /* check for TLSA/DANE records */
939 #if HAVE_GNUTLS_DANE
940   if (NULL != s5r->dane_data)
941   {
942     char *dd[] = { s5r->dane_data, NULL };
943     int dlen[] = { s5r->dane_data_len, 0};
944     dane_state_t dane_state;
945     dane_query_t dane_query;
946     unsigned int verify;
947
948     /* FIXME: add flags to gnutls to NOT read UNBOUND_ROOT_KEY_FILE here! */
949     if (0 != (rc = dane_state_init (&dane_state,
950 #ifdef DANE_F_IGNORE_DNSSEC
951                                     DANE_F_IGNORE_DNSSEC |
952 #endif
953                                     DANE_F_IGNORE_LOCAL_RESOLVER)))
954     {
955       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
956                   _("Failed to initialize DANE: %s\n"),
957                   dane_strerror(rc));
958       gnutls_x509_crt_deinit (x509_cert);
959       return GNUNET_SYSERR;
960     }
961     if (0 != (rc = dane_raw_tlsa (dane_state,
962                                   &dane_query,
963                                   dd,
964                                   dlen,
965                                   GNUNET_YES,
966                                   GNUNET_NO)))
967     {
968       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
969                   _("Failed to parse DANE record: %s\n"),
970                   dane_strerror(rc));
971       dane_state_deinit (dane_state);
972       gnutls_x509_crt_deinit (x509_cert);
973       return GNUNET_SYSERR;
974     }
975     if (0 != (rc = dane_verify_crt_raw (dane_state,
976                                         chainp,
977                                         cert_list_size,
978                                         gnutls_certificate_type_get (tlsinfo->internals),
979                                         dane_query,
980                                         0, 0,
981                                         &verify)))
982     {
983       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
984                   _("Failed to verify TLS connection using DANE: %s\n"),
985                   dane_strerror(rc));
986       dane_query_deinit (dane_query);
987       dane_state_deinit (dane_state);
988       gnutls_x509_crt_deinit (x509_cert);
989       return GNUNET_SYSERR;
990     }
991     if (0 != verify)
992     {
993       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
994                   _("Failed DANE verification failed with GnuTLS verify status code: %u\n"),
995                   verify);
996       dane_query_deinit (dane_query);
997       dane_state_deinit (dane_state);
998       gnutls_x509_crt_deinit (x509_cert);
999       return GNUNET_SYSERR;
1000     }
1001     dane_query_deinit (dane_query);
1002     dane_state_deinit (dane_state);
1003     /* success! */
1004   }
1005   else
1006 #endif
1007   {
1008     /* try LEHO or ordinary domain name X509 verification */
1009     name = s5r->domain;
1010     if (NULL != s5r->leho)
1011       name = s5r->leho;
1012     if (NULL != name)
1013     {
1014       if (0 == (rc = gnutls_x509_crt_check_hostname (x509_cert,
1015                                                      name)))
1016       {
1017         GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
1018                     _("TLS certificate subject name (%s) does not match `%s'\n"),
1019                     certdn,
1020                     name);
1021         gnutls_x509_crt_deinit (x509_cert);
1022         return GNUNET_SYSERR;
1023       }
1024     }
1025     else
1026     {
1027       /* we did not even have the domain name!? */
1028       GNUNET_break (0);
1029       return GNUNET_SYSERR;
1030     }
1031   }
1032   gnutls_x509_crt_deinit (x509_cert);
1033   return GNUNET_OK;
1034 }
1035
1036
1037 /**
1038  * We're getting an HTTP response header from cURL.  Convert it to the
1039  * MHD response headers.  Mostly copies the headers, but makes special
1040  * adjustments to "Set-Cookie" and "Location" headers as those may need
1041  * to be changed from the LEHO to the domain the browser expects.
1042  *
1043  * @param buffer curl buffer with a single line of header data; not 0-terminated!
1044  * @param size curl blocksize
1045  * @param nmemb curl blocknumber
1046  * @param cls our `struct Socks5Request *`
1047  * @return size of processed bytes
1048  */
1049 static size_t
1050 curl_check_hdr (void *buffer,
1051                 size_t size,
1052                 size_t nmemb,
1053                 void *cls)
1054 {
1055   struct Socks5Request *s5r = cls;
1056   struct HttpResponseHeader *header;
1057   size_t bytes = size * nmemb;
1058   char *ndup;
1059   const char *hdr_type;
1060   const char *cookie_domain;
1061   char *hdr_val;
1062   char *new_cookie_hdr;
1063   char *new_location;
1064   size_t offset;
1065   size_t delta_cdomain;
1066   int domain_matched;
1067   char *tok;
1068
1069   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1070               "Receiving HTTP response header from CURL\n");
1071   /* first, check TLS certificate */
1072   if ( (GNUNET_YES != s5r->ssl_checked) &&
1073        (HTTPS_PORT == s5r->port))
1074   {
1075     if (GNUNET_OK != check_ssl_certificate (s5r))
1076       return 0;
1077   }
1078
1079   ndup = GNUNET_strndup (buffer, bytes);
1080   hdr_type = strtok (ndup, ":");
1081   if (NULL == hdr_type)
1082   {
1083     GNUNET_free (ndup);
1084     return bytes;
1085   }
1086   hdr_val = strtok (NULL, "");
1087   if (NULL == hdr_val)
1088   {
1089     GNUNET_free (ndup);
1090     return bytes;
1091   }
1092   if (' ' == *hdr_val)
1093     hdr_val++;
1094
1095   /* custom logic for certain header types */
1096   new_cookie_hdr = NULL;
1097   if ( (NULL != s5r->leho) &&
1098        (0 == strcasecmp (hdr_type,
1099                          MHD_HTTP_HEADER_SET_COOKIE)) )
1100
1101   {
1102     new_cookie_hdr = GNUNET_malloc (strlen (hdr_val) +
1103                                     strlen (s5r->domain) + 1);
1104     offset = 0;
1105     domain_matched = GNUNET_NO; /* make sure we match domain at most once */
1106     for (tok = strtok (hdr_val, ";"); NULL != tok; tok = strtok (NULL, ";"))
1107     {
1108       if ( (0 == strncasecmp (tok, " domain", strlen (" domain"))) &&
1109            (GNUNET_NO == domain_matched) )
1110       {
1111         domain_matched = GNUNET_YES;
1112         cookie_domain = tok + strlen (" domain") + 1;
1113         if (strlen (cookie_domain) < strlen (s5r->leho))
1114         {
1115           delta_cdomain = strlen (s5r->leho) - strlen (cookie_domain);
1116           if (0 == strcasecmp (cookie_domain, s5r->leho + delta_cdomain))
1117           {
1118             offset += sprintf (new_cookie_hdr + offset,
1119                                " domain=%s;",
1120                                s5r->domain);
1121             continue;
1122           }
1123         }
1124         else if (0 == strcmp (cookie_domain, s5r->leho))
1125         {
1126           offset += sprintf (new_cookie_hdr + offset,
1127                              " domain=%s;",
1128                              s5r->domain);
1129           continue;
1130         }
1131         GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
1132                     _("Cookie domain `%s' supplied by server is invalid\n"),
1133                     tok);
1134       }
1135       GNUNET_memcpy (new_cookie_hdr + offset, tok, strlen (tok));
1136       offset += strlen (tok);
1137       new_cookie_hdr[offset++] = ';';
1138     }
1139     hdr_val = new_cookie_hdr;
1140   }
1141
1142   new_location = NULL;
1143   if (0 == strcasecmp (MHD_HTTP_HEADER_LOCATION, hdr_type))
1144   {
1145     char *leho_host;
1146
1147     GNUNET_asprintf (&leho_host,
1148                      (HTTPS_PORT != s5r->port)
1149                      ? "http://%s"
1150                      : "https://%s",
1151                      s5r->leho);
1152     if (0 == strncmp (leho_host,
1153                       hdr_val,
1154                       strlen (leho_host)))
1155     {
1156       GNUNET_asprintf (&new_location,
1157                        "%s%s%s",
1158                        (HTTPS_PORT != s5r->port)
1159                        ? "http://"
1160                        : "https://",
1161                        s5r->domain,
1162                        hdr_val + strlen (leho_host));
1163       hdr_val = new_location;
1164     }
1165     GNUNET_free (leho_host);
1166   }
1167   /* MHD does not allow certain characters in values, remove those */
1168   if (NULL != (tok = strchr (hdr_val, '\n')))
1169     *tok = '\0';
1170   if (NULL != (tok = strchr (hdr_val, '\r')))
1171     *tok = '\0';
1172   if (NULL != (tok = strchr (hdr_val, '\t')))
1173     *tok = '\0';
1174   if (0 != strlen (hdr_val)) /* Rely in MHD to set those */
1175   {
1176     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1177                 "Adding header %s: %s to MHD response\n",
1178                 hdr_type,
1179                 hdr_val);
1180     header = GNUNET_new (struct HttpResponseHeader);
1181     header->type = GNUNET_strdup (hdr_type);
1182     header->value = GNUNET_strdup (hdr_val);
1183     GNUNET_CONTAINER_DLL_insert (s5r->header_head,
1184                                  s5r->header_tail,
1185                                  header);
1186   }
1187   GNUNET_free (ndup);
1188   GNUNET_free_non_null (new_cookie_hdr);
1189   GNUNET_free_non_null (new_location);
1190   return bytes;
1191 }
1192
1193
1194 /**
1195  * Create an MHD response object in @a s5r matching the
1196  * information we got from curl.
1197  *
1198  * @param s5r the request for which we convert the response
1199  * @return #GNUNET_OK on success, #GNUNET_SYSERR if response was
1200  *         already initialized before
1201  */
1202 static int
1203 create_mhd_response_from_s5r (struct Socks5Request *s5r)
1204 {
1205   long resp_code;
1206   double content_length;
1207
1208   if (NULL != s5r->response)
1209   {
1210     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1211                 "Response already set!\n");
1212     return GNUNET_SYSERR;
1213   }
1214
1215   GNUNET_break (CURLE_OK ==
1216                 curl_easy_getinfo (s5r->curl,
1217                                    CURLINFO_RESPONSE_CODE,
1218                                    &resp_code));
1219   GNUNET_break (CURLE_OK ==
1220                 curl_easy_getinfo (s5r->curl,
1221                                    CURLINFO_CONTENT_LENGTH_DOWNLOAD,
1222                                    &content_length));
1223   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1224               "Creating MHD response with code %d and size %d for %s%s\n",
1225               (int) resp_code,
1226               (int) content_length,
1227               s5r->domain,
1228               s5r->url);
1229   s5r->response_code = resp_code;
1230   s5r->response = MHD_create_response_from_callback ((-1 == content_length) ? MHD_SIZE_UNKNOWN : content_length,
1231                                                      IO_BUFFERSIZE,
1232                                                      &mhd_content_cb,
1233                                                      s5r,
1234                                                      NULL);
1235   for (struct HttpResponseHeader *header = s5r->header_head;
1236        NULL != header;
1237        header = header->next)
1238   {
1239     GNUNET_break (MHD_YES ==
1240                   MHD_add_response_header (s5r->response,
1241                                            header->type,
1242                                            header->value));
1243
1244   }
1245   if (NULL != s5r->leho)
1246   {
1247     char *cors_hdr;
1248
1249     GNUNET_asprintf (&cors_hdr,
1250                      (HTTPS_PORT == s5r->port)
1251                      ? "https://%s"
1252                      : "http://%s",
1253                      s5r->leho);
1254
1255     GNUNET_break (MHD_YES ==
1256                   MHD_add_response_header (s5r->response,
1257                                            MHD_HTTP_HEADER_ACCESS_CONTROL_ALLOW_ORIGIN,
1258                                            cors_hdr));
1259     GNUNET_free (cors_hdr);
1260   }
1261   /* force connection to be closed after each request, as we
1262      do not support HTTP pipelining (yet, FIXME!) */
1263   /*GNUNET_break (MHD_YES ==
1264     MHD_add_response_header (s5r->response,
1265     MHD_HTTP_HEADER_CONNECTION,
1266     "close"));*/
1267   MHD_resume_connection (s5r->con);
1268   s5r->suspended = GNUNET_NO;
1269   return GNUNET_OK;
1270 }
1271
1272 /**
1273  * Handle response payload data from cURL.  Copies it into our `io_buf` to make
1274  * it available to MHD.
1275  *
1276  * @param ptr pointer to the data
1277  * @param size number of blocks of data
1278  * @param nmemb blocksize
1279  * @param ctx our `struct Socks5Request *`
1280  * @return number of bytes handled
1281  */
1282 static size_t
1283 curl_download_cb (void *ptr,
1284                   size_t size,
1285                   size_t nmemb,
1286                   void* ctx)
1287 {
1288   struct Socks5Request *s5r = ctx;
1289   size_t total = size * nmemb;
1290
1291   if (NULL == s5r->response)
1292     GNUNET_assert (GNUNET_OK ==
1293                    create_mhd_response_from_s5r (s5r));
1294
1295   if ( (SOCKS5_SOCKET_UPLOAD_STARTED == s5r->state) ||
1296        (SOCKS5_SOCKET_UPLOAD_DONE == s5r->state) )
1297   {
1298     /* we're still not done with the upload, do not yet
1299        start the download, the IO buffer is still full
1300        with upload data. */
1301     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1302                 "Pausing CURL download `%s%s', waiting for UPLOAD to finish\n",
1303                 s5r->domain,
1304                 s5r->url);
1305     return CURL_WRITEFUNC_PAUSE; /* not yet ready for data download */
1306   }
1307   if (sizeof (s5r->io_buf) - s5r->io_len < total)
1308   {
1309     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1310                 "Pausing CURL `%s%s' download, not enough space %llu %llu %llu\n",
1311                 s5r->domain,
1312                 s5r->url,
1313                 (unsigned long long) sizeof (s5r->io_buf),
1314                 (unsigned long long) s5r->io_len,
1315                 (unsigned long long) total);
1316     return CURL_WRITEFUNC_PAUSE; /* not enough space */
1317   }
1318   GNUNET_memcpy (&s5r->io_buf[s5r->io_len],
1319                  ptr,
1320                  total);
1321   s5r->io_len += total;
1322   if (GNUNET_YES == s5r->suspended)
1323   {
1324     MHD_resume_connection (s5r->con);
1325     s5r->suspended = GNUNET_NO;
1326   }
1327   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1328               "Received %llu bytes of payload via cURL from %s\n",
1329               (unsigned long long) total,
1330               s5r->domain);
1331   if (s5r->io_len == total)
1332     run_mhd_now (s5r->hd);
1333   return total;
1334 }
1335
1336
1337 /**
1338  * cURL callback for uploaded (PUT/POST) data.  Copies it into our `io_buf`
1339  * to make it available to MHD.
1340  *
1341  * @param buf where to write the data
1342  * @param size number of bytes per member
1343  * @param nmemb number of members available in @a buf
1344  * @param cls our `struct Socks5Request` that generated the data
1345  * @return number of bytes copied to @a buf
1346  */
1347 static size_t
1348 curl_upload_cb (void *buf,
1349                 size_t size,
1350                 size_t nmemb,
1351                 void *cls)
1352 {
1353   struct Socks5Request *s5r = cls;
1354   size_t len = size * nmemb;
1355   size_t to_copy;
1356
1357   if ( (0 == s5r->io_len) &&
1358        (SOCKS5_SOCKET_UPLOAD_DONE != s5r->state) )
1359   {
1360     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1361                 "Pausing CURL UPLOAD %s%s, need more data\n",
1362                 s5r->domain,
1363                 s5r->url);
1364     return CURL_READFUNC_PAUSE;
1365   }
1366   if ( (0 == s5r->io_len) &&
1367        (SOCKS5_SOCKET_UPLOAD_DONE == s5r->state) )
1368   {
1369     s5r->state = SOCKS5_SOCKET_DOWNLOAD_STARTED;
1370     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1371                 "Completed CURL UPLOAD %s%s\n",
1372                 s5r->domain,
1373                 s5r->url);
1374     return 0; /* upload finished, can now download */
1375   }
1376   if ( (SOCKS5_SOCKET_UPLOAD_STARTED != s5r->state) &&
1377        (SOCKS5_SOCKET_UPLOAD_DONE != s5r->state) )
1378   {
1379     GNUNET_break (0);
1380     return CURL_READFUNC_ABORT;
1381   }
1382   to_copy = GNUNET_MIN (s5r->io_len,
1383                         len);
1384   GNUNET_memcpy (buf, s5r->io_buf, to_copy);
1385   memmove (s5r->io_buf,
1386            &s5r->io_buf[to_copy],
1387            s5r->io_len - to_copy);
1388   s5r->io_len -= to_copy;
1389   if (s5r->io_len + to_copy == sizeof (s5r->io_buf))
1390     run_mhd_now (s5r->hd); /* got more space for upload now */
1391   return to_copy;
1392 }
1393
1394
1395 /* ************************** main loop of cURL interaction ****************** */
1396
1397
1398 /**
1399  * Task that is run when we are ready to receive more data
1400  * from curl
1401  *
1402  * @param cls closure
1403  */
1404 static void
1405 curl_task_download (void *cls);
1406
1407
1408 /**
1409  * Ask cURL for the select() sets and schedule cURL operations.
1410  */
1411 static void
1412 curl_download_prepare ()
1413 {
1414   CURLMcode mret;
1415   fd_set rs;
1416   fd_set ws;
1417   fd_set es;
1418   int max;
1419   struct GNUNET_NETWORK_FDSet *grs;
1420   struct GNUNET_NETWORK_FDSet *gws;
1421   long to;
1422   struct GNUNET_TIME_Relative rtime;
1423
1424   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1425               "Scheduling CURL interaction\n");
1426   if (NULL != curl_download_task)
1427   {
1428     GNUNET_SCHEDULER_cancel (curl_download_task);
1429     curl_download_task = NULL;
1430   }
1431   max = -1;
1432   FD_ZERO (&rs);
1433   FD_ZERO (&ws);
1434   FD_ZERO (&es);
1435   if (CURLM_OK != (mret = curl_multi_fdset (curl_multi,
1436                                             &rs,
1437                                             &ws,
1438                                             &es,
1439                                             &max)))
1440   {
1441     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1442                 "%s failed at %s:%d: `%s'\n",
1443                 "curl_multi_fdset", __FILE__, __LINE__,
1444                 curl_multi_strerror (mret));
1445     return;
1446   }
1447   to = -1;
1448   GNUNET_break (CURLM_OK == curl_multi_timeout (curl_multi, &to));
1449   if (-1 == to)
1450     rtime = GNUNET_TIME_UNIT_FOREVER_REL;
1451   else
1452     rtime = GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MILLISECONDS, to);
1453   if (-1 != max)
1454   {
1455     grs = GNUNET_NETWORK_fdset_create ();
1456     gws = GNUNET_NETWORK_fdset_create ();
1457     GNUNET_NETWORK_fdset_copy_native (grs, &rs, max + 1);
1458     GNUNET_NETWORK_fdset_copy_native (gws, &ws, max + 1);
1459     curl_download_task = GNUNET_SCHEDULER_add_select (GNUNET_SCHEDULER_PRIORITY_DEFAULT,
1460                                                       rtime,
1461                                                       grs, gws,
1462                                                       &curl_task_download,
1463                                                       curl_multi);
1464     GNUNET_NETWORK_fdset_destroy (gws);
1465     GNUNET_NETWORK_fdset_destroy (grs);
1466   }
1467   else
1468   {
1469     curl_download_task = GNUNET_SCHEDULER_add_delayed (rtime,
1470                                                        &curl_task_download,
1471                                                        curl_multi);
1472   }
1473 }
1474
1475
1476 /**
1477  * Task that is run when we are ready to receive more data from curl.
1478  *
1479  * @param cls closure, NULL
1480  */
1481 static void
1482 curl_task_download (void *cls)
1483 {
1484   int running;
1485   int msgnum;
1486   struct CURLMsg *msg;
1487   CURLMcode mret;
1488   struct Socks5Request *s5r;
1489
1490   curl_download_task = NULL;
1491   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1492               "Running CURL interaction\n");
1493   do
1494   {
1495     running = 0;
1496     mret = curl_multi_perform (curl_multi,
1497                                &running);
1498     while (NULL != (msg = curl_multi_info_read (curl_multi,
1499                                                 &msgnum)))
1500     {
1501       GNUNET_break (CURLE_OK ==
1502                     curl_easy_getinfo (msg->easy_handle,
1503                                        CURLINFO_PRIVATE,
1504                                        (char **) &s5r ));
1505       if (NULL == s5r)
1506       {
1507         GNUNET_break (0);
1508         continue;
1509       }
1510       switch (msg->msg)
1511       {
1512         case CURLMSG_NONE:
1513           /* documentation says this is not used */
1514           GNUNET_break (0);
1515           break;
1516         case CURLMSG_DONE:
1517           switch (msg->data.result)
1518           {
1519             case CURLE_OK:
1520             case CURLE_GOT_NOTHING:
1521               GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1522                           "CURL download %s%s completed.\n",
1523                           s5r->domain,
1524                           s5r->url);
1525               if (NULL == s5r->response)
1526               {
1527                 GNUNET_assert (GNUNET_OK ==
1528                                create_mhd_response_from_s5r (s5r));
1529               }
1530               s5r->state = SOCKS5_SOCKET_DOWNLOAD_DONE;
1531               run_mhd_now (s5r->hd);
1532               break;
1533             default:
1534               GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1535                           "Download curl %s%s failed: %s\n",
1536                           s5r->domain,
1537                           s5r->url,
1538                           curl_easy_strerror (msg->data.result));
1539               /* FIXME: indicate error somehow? close MHD connection badly as well? */
1540               s5r->state = SOCKS5_SOCKET_DOWNLOAD_DONE;
1541               run_mhd_now (s5r->hd);
1542               break;
1543           }
1544           if (NULL == s5r->response)
1545             s5r->response = curl_failure_response;
1546           break;
1547         case CURLMSG_LAST:
1548           /* documentation says this is not used */
1549           GNUNET_break (0);
1550           break;
1551         default:
1552           /* unexpected status code */
1553           GNUNET_break (0);
1554           break;
1555       }
1556     };
1557   } while (mret == CURLM_CALL_MULTI_PERFORM);
1558   if (CURLM_OK != mret)
1559     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1560                 "%s failed at %s:%d: `%s'\n",
1561                 "curl_multi_perform", __FILE__, __LINE__,
1562                 curl_multi_strerror (mret));
1563   if (0 == running)
1564   {
1565     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1566                 "Suspending cURL multi loop, no more events pending\n");
1567     if (NULL != curl_download_task)
1568     {
1569       GNUNET_SCHEDULER_cancel (curl_download_task);
1570       curl_download_task = NULL;
1571     }
1572     return; /* nothing more in progress */
1573   }
1574   curl_download_prepare ();
1575 }
1576
1577
1578 /* ********************************* MHD response generation ******************* */
1579
1580
1581 /**
1582  * Read HTTP request header field from the request.  Copies the fields
1583  * over to the 'headers' that will be given to curl.  However, 'Host'
1584  * is substituted with the LEHO if present.  We also change the
1585  * 'Connection' header value to "close" as the proxy does not support
1586  * pipelining.
1587  *
1588  * @param cls our `struct Socks5Request`
1589  * @param kind value kind
1590  * @param key field key
1591  * @param value field value
1592  * @return #MHD_YES to continue to iterate
1593  */
1594 static int
1595 con_val_iter (void *cls,
1596               enum MHD_ValueKind kind,
1597               const char *key,
1598               const char *value)
1599 {
1600   struct Socks5Request *s5r = cls;
1601   char *hdr;
1602
1603   if ( (0 == strcasecmp (MHD_HTTP_HEADER_HOST, key)) &&
1604        (NULL != s5r->leho) )
1605     value = s5r->leho;
1606   if (0 == strcasecmp (MHD_HTTP_HEADER_CONTENT_LENGTH, key))
1607     return MHD_YES;
1608   if (0 == strcasecmp (MHD_HTTP_HEADER_ACCEPT_ENCODING, key))
1609     return MHD_YES;
1610   GNUNET_asprintf (&hdr,
1611                    "%s: %s",
1612                    key,
1613                    value);
1614   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1615               "Adding HEADER `%s' to HTTP request\n",
1616               hdr);
1617   s5r->headers = curl_slist_append (s5r->headers,
1618                                     hdr);
1619   GNUNET_free (hdr);
1620   return MHD_YES;
1621 }
1622
1623
1624 /**
1625  * Main MHD callback for handling requests.
1626  *
1627  * @param cls unused
1628  * @param con MHD connection handle
1629  * @param url the url in the request
1630  * @param meth the HTTP method used ("GET", "PUT", etc.)
1631  * @param ver the HTTP version string (i.e. "HTTP/1.1")
1632  * @param upload_data the data being uploaded (excluding HEADERS,
1633  *        for a POST that fits into memory and that is encoded
1634  *        with a supported encoding, the POST data will NOT be
1635  *        given in upload_data and is instead available as
1636  *        part of MHD_get_connection_values; very large POST
1637  *        data *will* be made available incrementally in
1638  *        upload_data)
1639  * @param upload_data_size set initially to the size of the
1640  *        @a upload_data provided; the method must update this
1641  *        value to the number of bytes NOT processed;
1642  * @param con_cls pointer to location where we store the `struct Request`
1643  * @return #MHD_YES if the connection was handled successfully,
1644  *         #MHD_NO if the socket must be closed due to a serious
1645  *         error while handling the request
1646  */
1647 static int
1648 create_response (void *cls,
1649                  struct MHD_Connection *con,
1650                  const char *url,
1651                  const char *meth,
1652                  const char *ver,
1653                  const char *upload_data,
1654                  size_t *upload_data_size,
1655                  void **con_cls)
1656 {
1657   struct Socks5Request *s5r = *con_cls;
1658   char *curlurl;
1659   char ipstring[INET6_ADDRSTRLEN];
1660   char ipaddr[INET6_ADDRSTRLEN + 2];
1661   const struct sockaddr *sa;
1662   const struct sockaddr_in *s4;
1663   const struct sockaddr_in6 *s6;
1664   uint16_t port;
1665   size_t left;
1666
1667   if (NULL == s5r)
1668   {
1669     GNUNET_break (0);
1670     return MHD_NO;
1671   }
1672   s5r->con = con;
1673   //Fresh connection.
1674   if (SOCKS5_SOCKET_WITH_MHD == s5r->state)
1675   {
1676     /* first time here, initialize curl handle */
1677     if (s5r->is_gns)
1678     {
1679       sa = (const struct sockaddr *) &s5r->destination_address;
1680       switch (sa->sa_family)
1681       {
1682       case AF_INET:
1683         s4 = (const struct sockaddr_in *) &s5r->destination_address;
1684         if (NULL == inet_ntop (AF_INET,
1685                                &s4->sin_addr,
1686                                ipstring,
1687                                sizeof (ipstring)))
1688         {
1689           GNUNET_break (0);
1690           return MHD_NO;
1691         }
1692         GNUNET_snprintf (ipaddr,
1693                          sizeof (ipaddr),
1694                          "%s",
1695                          ipstring);
1696         port = ntohs (s4->sin_port);
1697         break;
1698       case AF_INET6:
1699         s6 = (const struct sockaddr_in6 *) &s5r->destination_address;
1700         if (NULL == inet_ntop (AF_INET6,
1701                                &s6->sin6_addr,
1702                                ipstring,
1703                                sizeof (ipstring)))
1704         {
1705           GNUNET_break (0);
1706           return MHD_NO;
1707         }
1708         GNUNET_snprintf (ipaddr,
1709                          sizeof (ipaddr),
1710                          "%s",
1711                          ipstring);
1712         port = ntohs (s6->sin6_port);
1713         break;
1714       default:
1715         GNUNET_break (0);
1716         return MHD_NO;
1717       }
1718     }
1719     else
1720     {
1721       port = s5r->port;
1722     }
1723     if (NULL == s5r->curl)
1724       s5r->curl = curl_easy_init ();
1725     if (NULL == s5r->curl)
1726       return MHD_queue_response (con,
1727                                  MHD_HTTP_INTERNAL_SERVER_ERROR,
1728                                  curl_failure_response);
1729     curl_easy_setopt (s5r->curl, CURLOPT_HEADERFUNCTION, &curl_check_hdr);
1730     curl_easy_setopt (s5r->curl, CURLOPT_HEADERDATA, s5r);
1731     curl_easy_setopt (s5r->curl, CURLOPT_FOLLOWLOCATION, 0);
1732     if (s5r->is_gns)
1733       curl_easy_setopt (s5r->curl,
1734                         CURLOPT_IPRESOLVE,
1735                         CURL_IPRESOLVE_V4);
1736     curl_easy_setopt (s5r->curl, CURLOPT_CONNECTTIMEOUT, 600L);
1737     curl_easy_setopt (s5r->curl, CURLOPT_TIMEOUT, 600L);
1738     curl_easy_setopt (s5r->curl, CURLOPT_NOSIGNAL, 1L);
1739     curl_easy_setopt (s5r->curl, CURLOPT_HTTP_CONTENT_DECODING, 0);
1740     curl_easy_setopt (s5r->curl, CURLOPT_HTTP_TRANSFER_DECODING, 0);
1741     curl_easy_setopt (s5r->curl, CURLOPT_NOSIGNAL, 1L);
1742     curl_easy_setopt (s5r->curl, CURLOPT_PRIVATE, s5r);
1743     curl_easy_setopt (s5r->curl, CURLOPT_VERBOSE, 0L);
1744     /**
1745      * Pre-populate cache to resolve Hostname.
1746      * This is necessary as the DNS name in the CURLOPT_URL is used
1747      * for SNI http://de.wikipedia.org/wiki/Server_Name_Indication
1748      */
1749     if (NULL != s5r->leho)
1750     {
1751       char *curl_hosts;
1752
1753       GNUNET_asprintf (&curl_hosts,
1754                        "%s:%d:%s",
1755                        s5r->leho,
1756                        port,
1757                        ipaddr);
1758       s5r->hosts = curl_slist_append (NULL,
1759                                       curl_hosts);
1760       curl_easy_setopt (s5r->curl,
1761                         CURLOPT_RESOLVE,
1762                         s5r->hosts);
1763       GNUNET_free (curl_hosts);
1764     }
1765     if (s5r->is_gns)
1766     {
1767       GNUNET_asprintf (&curlurl,
1768                        (HTTPS_PORT != s5r->port)
1769                        ? "http://%s:%d%s"
1770                        : "https://%s:%d%s",
1771                        (NULL != s5r->leho)
1772                        ? s5r->leho
1773                        : ipaddr,
1774                        port,
1775                        s5r->url);
1776     }
1777     else
1778     {
1779       GNUNET_asprintf (&curlurl,
1780                        (HTTPS_PORT != s5r->port)
1781                        ? "http://%s:%d%s"
1782                        : "https://%s:%d%s",
1783                        s5r->domain,
1784                        port,
1785                        s5r->url);
1786     }
1787     curl_easy_setopt (s5r->curl,
1788                       CURLOPT_URL,
1789                       curlurl);
1790     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1791                 "Launching %s CURL interaction, fetching `%s'\n",
1792                 (s5r->is_gns) ? "GNS" : "DNS",
1793                 curlurl);
1794     GNUNET_free (curlurl);
1795     if (0 == strcasecmp (meth,
1796                          MHD_HTTP_METHOD_PUT))
1797     {
1798       s5r->state = SOCKS5_SOCKET_UPLOAD_STARTED;
1799       curl_easy_setopt (s5r->curl, CURLOPT_UPLOAD, 1L);
1800       curl_easy_setopt (s5r->curl, CURLOPT_WRITEFUNCTION, &curl_download_cb);
1801       curl_easy_setopt (s5r->curl, CURLOPT_WRITEDATA, s5r);
1802       curl_easy_setopt (s5r->curl, CURLOPT_READFUNCTION, &curl_upload_cb);
1803       curl_easy_setopt (s5r->curl, CURLOPT_READDATA, s5r);
1804     }
1805     else if (0 == strcasecmp (meth, MHD_HTTP_METHOD_POST))
1806     {
1807       s5r->state = SOCKS5_SOCKET_UPLOAD_STARTED;
1808       curl_easy_setopt (s5r->curl, CURLOPT_POST, 1L);
1809       curl_easy_setopt (s5r->curl, CURLOPT_WRITEFUNCTION, &curl_download_cb);
1810       curl_easy_setopt (s5r->curl, CURLOPT_WRITEDATA, s5r);
1811       curl_easy_setopt (s5r->curl, CURLOPT_READFUNCTION, &curl_upload_cb);
1812       curl_easy_setopt (s5r->curl, CURLOPT_READDATA, s5r);
1813     }
1814     else if (0 == strcasecmp (meth, MHD_HTTP_METHOD_HEAD))
1815     {
1816       s5r->state = SOCKS5_SOCKET_DOWNLOAD_STARTED;
1817       curl_easy_setopt (s5r->curl, CURLOPT_NOBODY, 1L);
1818     }
1819     else if (0 == strcasecmp (meth, MHD_HTTP_METHOD_OPTIONS))
1820     {
1821       s5r->state = SOCKS5_SOCKET_DOWNLOAD_STARTED;
1822       curl_easy_setopt (s5r->curl, CURLOPT_CUSTOMREQUEST, "OPTIONS");
1823     }
1824     else if (0 == strcasecmp (meth, MHD_HTTP_METHOD_GET))
1825     {
1826       s5r->state = SOCKS5_SOCKET_DOWNLOAD_STARTED;
1827       curl_easy_setopt (s5r->curl, CURLOPT_HTTPGET, 1L);
1828       curl_easy_setopt (s5r->curl, CURLOPT_WRITEFUNCTION, &curl_download_cb);
1829       curl_easy_setopt (s5r->curl, CURLOPT_WRITEDATA, s5r);
1830     }
1831     else
1832     {
1833       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
1834                   _("Unsupported HTTP method `%s'\n"),
1835                   meth);
1836       curl_easy_cleanup (s5r->curl);
1837       s5r->curl = NULL;
1838       return MHD_NO;
1839     }
1840
1841     if (0 == strcasecmp (ver, MHD_HTTP_VERSION_1_0))
1842     {
1843       curl_easy_setopt (s5r->curl, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_0);
1844     }
1845     else if (0 == strcasecmp (ver, MHD_HTTP_VERSION_1_1))
1846     {
1847       curl_easy_setopt (s5r->curl, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_1);
1848     }
1849     else
1850     {
1851       curl_easy_setopt (s5r->curl, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_NONE);
1852     }
1853
1854     if (HTTPS_PORT == s5r->port)
1855     {
1856       curl_easy_setopt (s5r->curl, CURLOPT_USE_SSL, CURLUSESSL_ALL);
1857       if (NULL != s5r->dane_data)
1858         curl_easy_setopt (s5r->curl, CURLOPT_SSL_VERIFYPEER, 0L);
1859       else
1860         curl_easy_setopt (s5r->curl, CURLOPT_SSL_VERIFYPEER, 1L);
1861       /* Disable cURL checking the hostname, as we will check ourselves
1862          as only we have the domain name or the LEHO or the DANE record */
1863       curl_easy_setopt (s5r->curl, CURLOPT_SSL_VERIFYHOST, 0L);
1864     }
1865     else
1866     {
1867       curl_easy_setopt (s5r->curl, CURLOPT_USE_SSL, CURLUSESSL_NONE);
1868     }
1869
1870     if (CURLM_OK !=
1871         curl_multi_add_handle (curl_multi,
1872                                s5r->curl))
1873     {
1874       GNUNET_break (0);
1875       curl_easy_cleanup (s5r->curl);
1876       s5r->curl = NULL;
1877       return MHD_NO;
1878     }
1879     MHD_get_connection_values (con,
1880                                MHD_HEADER_KIND,
1881                                &con_val_iter,
1882                                s5r);
1883     curl_easy_setopt (s5r->curl,
1884                       CURLOPT_HTTPHEADER,
1885                       s5r->headers);
1886     curl_download_prepare ();
1887     return MHD_YES;
1888   }
1889
1890   /* continuing to process request */
1891   if (0 != *upload_data_size)
1892   {
1893     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1894                 "Processing %u bytes UPLOAD\n",
1895                 (unsigned int) *upload_data_size);
1896
1897     /* FIXME: This must be set or a header with Transfer-Encoding: chunked. Else
1898      * upload callback is not called!
1899      */
1900     curl_easy_setopt (s5r->curl, CURLOPT_POSTFIELDSIZE, *upload_data_size);
1901
1902     left = GNUNET_MIN (*upload_data_size,
1903                        sizeof (s5r->io_buf) - s5r->io_len);
1904     GNUNET_memcpy (&s5r->io_buf[s5r->io_len],
1905                    upload_data,
1906                    left);
1907     s5r->io_len += left;
1908     *upload_data_size -= left;
1909     GNUNET_assert (NULL != s5r->curl);
1910     curl_easy_pause (s5r->curl,
1911                      CURLPAUSE_CONT);
1912     return MHD_YES;
1913   }
1914   if (SOCKS5_SOCKET_UPLOAD_STARTED == s5r->state)
1915   {
1916     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1917                 "Finished processing UPLOAD\n");
1918     s5r->state = SOCKS5_SOCKET_UPLOAD_DONE;
1919   }
1920   if (NULL == s5r->response)
1921   {
1922     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1923                 "Waiting for HTTP response for %s%s...\n",
1924                 s5r->domain,
1925                 s5r->url);
1926     MHD_suspend_connection (con);
1927     s5r->suspended = GNUNET_YES;
1928     return MHD_YES;
1929   }
1930   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1931               "Queueing response for %s%s with MHD\n",
1932               s5r->domain,
1933               s5r->url);
1934   run_mhd_now (s5r->hd);
1935   return MHD_queue_response (con,
1936                              s5r->response_code,
1937                              s5r->response);
1938 }
1939
1940
1941 /* ******************** MHD HTTP setup and event loop ******************** */
1942
1943
1944 /**
1945  * Function called when MHD decides that we are done with a request.
1946  *
1947  * @param cls NULL
1948  * @param connection connection handle
1949  * @param con_cls value as set by the last call to
1950  *        the MHD_AccessHandlerCallback, should be our `struct Socks5Request *`
1951  * @param toe reason for request termination (ignored)
1952  */
1953 static void
1954 mhd_completed_cb (void *cls,
1955                   struct MHD_Connection *connection,
1956                   void **con_cls,
1957                   enum MHD_RequestTerminationCode toe)
1958 {
1959   struct Socks5Request *s5r = *con_cls;
1960
1961   if (NULL == s5r)
1962     return;
1963   if (MHD_REQUEST_TERMINATED_COMPLETED_OK != toe)
1964     GNUNET_log (GNUNET_ERROR_TYPE_INFO,
1965                 "MHD encountered error handling request: %d\n",
1966                 toe);
1967   if (NULL != s5r->curl)
1968   {
1969     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1970                 "Removing cURL handle (MHD interaction complete)\n");
1971     curl_multi_remove_handle (curl_multi,
1972                               s5r->curl);
1973     curl_slist_free_all (s5r->headers);
1974     s5r->headers = NULL;
1975     curl_easy_reset (s5r->curl);
1976     s5r->rbuf_len = 0;
1977     s5r->wbuf_len = 0;
1978     s5r->io_len = 0;
1979     curl_download_prepare ();
1980   }
1981   if ( (NULL != s5r->response) &&
1982        (curl_failure_response != s5r->response) )
1983     MHD_destroy_response (s5r->response);
1984   for (struct HttpResponseHeader *header = s5r->header_head;
1985        NULL != header;
1986        header = s5r->header_head)
1987   {
1988     GNUNET_CONTAINER_DLL_remove (s5r->header_head,
1989                                  s5r->header_tail,
1990                                  header);
1991     GNUNET_free (header->type);
1992     GNUNET_free (header->value);
1993     GNUNET_free (header);
1994   }
1995   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1996               "Finished request for %s\n",
1997               s5r->url);
1998   GNUNET_free (s5r->url);
1999   s5r->state = SOCKS5_SOCKET_WITH_MHD;
2000   s5r->url = NULL;
2001   s5r->response = NULL;
2002   *con_cls = NULL;
2003 }
2004
2005
2006 /**
2007  * Function called when MHD connection is opened or closed.
2008  *
2009  * @param cls NULL
2010  * @param connection connection handle
2011  * @param con_cls value as set by the last call to
2012  *        the MHD_AccessHandlerCallback, should be our `struct Socks5Request *`
2013  * @param toe connection notification type
2014  */
2015 static void
2016 mhd_connection_cb (void *cls,
2017                    struct MHD_Connection *connection,
2018                    void **con_cls,
2019                    enum MHD_ConnectionNotificationCode cnc)
2020 {
2021   struct Socks5Request *s5r;
2022   const union MHD_ConnectionInfo *ci;
2023   int sock;
2024
2025   switch (cnc)
2026   {
2027     case MHD_CONNECTION_NOTIFY_STARTED:
2028       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Connection started...\n");
2029       ci = MHD_get_connection_info (connection,
2030                                     MHD_CONNECTION_INFO_CONNECTION_FD);
2031       if (NULL == ci)
2032       {
2033         GNUNET_break (0);
2034         return;
2035       }
2036       sock = ci->connect_fd;
2037       for (s5r = s5r_head; NULL != s5r; s5r = s5r->next)
2038       {
2039         if (GNUNET_NETWORK_get_fd (s5r->sock) == sock)
2040         {
2041           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2042                       "Context set...\n");
2043           s5r->ssl_checked = GNUNET_NO;
2044           *con_cls = s5r;
2045           break;
2046         }
2047       }
2048       break;
2049     case MHD_CONNECTION_NOTIFY_CLOSED:
2050       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2051                   "Connection closed... cleaning up\n");
2052       s5r = *con_cls;
2053       if (NULL == s5r)
2054       {
2055         GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2056                     "Connection stale!\n");
2057         return;
2058       }
2059       cleanup_s5r (s5r);
2060       curl_download_prepare ();
2061       *con_cls = NULL;
2062       break;
2063     default:
2064       GNUNET_break (0);
2065   }
2066 }
2067
2068 /**
2069  * Function called when MHD first processes an incoming connection.
2070  * Gives us the respective URI information.
2071  *
2072  * We use this to associate the `struct MHD_Connection` with our
2073  * internal `struct Socks5Request` data structure (by checking
2074  * for matching sockets).
2075  *
2076  * @param cls the HTTP server handle (a `struct MhdHttpList`)
2077  * @param url the URL that is being requested
2078  * @param connection MHD connection object for the request
2079  * @return the `struct Socks5Request` that this @a connection is for
2080  */
2081 static void *
2082 mhd_log_callback (void *cls,
2083                   const char *url,
2084                   struct MHD_Connection *connection)
2085 {
2086   struct Socks5Request *s5r;
2087   const union MHD_ConnectionInfo *ci;
2088
2089   ci = MHD_get_connection_info (connection,
2090                                 MHD_CONNECTION_INFO_SOCKET_CONTEXT);
2091   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Processing %s\n", url);
2092   if (NULL == ci)
2093   {
2094     GNUNET_break (0);
2095     return NULL;
2096   }
2097   s5r = ci->socket_context;
2098   if (NULL != s5r->url)
2099   {
2100     GNUNET_break (0);
2101     return NULL;
2102   }
2103   s5r->url = GNUNET_strdup (url);
2104   if (NULL != s5r->timeout_task)
2105   {
2106     GNUNET_SCHEDULER_cancel (s5r->timeout_task);
2107     s5r->timeout_task = NULL;
2108   }
2109   GNUNET_assert (s5r->state == SOCKS5_SOCKET_WITH_MHD);
2110   return s5r;
2111 }
2112
2113
2114 /**
2115  * Kill the given MHD daemon.
2116  *
2117  * @param hd daemon to stop
2118  */
2119 static void
2120 kill_httpd (struct MhdHttpList *hd)
2121 {
2122   GNUNET_CONTAINER_DLL_remove (mhd_httpd_head,
2123                                mhd_httpd_tail,
2124                                hd);
2125   GNUNET_free_non_null (hd->domain);
2126   MHD_stop_daemon (hd->daemon);
2127   if (NULL != hd->httpd_task)
2128   {
2129     GNUNET_SCHEDULER_cancel (hd->httpd_task);
2130     hd->httpd_task = NULL;
2131   }
2132   GNUNET_free_non_null (hd->proxy_cert);
2133   if (hd == httpd)
2134     httpd = NULL;
2135   GNUNET_free (hd);
2136 }
2137
2138
2139 /**
2140  * Task run whenever HTTP server is idle for too long. Kill it.
2141  *
2142  * @param cls the `struct MhdHttpList *`
2143  */
2144 static void
2145 kill_httpd_task (void *cls)
2146 {
2147   struct MhdHttpList *hd = cls;
2148
2149   hd->httpd_task = NULL;
2150   kill_httpd (hd);
2151 }
2152
2153
2154 /**
2155  * Task run whenever HTTP server operations are pending.
2156  *
2157  * @param cls the `struct MhdHttpList *` of the daemon that is being run
2158  */
2159 static void
2160 do_httpd (void *cls);
2161
2162
2163 /**
2164  * Schedule MHD.  This function should be called initially when an
2165  * MHD is first getting its client socket, and will then automatically
2166  * always be called later whenever there is work to be done.
2167  *
2168  * @param hd the daemon to schedule
2169  */
2170 static void
2171 schedule_httpd (struct MhdHttpList *hd)
2172 {
2173   fd_set rs;
2174   fd_set ws;
2175   fd_set es;
2176   struct GNUNET_NETWORK_FDSet *wrs;
2177   struct GNUNET_NETWORK_FDSet *wws;
2178   int max;
2179   int haveto;
2180   MHD_UNSIGNED_LONG_LONG timeout;
2181   struct GNUNET_TIME_Relative tv;
2182
2183   FD_ZERO (&rs);
2184   FD_ZERO (&ws);
2185   FD_ZERO (&es);
2186   max = -1;
2187   if (MHD_YES !=
2188       MHD_get_fdset (hd->daemon,
2189                      &rs,
2190                      &ws,
2191                      &es,
2192                      &max))
2193   {
2194     kill_httpd (hd);
2195     return;
2196   }
2197   haveto = MHD_get_timeout (hd->daemon,
2198                             &timeout);
2199   if (MHD_YES == haveto)
2200     tv.rel_value_us = (uint64_t) timeout * 1000LL;
2201   else
2202     tv = GNUNET_TIME_UNIT_FOREVER_REL;
2203   if (-1 != max)
2204   {
2205     wrs = GNUNET_NETWORK_fdset_create ();
2206     wws = GNUNET_NETWORK_fdset_create ();
2207     GNUNET_NETWORK_fdset_copy_native (wrs, &rs, max + 1);
2208     GNUNET_NETWORK_fdset_copy_native (wws, &ws, max + 1);
2209   }
2210   else
2211   {
2212     wrs = NULL;
2213     wws = NULL;
2214   }
2215   if (NULL != hd->httpd_task)
2216   {
2217     GNUNET_SCHEDULER_cancel (hd->httpd_task);
2218     hd->httpd_task = NULL;
2219   }
2220   if ( (MHD_YES != haveto) &&
2221        (-1 == max) &&
2222        (hd != httpd) )
2223   {
2224     /* daemon is idle, kill after timeout */
2225     hd->httpd_task = GNUNET_SCHEDULER_add_delayed (MHD_CACHE_TIMEOUT,
2226                                                    &kill_httpd_task,
2227                                                    hd);
2228   }
2229   else
2230   {
2231     hd->httpd_task =
2232       GNUNET_SCHEDULER_add_select (GNUNET_SCHEDULER_PRIORITY_DEFAULT,
2233                                    tv, wrs, wws,
2234                                    &do_httpd, hd);
2235   }
2236   if (NULL != wrs)
2237     GNUNET_NETWORK_fdset_destroy (wrs);
2238   if (NULL != wws)
2239     GNUNET_NETWORK_fdset_destroy (wws);
2240 }
2241
2242
2243 /**
2244  * Task run whenever HTTP server operations are pending.
2245  *
2246  * @param cls the `struct MhdHttpList` of the daemon that is being run
2247  */
2248 static void
2249 do_httpd (void *cls)
2250 {
2251   struct MhdHttpList *hd = cls;
2252
2253   hd->httpd_task = NULL;
2254   MHD_run (hd->daemon);
2255   schedule_httpd (hd);
2256 }
2257
2258
2259 /**
2260  * Run MHD now, we have extra data ready for the callback.
2261  *
2262  * @param hd the daemon to run now.
2263  */
2264 static void
2265 run_mhd_now (struct MhdHttpList *hd)
2266 {
2267   if (NULL != hd->httpd_task)
2268     GNUNET_SCHEDULER_cancel (hd->httpd_task);
2269   hd->httpd_task = GNUNET_SCHEDULER_add_now (&do_httpd,
2270                                              hd);
2271 }
2272
2273
2274 /**
2275  * Read file in filename
2276  *
2277  * @param filename file to read
2278  * @param size pointer where filesize is stored
2279  * @return NULL on error
2280  */
2281 static void*
2282 load_file (const char* filename,
2283            unsigned int* size)
2284 {
2285   void *buffer;
2286   uint64_t fsize;
2287
2288   if (GNUNET_OK !=
2289       GNUNET_DISK_file_size (filename, &fsize,
2290                              GNUNET_YES, GNUNET_YES))
2291     return NULL;
2292   if (fsize > MAX_PEM_SIZE)
2293     return NULL;
2294   *size = (unsigned int) fsize;
2295   buffer = GNUNET_malloc (*size);
2296   if (fsize !=
2297       GNUNET_DISK_fn_read (filename,
2298                            buffer,
2299                            (size_t) fsize))
2300   {
2301     GNUNET_free (buffer);
2302     return NULL;
2303   }
2304   return buffer;
2305 }
2306
2307
2308 /**
2309  * Load PEM key from file
2310  *
2311  * @param key where to store the data
2312  * @param keyfile path to the PEM file
2313  * @return #GNUNET_OK on success
2314  */
2315 static int
2316 load_key_from_file (gnutls_x509_privkey_t key,
2317                     const char* keyfile)
2318 {
2319   gnutls_datum_t key_data;
2320   int ret;
2321
2322   key_data.data = load_file (keyfile, &key_data.size);
2323   if (NULL == key_data.data)
2324     return GNUNET_SYSERR;
2325   ret = gnutls_x509_privkey_import (key, &key_data,
2326                                     GNUTLS_X509_FMT_PEM);
2327   if (GNUTLS_E_SUCCESS != ret)
2328   {
2329     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2330                 _("Unable to import private key from file `%s'\n"),
2331                 keyfile);
2332   }
2333   GNUNET_free_non_null (key_data.data);
2334   return (GNUTLS_E_SUCCESS != ret) ? GNUNET_SYSERR : GNUNET_OK;
2335 }
2336
2337
2338 /**
2339  * Load cert from file
2340  *
2341  * @param crt struct to store data in
2342  * @param certfile path to pem file
2343  * @return #GNUNET_OK on success
2344  */
2345 static int
2346 load_cert_from_file (gnutls_x509_crt_t crt,
2347                      const char* certfile)
2348 {
2349   gnutls_datum_t cert_data;
2350   int ret;
2351
2352   cert_data.data = load_file (certfile, &cert_data.size);
2353   if (NULL == cert_data.data)
2354     return GNUNET_SYSERR;
2355   ret = gnutls_x509_crt_import (crt, &cert_data,
2356                                 GNUTLS_X509_FMT_PEM);
2357   if (GNUTLS_E_SUCCESS != ret)
2358   {
2359     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2360                 _("Unable to import certificate %s\n"), certfile);
2361   }
2362   GNUNET_free_non_null (cert_data.data);
2363   return (GNUTLS_E_SUCCESS != ret) ? GNUNET_SYSERR : GNUNET_OK;
2364 }
2365
2366
2367 /**
2368  * Generate new certificate for specific name
2369  *
2370  * @param name the subject name to generate a cert for
2371  * @return a struct holding the PEM data, NULL on error
2372  */
2373 static struct ProxyGNSCertificate *
2374 generate_gns_certificate (const char *name)
2375 {
2376   unsigned int serial;
2377   size_t key_buf_size;
2378   size_t cert_buf_size;
2379   gnutls_x509_crt_t request;
2380   time_t etime;
2381   struct tm *tm_data;
2382   struct ProxyGNSCertificate *pgc;
2383
2384   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2385               "Generating x.509 certificate for `%s'\n",
2386               name);
2387   GNUNET_break (GNUTLS_E_SUCCESS == gnutls_x509_crt_init (&request));
2388   GNUNET_break (GNUTLS_E_SUCCESS == gnutls_x509_crt_set_key (request, proxy_ca.key));
2389   pgc = GNUNET_new (struct ProxyGNSCertificate);
2390   gnutls_x509_crt_set_dn_by_oid (request, GNUTLS_OID_X520_COUNTRY_NAME,
2391                                  0, "ZZ", 2);
2392   gnutls_x509_crt_set_dn_by_oid (request, GNUTLS_OID_X520_ORGANIZATION_NAME,
2393                                  0, "GNU Name System", 4);
2394   gnutls_x509_crt_set_dn_by_oid (request, GNUTLS_OID_X520_COMMON_NAME,
2395                                  0, name, strlen (name));
2396   GNUNET_break (GNUTLS_E_SUCCESS == gnutls_x509_crt_set_version (request, 3));
2397   gnutls_rnd (GNUTLS_RND_NONCE, &serial, sizeof (serial));
2398   gnutls_x509_crt_set_serial (request,
2399                               &serial,
2400                               sizeof (serial));
2401   etime = time (NULL);
2402   tm_data = localtime (&etime);
2403   tm_data->tm_hour--;
2404   etime = mktime(tm_data);
2405   gnutls_x509_crt_set_activation_time (request,
2406                                        etime);
2407   tm_data->tm_year++;
2408   etime = mktime (tm_data);
2409   gnutls_x509_crt_set_expiration_time (request,
2410                                        etime);
2411   gnutls_x509_crt_sign (request,
2412                         proxy_ca.cert,
2413                         proxy_ca.key);
2414   key_buf_size = sizeof (pgc->key);
2415   cert_buf_size = sizeof (pgc->cert);
2416   gnutls_x509_crt_export (request, GNUTLS_X509_FMT_PEM,
2417                           pgc->cert, &cert_buf_size);
2418   gnutls_x509_privkey_export (proxy_ca.key, GNUTLS_X509_FMT_PEM,
2419                               pgc->key, &key_buf_size);
2420   gnutls_x509_crt_deinit (request);
2421   return pgc;
2422 }
2423
2424
2425 /**
2426  * Function called by MHD with errors, suppresses them all.
2427  *
2428  * @param cls closure
2429  * @param fm format string (`printf()`-style)
2430  * @param ap arguments to @a fm
2431  */
2432 static void
2433 mhd_error_log_callback (void *cls,
2434                         const char *fm,
2435                         va_list ap)
2436 {
2437   /* do nothing */
2438 }
2439
2440
2441 /**
2442  * Lookup (or create) an TLS MHD instance for a particular domain.
2443  *
2444  * @param domain the domain the TLS daemon has to serve
2445  * @return NULL on error
2446  */
2447 static struct MhdHttpList *
2448 lookup_ssl_httpd (const char* domain)
2449 {
2450   struct MhdHttpList *hd;
2451   struct ProxyGNSCertificate *pgc;
2452
2453   if (NULL == domain)
2454   {
2455     GNUNET_break (0);
2456     return NULL;
2457   }
2458   for (hd = mhd_httpd_head; NULL != hd; hd = hd->next)
2459     if ( (NULL != hd->domain) &&
2460          (0 == strcmp (hd->domain, domain)) )
2461       return hd;
2462   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2463               "Starting fresh MHD HTTPS instance for domain `%s'\n",
2464               domain);
2465   pgc = generate_gns_certificate (domain);
2466   hd = GNUNET_new (struct MhdHttpList);
2467   hd->is_ssl = GNUNET_YES;
2468   hd->domain = GNUNET_strdup (domain);
2469   hd->proxy_cert = pgc;
2470   hd->daemon = MHD_start_daemon (MHD_USE_DEBUG | MHD_USE_SSL | MHD_USE_NO_LISTEN_SOCKET | MHD_ALLOW_SUSPEND_RESUME,
2471                                  0,
2472                                  NULL, NULL,
2473                                  &create_response, hd,
2474                                  MHD_OPTION_CONNECTION_TIMEOUT, (unsigned int) 16,
2475                                  MHD_OPTION_NOTIFY_COMPLETED, &mhd_completed_cb, NULL,
2476                                  MHD_OPTION_NOTIFY_CONNECTION, &mhd_connection_cb, NULL,
2477                                  MHD_OPTION_URI_LOG_CALLBACK, &mhd_log_callback, NULL,
2478                                  MHD_OPTION_EXTERNAL_LOGGER, &mhd_error_log_callback, NULL,
2479                                  MHD_OPTION_HTTPS_MEM_KEY, pgc->key,
2480                                  MHD_OPTION_HTTPS_MEM_CERT, pgc->cert,
2481                                  MHD_OPTION_END);
2482   if (NULL == hd->daemon)
2483   {
2484     GNUNET_free (pgc);
2485     GNUNET_free (hd);
2486     return NULL;
2487   }
2488   GNUNET_CONTAINER_DLL_insert (mhd_httpd_head,
2489                                mhd_httpd_tail,
2490                                hd);
2491   return hd;
2492 }
2493
2494
2495 /**
2496  * Task run when a Socks5Request somehow fails to be associated with
2497  * an MHD connection (i.e. because the client never speaks HTTP after
2498  * the SOCKS5 handshake).  Clean up.
2499  *
2500  * @param cls the `struct Socks5Request *`
2501  */
2502 static void
2503 timeout_s5r_handshake (void *cls)
2504 {
2505   struct Socks5Request *s5r = cls;
2506
2507   s5r->timeout_task = NULL;
2508   cleanup_s5r (s5r);
2509 }
2510
2511
2512 /**
2513  * We're done with the Socks5 protocol, now we need to pass the
2514  * connection data through to the final destination, either
2515  * direct (if the protocol might not be HTTP), or via MHD
2516  * (if the port looks like it should be HTTP).
2517  *
2518  * @param s5r socks request that has reached the final stage
2519  */
2520 static void
2521 setup_data_transfer (struct Socks5Request *s5r)
2522 {
2523   struct MhdHttpList *hd;
2524   int fd;
2525   const struct sockaddr *addr;
2526   socklen_t len;
2527   char *domain;
2528
2529   switch (s5r->port)
2530   {
2531     case HTTPS_PORT:
2532       GNUNET_asprintf (&domain,
2533                        "%s",
2534                        s5r->domain);
2535       hd = lookup_ssl_httpd (domain);
2536       if (NULL == hd)
2537       {
2538         GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2539                     _("Failed to start HTTPS server for `%s'\n"),
2540                     s5r->domain);
2541         cleanup_s5r (s5r);
2542         GNUNET_free (domain);
2543         return;
2544       }
2545       break;
2546     case HTTP_PORT:
2547     default:
2548       domain = NULL;
2549       GNUNET_assert (NULL != httpd);
2550       hd = httpd;
2551       break;
2552   }
2553   fd = GNUNET_NETWORK_get_fd (s5r->sock);
2554   addr = GNUNET_NETWORK_get_addr (s5r->sock);
2555   len = GNUNET_NETWORK_get_addrlen (s5r->sock);
2556   s5r->state = SOCKS5_SOCKET_WITH_MHD;
2557   if (MHD_YES !=
2558       MHD_add_connection (hd->daemon,
2559                           fd,
2560                           addr,
2561                           len))
2562   {
2563     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
2564                 _("Failed to pass client to MHD\n"));
2565     cleanup_s5r (s5r);
2566     GNUNET_free_non_null (domain);
2567     return;
2568   }
2569   s5r->hd = hd;
2570   schedule_httpd (hd);
2571   s5r->timeout_task = GNUNET_SCHEDULER_add_delayed (HTTP_HANDSHAKE_TIMEOUT,
2572                                                     &timeout_s5r_handshake,
2573                                                     s5r);
2574   GNUNET_free_non_null (domain);
2575 }
2576
2577
2578 /* ********************* SOCKS handling ************************* */
2579
2580
2581 /**
2582  * Write data from buffer to socks5 client, then continue with state machine.
2583  *
2584  * @param cls the closure with the `struct Socks5Request`
2585  */
2586 static void
2587 do_write (void *cls)
2588 {
2589   struct Socks5Request *s5r = cls;
2590   ssize_t len;
2591
2592   s5r->wtask = NULL;
2593   len = GNUNET_NETWORK_socket_send (s5r->sock,
2594                                     s5r->wbuf,
2595                                     s5r->wbuf_len);
2596   if (len <= 0)
2597   {
2598     /* write error: connection closed, shutdown, etc.; just clean up */
2599     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2600                 "Write Error\n");
2601     cleanup_s5r (s5r);
2602     return;
2603   }
2604   memmove (s5r->wbuf,
2605            &s5r->wbuf[len],
2606            s5r->wbuf_len - len);
2607   s5r->wbuf_len -= len;
2608   if (s5r->wbuf_len > 0)
2609   {
2610     /* not done writing */
2611     s5r->wtask =
2612       GNUNET_SCHEDULER_add_write_net (GNUNET_TIME_UNIT_FOREVER_REL,
2613                                       s5r->sock,
2614                                       &do_write, s5r);
2615     return;
2616   }
2617
2618   /* we're done writing, continue with state machine! */
2619
2620   switch (s5r->state)
2621   {
2622     case SOCKS5_INIT:
2623       GNUNET_assert (0);
2624       break;
2625     case SOCKS5_REQUEST:
2626       GNUNET_assert (NULL != s5r->rtask);
2627       break;
2628     case SOCKS5_DATA_TRANSFER:
2629       setup_data_transfer (s5r);
2630       return;
2631     case SOCKS5_WRITE_THEN_CLEANUP:
2632       cleanup_s5r (s5r);
2633       return;
2634     default:
2635       GNUNET_break (0);
2636       break;
2637   }
2638 }
2639
2640
2641 /**
2642  * Return a server response message indicating a failure to the client.
2643  *
2644  * @param s5r request to return failure code for
2645  * @param sc status code to return
2646  */
2647 static void
2648 signal_socks_failure (struct Socks5Request *s5r,
2649                       enum Socks5StatusCode sc)
2650 {
2651   struct Socks5ServerResponseMessage *s_resp;
2652
2653   s_resp = (struct Socks5ServerResponseMessage *) &s5r->wbuf[s5r->wbuf_len];
2654   memset (s_resp, 0, sizeof (struct Socks5ServerResponseMessage));
2655   s_resp->version = SOCKS_VERSION_5;
2656   s_resp->reply = sc;
2657   s5r->state = SOCKS5_WRITE_THEN_CLEANUP;
2658   if (NULL != s5r->wtask)
2659     s5r->wtask =
2660       GNUNET_SCHEDULER_add_write_net (GNUNET_TIME_UNIT_FOREVER_REL,
2661                                       s5r->sock,
2662                                       &do_write, s5r);
2663 }
2664
2665
2666 /**
2667  * Return a server response message indicating success.
2668  *
2669  * @param s5r request to return success status message for
2670  */
2671 static void
2672 signal_socks_success (struct Socks5Request *s5r)
2673 {
2674   struct Socks5ServerResponseMessage *s_resp;
2675
2676   s_resp = (struct Socks5ServerResponseMessage *) &s5r->wbuf[s5r->wbuf_len];
2677   s_resp->version = SOCKS_VERSION_5;
2678   s_resp->reply = SOCKS5_STATUS_REQUEST_GRANTED;
2679   s_resp->reserved = 0;
2680   s_resp->addr_type = SOCKS5_AT_IPV4;
2681   /* zero out IPv4 address and port */
2682   memset (&s_resp[1],
2683           0,
2684           sizeof (struct in_addr) + sizeof (uint16_t));
2685   s5r->wbuf_len += sizeof (struct Socks5ServerResponseMessage) +
2686     sizeof (struct in_addr) + sizeof (uint16_t);
2687   if (NULL == s5r->wtask)
2688     s5r->wtask =
2689       GNUNET_SCHEDULER_add_write_net (GNUNET_TIME_UNIT_FOREVER_REL,
2690                                       s5r->sock,
2691                                       &do_write, s5r);
2692 }
2693
2694
2695 /**
2696  * Process GNS results for target domain.
2697  *
2698  * @param cls the `struct Socks5Request *`
2699  * @param tld #GNUNET_YES if this was a GNS TLD.
2700  * @param rd_count number of records returned
2701  * @param rd record data
2702  */
2703 static void
2704 handle_gns_result (void *cls,
2705                    int tld,
2706                    uint32_t rd_count,
2707                    const struct GNUNET_GNSRECORD_Data *rd)
2708 {
2709   struct Socks5Request *s5r = cls;
2710   const struct GNUNET_GNSRECORD_Data *r;
2711   int got_ip;
2712
2713   s5r->gns_lookup = NULL;
2714   s5r->is_gns = tld;
2715   got_ip = GNUNET_NO;
2716   for (uint32_t i=0;i<rd_count;i++)
2717   {
2718     r = &rd[i];
2719     switch (r->record_type)
2720     {
2721       case GNUNET_DNSPARSER_TYPE_A:
2722         {
2723           struct sockaddr_in *in;
2724
2725           if (sizeof (struct in_addr) != r->data_size)
2726           {
2727             GNUNET_break_op (0);
2728             break;
2729           }
2730           if (GNUNET_YES == got_ip)
2731             break;
2732           if (GNUNET_OK !=
2733               GNUNET_NETWORK_test_pf (PF_INET))
2734             break;
2735           got_ip = GNUNET_YES;
2736           in = (struct sockaddr_in *) &s5r->destination_address;
2737           in->sin_family = AF_INET;
2738           GNUNET_memcpy (&in->sin_addr,
2739                          r->data,
2740                          r->data_size);
2741           in->sin_port = htons (s5r->port);
2742 #if HAVE_SOCKADDR_IN_SIN_LEN
2743           in->sin_len = sizeof (*in);
2744 #endif
2745         }
2746         break;
2747       case GNUNET_DNSPARSER_TYPE_AAAA:
2748         {
2749           struct sockaddr_in6 *in;
2750
2751           if (sizeof (struct in6_addr) != r->data_size)
2752           {
2753             GNUNET_break_op (0);
2754             break;
2755           }
2756           if (GNUNET_YES == got_ip)
2757             break;
2758           if (GNUNET_OK !=
2759               GNUNET_NETWORK_test_pf (PF_INET))
2760             break;
2761           /* FIXME: allow user to disable IPv6 per configuration option... */
2762           got_ip = GNUNET_YES;
2763           in = (struct sockaddr_in6 *) &s5r->destination_address;
2764           in->sin6_family = AF_INET6;
2765           GNUNET_memcpy (&in->sin6_addr,
2766                          r->data,
2767                          r->data_size);
2768           in->sin6_port = htons (s5r->port);
2769 #if HAVE_SOCKADDR_IN_SIN_LEN
2770           in->sin6_len = sizeof (*in);
2771 #endif
2772         }
2773         break;
2774       case GNUNET_GNSRECORD_TYPE_VPN:
2775         GNUNET_break (0); /* should have been translated within GNS */
2776         break;
2777       case GNUNET_GNSRECORD_TYPE_LEHO:
2778         GNUNET_free_non_null (s5r->leho);
2779         s5r->leho = GNUNET_strndup (r->data,
2780                                     r->data_size);
2781         break;
2782       case GNUNET_GNSRECORD_TYPE_BOX:
2783         {
2784           const struct GNUNET_GNSRECORD_BoxRecord *box;
2785
2786           if (r->data_size < sizeof (struct GNUNET_GNSRECORD_BoxRecord))
2787           {
2788             GNUNET_break_op (0);
2789             break;
2790           }
2791           box = r->data;
2792           if ( (ntohl (box->record_type) != GNUNET_DNSPARSER_TYPE_TLSA) ||
2793                (ntohs (box->protocol) != IPPROTO_TCP) ||
2794                (ntohs (box->service) != s5r->port) )
2795             break; /* BOX record does not apply */
2796           GNUNET_free_non_null (s5r->dane_data);
2797           s5r->dane_data_len = r->data_size - sizeof (struct GNUNET_GNSRECORD_BoxRecord);
2798           s5r->dane_data = GNUNET_malloc (s5r->dane_data_len);
2799           GNUNET_memcpy (s5r->dane_data,
2800                          &box[1],
2801                          s5r->dane_data_len);
2802           break;
2803         }
2804       default:
2805         /* don't care */
2806         break;
2807     }
2808   }
2809   if ( (GNUNET_YES != got_ip) &&
2810        (GNUNET_YES == tld) )
2811   {
2812     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2813                 "Name resolution failed to yield useful IP address.\n");
2814     signal_socks_failure (s5r,
2815                           SOCKS5_STATUS_GENERAL_FAILURE);
2816     return;
2817   }
2818   s5r->state = SOCKS5_DATA_TRANSFER;
2819   signal_socks_success (s5r);
2820 }
2821
2822
2823 /**
2824  * Remove the first @a len bytes from the beginning of the read buffer.
2825  *
2826  * @param s5r the handle clear the read buffer for
2827  * @param len number of bytes in read buffer to advance
2828  */
2829 static void
2830 clear_from_s5r_rbuf (struct Socks5Request *s5r,
2831                      size_t len)
2832 {
2833   GNUNET_assert (len <= s5r->rbuf_len);
2834   memmove (s5r->rbuf,
2835            &s5r->rbuf[len],
2836            s5r->rbuf_len - len);
2837   s5r->rbuf_len -= len;
2838 }
2839
2840
2841 /**
2842  * Read data from incoming Socks5 connection
2843  *
2844  * @param cls the closure with the `struct Socks5Request`
2845  */
2846 static void
2847 do_s5r_read (void *cls)
2848 {
2849   struct Socks5Request *s5r = cls;
2850   const struct Socks5ClientHelloMessage *c_hello;
2851   struct Socks5ServerHelloMessage *s_hello;
2852   const struct Socks5ClientRequestMessage *c_req;
2853   ssize_t rlen;
2854   size_t alen;
2855   const struct GNUNET_SCHEDULER_TaskContext *tc;
2856
2857   s5r->rtask = NULL;
2858   tc = GNUNET_SCHEDULER_get_task_context ();
2859   if ( (NULL != tc->read_ready) &&
2860        (GNUNET_NETWORK_fdset_isset (tc->read_ready, s5r->sock)) )
2861   {
2862     rlen = GNUNET_NETWORK_socket_recv (s5r->sock,
2863                                        &s5r->rbuf[s5r->rbuf_len],
2864                                        sizeof (s5r->rbuf) - s5r->rbuf_len);
2865     if (rlen <= 0)
2866     {
2867       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2868                   "socks5 client disconnected.\n");
2869       cleanup_s5r (s5r);
2870       return;
2871     }
2872     s5r->rbuf_len += rlen;
2873   }
2874   s5r->rtask = GNUNET_SCHEDULER_add_read_net (GNUNET_TIME_UNIT_FOREVER_REL,
2875                                               s5r->sock,
2876                                               &do_s5r_read, s5r);
2877   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2878               "Processing %zu bytes of socks data in state %d\n",
2879               s5r->rbuf_len,
2880               s5r->state);
2881   switch (s5r->state)
2882   {
2883     case SOCKS5_INIT:
2884       c_hello = (const struct Socks5ClientHelloMessage*) &s5r->rbuf;
2885       if ( (s5r->rbuf_len < sizeof (struct Socks5ClientHelloMessage)) ||
2886            (s5r->rbuf_len < sizeof (struct Socks5ClientHelloMessage) + c_hello->num_auth_methods) )
2887         return; /* need more data */
2888       if (SOCKS_VERSION_5 != c_hello->version)
2889       {
2890         GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2891                     _("Unsupported socks version %d\n"),
2892                     (int) c_hello->version);
2893         cleanup_s5r (s5r);
2894         return;
2895       }
2896       clear_from_s5r_rbuf (s5r,
2897                            sizeof (struct Socks5ClientHelloMessage) + c_hello->num_auth_methods);
2898       GNUNET_assert (0 == s5r->wbuf_len);
2899       s_hello = (struct Socks5ServerHelloMessage *) &s5r->wbuf;
2900       s5r->wbuf_len = sizeof (struct Socks5ServerHelloMessage);
2901       s_hello->version = SOCKS_VERSION_5;
2902       s_hello->auth_method = SOCKS_AUTH_NONE;
2903       GNUNET_assert (NULL == s5r->wtask);
2904       s5r->wtask = GNUNET_SCHEDULER_add_write_net (GNUNET_TIME_UNIT_FOREVER_REL,
2905                                                    s5r->sock,
2906                                                    &do_write, s5r);
2907       s5r->state = SOCKS5_REQUEST;
2908       return;
2909     case SOCKS5_REQUEST:
2910       c_req = (const struct Socks5ClientRequestMessage *) &s5r->rbuf;
2911       if (s5r->rbuf_len < sizeof (struct Socks5ClientRequestMessage))
2912         return;
2913       switch (c_req->command)
2914       {
2915         case SOCKS5_CMD_TCP_STREAM:
2916           /* handled below */
2917           break;
2918         default:
2919           GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2920                       _("Unsupported socks command %d\n"),
2921                       (int) c_req->command);
2922           signal_socks_failure (s5r,
2923                                 SOCKS5_STATUS_COMMAND_NOT_SUPPORTED);
2924           return;
2925       }
2926       switch (c_req->addr_type)
2927       {
2928         case SOCKS5_AT_IPV4:
2929           {
2930             const struct in_addr *v4 = (const struct in_addr *) &c_req[1];
2931             const uint16_t *port = (const uint16_t *) &v4[1];
2932             struct sockaddr_in *in;
2933
2934             s5r->port = ntohs (*port);
2935             alen = sizeof (struct in_addr);
2936             if (s5r->rbuf_len < sizeof (struct Socks5ClientRequestMessage) +
2937                 alen + sizeof (uint16_t))
2938               return; /* need more data */
2939             in = (struct sockaddr_in *) &s5r->destination_address;
2940             in->sin_family = AF_INET;
2941             in->sin_addr = *v4;
2942             in->sin_port = *port;
2943 #if HAVE_SOCKADDR_IN_SIN_LEN
2944             in->sin_len = sizeof (*in);
2945 #endif
2946             s5r->state = SOCKS5_DATA_TRANSFER;
2947           }
2948           break;
2949         case SOCKS5_AT_IPV6:
2950           {
2951             const struct in6_addr *v6 = (const struct in6_addr *) &c_req[1];
2952             const uint16_t *port = (const uint16_t *) &v6[1];
2953             struct sockaddr_in6 *in;
2954
2955             s5r->port = ntohs (*port);
2956             alen = sizeof (struct in6_addr);
2957             if (s5r->rbuf_len < sizeof (struct Socks5ClientRequestMessage) +
2958                 alen + sizeof (uint16_t))
2959               return; /* need more data */
2960             in = (struct sockaddr_in6 *) &s5r->destination_address;
2961             in->sin6_family = AF_INET6;
2962             in->sin6_addr = *v6;
2963             in->sin6_port = *port;
2964 #if HAVE_SOCKADDR_IN_SIN_LEN
2965             in->sin6_len = sizeof (*in);
2966 #endif
2967             s5r->state = SOCKS5_DATA_TRANSFER;
2968           }
2969           break;
2970         case SOCKS5_AT_DOMAINNAME:
2971           {
2972             const uint8_t *dom_len;
2973             const char *dom_name;
2974             const uint16_t *port;
2975
2976             dom_len = (const uint8_t *) &c_req[1];
2977             alen = *dom_len + 1;
2978             if (s5r->rbuf_len < sizeof (struct Socks5ClientRequestMessage) +
2979                 alen + sizeof (uint16_t))
2980               return; /* need more data */
2981             dom_name = (const char *) &dom_len[1];
2982             port = (const uint16_t*) &dom_name[*dom_len];
2983             s5r->domain = GNUNET_strndup (dom_name,
2984                                           *dom_len);
2985             GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2986                         "Requested connection is to %s:%d\n",
2987                         s5r->domain,
2988                         ntohs (*port));
2989             s5r->state = SOCKS5_RESOLVING;
2990             s5r->port = ntohs (*port);
2991             s5r->gns_lookup = GNUNET_GNS_lookup_with_tld (gns_handle,
2992                                                           s5r->domain,
2993                                                           GNUNET_DNSPARSER_TYPE_A,
2994                                                           GNUNET_NO /* only cached */,
2995                                                           &handle_gns_result,
2996                                                           s5r);
2997             break;
2998           }
2999         default:
3000           GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3001                       _("Unsupported socks address type %d\n"),
3002                       (int) c_req->addr_type);
3003           signal_socks_failure (s5r,
3004                                 SOCKS5_STATUS_ADDRESS_TYPE_NOT_SUPPORTED);
3005           return;
3006       }
3007       clear_from_s5r_rbuf (s5r,
3008                            sizeof (struct Socks5ClientRequestMessage) +
3009                            alen + sizeof (uint16_t));
3010       if (0 != s5r->rbuf_len)
3011       {
3012         /* read more bytes than healthy, why did the client send more!? */
3013         GNUNET_break_op (0);
3014         signal_socks_failure (s5r,
3015                               SOCKS5_STATUS_GENERAL_FAILURE);
3016         return;
3017       }
3018       if (SOCKS5_DATA_TRANSFER == s5r->state)
3019       {
3020         /* if we are not waiting for GNS resolution, signal success */
3021         signal_socks_success (s5r);
3022       }
3023       /* We are done reading right now */
3024       GNUNET_SCHEDULER_cancel (s5r->rtask);
3025       s5r->rtask = NULL;
3026       return;
3027     case SOCKS5_RESOLVING:
3028       GNUNET_assert (0);
3029       return;
3030     case SOCKS5_DATA_TRANSFER:
3031       GNUNET_assert (0);
3032       return;
3033     default:
3034       GNUNET_assert (0);
3035       return;
3036   }
3037 }
3038
3039
3040 /**
3041  * Accept new incoming connections
3042  *
3043  * @param cls the closure with the lsock4 or lsock6
3044  * @param tc the scheduler context
3045  */
3046 static void
3047 do_accept (void *cls)
3048 {
3049   struct GNUNET_NETWORK_Handle *lsock = cls;
3050   struct GNUNET_NETWORK_Handle *s;
3051   struct Socks5Request *s5r;
3052
3053   GNUNET_assert (NULL != lsock);
3054   if (lsock == lsock4)
3055     ltask4 = GNUNET_SCHEDULER_add_read_net (GNUNET_TIME_UNIT_FOREVER_REL,
3056                                             lsock,
3057                                             &do_accept, lsock);
3058   else if (lsock == lsock6)
3059     ltask6 = GNUNET_SCHEDULER_add_read_net (GNUNET_TIME_UNIT_FOREVER_REL,
3060                                             lsock,
3061                                             &do_accept, lsock);
3062   else
3063     GNUNET_assert (0);
3064   s = GNUNET_NETWORK_socket_accept (lsock, NULL, NULL);
3065   if (NULL == s)
3066   {
3067     GNUNET_log_strerror (GNUNET_ERROR_TYPE_ERROR, "accept");
3068     return;
3069   }
3070   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3071               "Got an inbound connection, waiting for data\n");
3072   s5r = GNUNET_new (struct Socks5Request);
3073   GNUNET_CONTAINER_DLL_insert (s5r_head,
3074                                s5r_tail,
3075                                s5r);
3076   s5r->sock = s;
3077   s5r->state = SOCKS5_INIT;
3078   s5r->rtask = GNUNET_SCHEDULER_add_read_net (GNUNET_TIME_UNIT_FOREVER_REL,
3079                                               s5r->sock,
3080                                               &do_s5r_read, s5r);
3081 }
3082
3083
3084 /* ******************* General / main code ********************* */
3085
3086
3087 /**
3088  * Task run on shutdown
3089  *
3090  * @param cls closure
3091  */
3092 static void
3093 do_shutdown (void *cls)
3094 {
3095   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
3096               "Shutting down...\n");
3097   /* MHD requires resuming before destroying the daemons */
3098   for (struct Socks5Request *s5r = s5r_head;
3099        NULL != s5r;
3100        s5r = s5r->next)
3101   {
3102     if (s5r->suspended)
3103     {
3104       s5r->suspended = GNUNET_NO;
3105       MHD_resume_connection (s5r->con);
3106     }
3107   }
3108   while (NULL != mhd_httpd_head)
3109     kill_httpd (mhd_httpd_head);
3110   while (NULL != s5r_head)
3111     cleanup_s5r (s5r_head);
3112   if (NULL != lsock4)
3113   {
3114     GNUNET_NETWORK_socket_close (lsock4);
3115     lsock4 = NULL;
3116   }
3117   if (NULL != lsock6)
3118   {
3119     GNUNET_NETWORK_socket_close (lsock6);
3120     lsock6 = NULL;
3121   }
3122   if (NULL != curl_multi)
3123   {
3124     curl_multi_cleanup (curl_multi);
3125     curl_multi = NULL;
3126   }
3127   if (NULL != gns_handle)
3128   {
3129     GNUNET_GNS_disconnect (gns_handle);
3130     gns_handle = NULL;
3131   }
3132   if (NULL != curl_download_task)
3133   {
3134     GNUNET_SCHEDULER_cancel (curl_download_task);
3135     curl_download_task = NULL;
3136   }
3137   if (NULL != ltask4)
3138   {
3139     GNUNET_SCHEDULER_cancel (ltask4);
3140     ltask4 = NULL;
3141   }
3142   if (NULL != ltask6)
3143   {
3144     GNUNET_SCHEDULER_cancel (ltask6);
3145     ltask6 = NULL;
3146   }
3147   gnutls_x509_crt_deinit (proxy_ca.cert);
3148   gnutls_x509_privkey_deinit (proxy_ca.key);
3149   gnutls_global_deinit ();
3150 }
3151
3152
3153 /**
3154  * Create an IPv4 listen socket bound to our port.
3155  *
3156  * @return NULL on error
3157  */
3158 static struct GNUNET_NETWORK_Handle *
3159 bind_v4 ()
3160 {
3161   struct GNUNET_NETWORK_Handle *ls;
3162   struct sockaddr_in sa4;
3163   int eno;
3164
3165   memset (&sa4, 0, sizeof (sa4));
3166   sa4.sin_family = AF_INET;
3167   sa4.sin_port = htons (port);
3168 #if HAVE_SOCKADDR_IN_SIN_LEN
3169   sa4.sin_len = sizeof (sa4);
3170 #endif
3171   ls = GNUNET_NETWORK_socket_create (AF_INET,
3172                                      SOCK_STREAM,
3173                                      0);
3174   if (NULL == ls)
3175     return NULL;
3176   if (GNUNET_OK !=
3177       GNUNET_NETWORK_socket_bind (ls, (const struct sockaddr *) &sa4,
3178                                   sizeof (sa4)))
3179   {
3180     eno = errno;
3181     GNUNET_NETWORK_socket_close (ls);
3182     errno = eno;
3183     return NULL;
3184   }
3185   return ls;
3186 }
3187
3188
3189 /**
3190  * Create an IPv6 listen socket bound to our port.
3191  *
3192  * @return NULL on error
3193  */
3194 static struct GNUNET_NETWORK_Handle *
3195 bind_v6 ()
3196 {
3197   struct GNUNET_NETWORK_Handle *ls;
3198   struct sockaddr_in6 sa6;
3199   int eno;
3200
3201   memset (&sa6, 0, sizeof (sa6));
3202   sa6.sin6_family = AF_INET6;
3203   sa6.sin6_port = htons (port);
3204 #if HAVE_SOCKADDR_IN_SIN_LEN
3205   sa6.sin6_len = sizeof (sa6);
3206 #endif
3207   ls = GNUNET_NETWORK_socket_create (AF_INET6,
3208                                      SOCK_STREAM,
3209                                      0);
3210   if (NULL == ls)
3211     return NULL;
3212   if (GNUNET_OK !=
3213       GNUNET_NETWORK_socket_bind (ls, (const struct sockaddr *) &sa6,
3214                                   sizeof (sa6)))
3215   {
3216     eno = errno;
3217     GNUNET_NETWORK_socket_close (ls);
3218     errno = eno;
3219     return NULL;
3220   }
3221   return ls;
3222 }
3223
3224
3225 /**
3226  * Main function that will be run
3227  *
3228  * @param cls closure
3229  * @param args remaining command-line arguments
3230  * @param cfgfile name of the configuration file used (for saving, can be NULL!)
3231  * @param c configuration
3232  */
3233 static void
3234 run (void *cls,
3235      char *const *args,
3236      const char *cfgfile,
3237      const struct GNUNET_CONFIGURATION_Handle *c)
3238 {
3239   char* cafile_cfg = NULL;
3240   char* cafile;
3241   struct MhdHttpList *hd;
3242
3243   cfg = c;
3244
3245   if (NULL == (curl_multi = curl_multi_init ()))
3246   {
3247     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3248                 "Failed to create cURL multi handle!\n");
3249     return;
3250   }
3251   cafile = cafile_opt;
3252   if (NULL == cafile)
3253   {
3254     if (GNUNET_OK !=
3255         GNUNET_CONFIGURATION_get_value_filename (cfg,
3256                                                  "gns-proxy",
3257                                                  "PROXY_CACERT",
3258                                                  &cafile_cfg))
3259     {
3260       GNUNET_log_config_missing (GNUNET_ERROR_TYPE_ERROR,
3261                                  "gns-proxy",
3262                                  "PROXY_CACERT");
3263       return;
3264     }
3265     cafile = cafile_cfg;
3266   }
3267   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3268               "Using %s as CA\n", cafile);
3269
3270   gnutls_global_init ();
3271   gnutls_x509_crt_init (&proxy_ca.cert);
3272   gnutls_x509_privkey_init (&proxy_ca.key);
3273
3274   if ( (GNUNET_OK !=
3275         load_cert_from_file (proxy_ca.cert,
3276                              cafile)) ||
3277        (GNUNET_OK !=
3278         load_key_from_file (proxy_ca.key,
3279                             cafile)) )
3280   {
3281     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3282                 _("Failed to load X.509 key and certificate from `%s'\n"),
3283                 cafile);
3284     gnutls_x509_crt_deinit (proxy_ca.cert);
3285     gnutls_x509_privkey_deinit (proxy_ca.key);
3286     gnutls_global_deinit ();
3287     GNUNET_free_non_null (cafile_cfg);
3288     return;
3289   }
3290   GNUNET_free_non_null (cafile_cfg);
3291   if (NULL == (gns_handle = GNUNET_GNS_connect (cfg)))
3292   {
3293     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3294                 "Unable to connect to GNS!\n");
3295     gnutls_x509_crt_deinit (proxy_ca.cert);
3296     gnutls_x509_privkey_deinit (proxy_ca.key);
3297     gnutls_global_deinit ();
3298     return;
3299   }
3300   GNUNET_SCHEDULER_add_shutdown (&do_shutdown,
3301                                  NULL);
3302
3303   /* Open listen socket for socks proxy */
3304   lsock6 = bind_v6 ();
3305   if (NULL == lsock6)
3306   {
3307     GNUNET_log_strerror (GNUNET_ERROR_TYPE_ERROR,
3308                          "bind");
3309   }
3310   else
3311   {
3312     if (GNUNET_OK !=
3313         GNUNET_NETWORK_socket_listen (lsock6,
3314                                       5))
3315     {
3316       GNUNET_log_strerror (GNUNET_ERROR_TYPE_ERROR,
3317                            "listen");
3318       GNUNET_NETWORK_socket_close (lsock6);
3319       lsock6 = NULL;
3320     }
3321     else
3322     {
3323       ltask6 = GNUNET_SCHEDULER_add_read_net (GNUNET_TIME_UNIT_FOREVER_REL,
3324                                               lsock6,
3325                                               &do_accept,
3326                                               lsock6);
3327     }
3328   }
3329   lsock4 = bind_v4 ();
3330   if (NULL == lsock4)
3331   {
3332     GNUNET_log_strerror (GNUNET_ERROR_TYPE_ERROR,
3333                          "bind");
3334   }
3335   else
3336   {
3337     if (GNUNET_OK !=
3338         GNUNET_NETWORK_socket_listen (lsock4,
3339                                       5))
3340     {
3341       GNUNET_log_strerror (GNUNET_ERROR_TYPE_ERROR,
3342                            "listen");
3343       GNUNET_NETWORK_socket_close (lsock4);
3344       lsock4 = NULL;
3345     }
3346     else
3347     {
3348       ltask4 = GNUNET_SCHEDULER_add_read_net (GNUNET_TIME_UNIT_FOREVER_REL,
3349                                               lsock4,
3350                                               &do_accept,
3351                                               lsock4);
3352     }
3353   }
3354   if ( (NULL == lsock4) &&
3355        (NULL == lsock6) )
3356   {
3357     GNUNET_SCHEDULER_shutdown ();
3358     return;
3359   }
3360   if (0 != curl_global_init (CURL_GLOBAL_WIN32))
3361   {
3362     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3363                 "cURL global init failed!\n");
3364     GNUNET_SCHEDULER_shutdown ();
3365     return;
3366   }
3367   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3368               "Proxy listens on port %llu\n",
3369               port);
3370
3371   /* start MHD daemon for HTTP */
3372   hd = GNUNET_new (struct MhdHttpList);
3373   hd->daemon = MHD_start_daemon (MHD_USE_DEBUG | MHD_USE_NO_LISTEN_SOCKET | MHD_ALLOW_SUSPEND_RESUME,
3374                                  0,
3375                                  NULL, NULL,
3376                                  &create_response, hd,
3377                                  MHD_OPTION_CONNECTION_TIMEOUT, (unsigned int) 16,
3378                                  MHD_OPTION_NOTIFY_COMPLETED, &mhd_completed_cb, NULL,
3379                                  MHD_OPTION_NOTIFY_CONNECTION, &mhd_connection_cb, NULL,
3380                                  MHD_OPTION_URI_LOG_CALLBACK, &mhd_log_callback, NULL,
3381                                  MHD_OPTION_END);
3382   if (NULL == hd->daemon)
3383   {
3384     GNUNET_free (hd);
3385     GNUNET_SCHEDULER_shutdown ();
3386     return;
3387   }
3388   httpd = hd;
3389   GNUNET_CONTAINER_DLL_insert (mhd_httpd_head,
3390                                mhd_httpd_tail,
3391                                hd);
3392 }
3393
3394
3395 /**
3396  * The main function for gnunet-gns-proxy.
3397  *
3398  * @param argc number of arguments from the command line
3399  * @param argv command line arguments
3400  * @return 0 ok, 1 on error
3401  */
3402 int
3403 main (int argc, char *const *argv)
3404 {
3405   struct GNUNET_GETOPT_CommandLineOption options[] = {
3406     GNUNET_GETOPT_option_ulong ('p',
3407                                 "port",
3408                                 NULL,
3409                                 gettext_noop ("listen on specified port (default: 7777)"),
3410                                 &port),
3411     GNUNET_GETOPT_option_string ('a',
3412                                  "authority",
3413                                  NULL,
3414                                  gettext_noop ("pem file to use as CA"),
3415                                  &cafile_opt),
3416
3417     GNUNET_GETOPT_OPTION_END
3418   };
3419   static const char* page =
3420     "<html><head><title>gnunet-gns-proxy</title>"
3421     "</head><body>cURL fail</body></html>";
3422   int ret;
3423
3424   if (GNUNET_OK != GNUNET_STRINGS_get_utf8_args (argc, argv,
3425                                                  &argc, &argv))
3426     return 2;
3427   GNUNET_log_setup ("gnunet-gns-proxy",
3428                     "WARNING",
3429                     NULL);
3430   curl_failure_response
3431     = MHD_create_response_from_buffer (strlen (page),
3432                                        (void *) page,
3433                                        MHD_RESPMEM_PERSISTENT);
3434
3435   ret =
3436     (GNUNET_OK ==
3437      GNUNET_PROGRAM_run (argc, argv,
3438                          "gnunet-gns-proxy",
3439                          _("GNUnet GNS proxy"),
3440                          options,
3441                          &run, NULL)) ? 0 : 1;
3442   MHD_destroy_response (curl_failure_response);
3443   GNUNET_free_non_null ((char *) argv);
3444   return ret;
3445 }
3446
3447 /* end of gnunet-gns-proxy.c */