trying to fix #3576
[oweals/gnunet.git] / src / fs / fs_uri.c
1 /*
2      This file is part of GNUnet.
3      (C) 2003--2014 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file fs/fs_uri.c
23  * @brief Parses and produces uri strings.
24  * @author Igor Wronsky, Christian Grothoff
25  *
26  * GNUnet URIs are of the general form "gnunet://MODULE/IDENTIFIER".
27  * The specific structure of "IDENTIFIER" depends on the module and
28  * maybe differenciated into additional subcategories if applicable.
29  * This module only deals with fs identifiers (MODULE = "fs").
30  * <p>
31  *
32  * This module only parses URIs for the AFS module.  The FS URIs fall
33  * into four categories, "chk", "sks", "ksk" and "loc".  The first three
34  * categories were named in analogy (!) to Freenet, but they do NOT
35  * work in exactly the same way.  They are very similar from the user's
36  * point of view (unique file identifier, subspace, keyword), but the
37  * implementation is rather different in pretty much every detail.
38  * The concrete URI formats are:
39  *
40  * <ul><li>
41  *
42  * First, there are URIs that identify a file.  They have the format
43  * "gnunet://fs/chk/HEX1.HEX2.SIZE".  These URIs can be used to
44  * download the file.  The description, filename, mime-type and other
45  * meta-data is NOT part of the file-URI since a URI uniquely
46  * identifies a resource (and the contents of the file would be the
47  * same even if it had a different description).
48  *
49  * </li><li>
50  *
51  * The second category identifies entries in a namespace.  The format
52  * is "gnunet://fs/sks/NAMESPACE/IDENTIFIER" where the namespace
53  * should be given in HEX.  Applications may allow using a nickname
54  * for the namespace if the nickname is not ambiguous.  The identifier
55  * can be either an ASCII sequence or a HEX-encoding.  If the
56  * identifier is in ASCII but the format is ambiguous and could denote
57  * a HEX-string a "/" is appended to indicate ASCII encoding.
58  *
59  * </li> <li>
60  *
61  * The third category identifies ordinary searches.  The format is
62  * "gnunet://fs/ksk/KEYWORD[+KEYWORD]*".  Using the "+" syntax
63  * it is possible to encode searches with the boolean "AND" operator.
64  * "+" is used since it indicates a commutative 'and' operation and
65  * is unlikely to be used in a keyword by itself.
66  *
67  * </li><li>
68  *
69  * The last category identifies a datum on a specific machine.  The
70  * format is "gnunet://fs/loc/HEX1.HEX2.SIZE.PEER.SIG.EXPTIME".  PEER is
71  * the BinName of the public key of the peer storing the datum.  The
72  * signature (SIG) certifies that this peer has this content.
73  * HEX1, HEX2 and SIZE correspond to a 'chk' URI.
74  *
75  * </li></ul>
76  *
77  * The encoding for hexadecimal values is defined in the hashing.c
78  * module in the gnunetutil library and discussed there.
79  * <p>
80  */
81 #include "platform.h"
82 #include "gnunet_fs_service.h"
83 #include "gnunet_signatures.h"
84 #include "fs_api.h"
85 #include <unitypes.h>
86 #include <unicase.h>
87 #include <uniconv.h>
88 #include <unistr.h>
89 #include <unistdio.h>
90
91
92
93 /**
94  * Get a unique key from a URI.  This is for putting URIs
95  * into HashMaps.  The key may change between FS implementations.
96  *
97  * @param uri uri to convert to a unique key
98  * @param key where to store the unique key
99  */
100 void
101 GNUNET_FS_uri_to_key (const struct GNUNET_FS_Uri *uri,
102                       struct GNUNET_HashCode *key)
103 {
104   switch (uri->type)
105   {
106   case GNUNET_FS_URI_CHK:
107     *key = uri->data.chk.chk.query;
108     return;
109   case GNUNET_FS_URI_SKS:
110     GNUNET_CRYPTO_hash (uri->data.sks.identifier,
111                         strlen (uri->data.sks.identifier), key);
112     break;
113   case GNUNET_FS_URI_KSK:
114     if (uri->data.ksk.keywordCount > 0)
115       GNUNET_CRYPTO_hash (uri->data.ksk.keywords[0],
116                           strlen (uri->data.ksk.keywords[0]), key);
117     break;
118   case GNUNET_FS_URI_LOC:
119     GNUNET_CRYPTO_hash (&uri->data.loc.fi,
120                         sizeof (struct FileIdentifier) +
121                         sizeof (struct GNUNET_PeerIdentity),
122                         key);
123     break;
124   default:
125     memset (key, 0, sizeof (struct GNUNET_HashCode));
126     break;
127   }
128 }
129
130
131 /**
132  * Convert keyword URI to a human readable format
133  * (i.e. the search query that was used in the first place)
134  *
135  * @param uri ksk uri to convert to a string
136  * @return string with the keywords
137  */
138 char *
139 GNUNET_FS_uri_ksk_to_string_fancy (const struct GNUNET_FS_Uri *uri)
140 {
141   size_t n;
142   char *ret;
143   unsigned int i;
144   const char *keyword;
145   char **keywords;
146   unsigned int keywordCount;
147
148   if ((NULL == uri) || (GNUNET_FS_URI_KSK != uri->type))
149   {
150     GNUNET_break (0);
151     return NULL;
152   }
153   keywords = uri->data.ksk.keywords;
154   keywordCount = uri->data.ksk.keywordCount;
155   n = keywordCount + 1;
156   for (i = 0; i < keywordCount; i++)
157   {
158     keyword = keywords[i];
159     n += strlen (keyword) - 1;
160     if (NULL != strstr (&keyword[1], " "))
161       n += 2;
162     if (keyword[0] == '+')
163       n++;
164   }
165   ret = GNUNET_malloc (n);
166   strcpy (ret, "");
167   for (i = 0; i < keywordCount; i++)
168   {
169     keyword = keywords[i];
170     if (NULL != strstr (&keyword[1], " "))
171     {
172       strcat (ret, "\"");
173       if (keyword[0] == '+')
174         strcat (ret, keyword);
175       else
176         strcat (ret, &keyword[1]);
177       strcat (ret, "\"");
178     }
179     else
180     {
181       if (keyword[0] == '+')
182         strcat (ret, keyword);
183       else
184         strcat (ret, &keyword[1]);
185     }
186     strcat (ret, " ");
187   }
188   return ret;
189 }
190
191
192 /**
193  * Given a keyword with %-encoding (and possibly quotes to protect
194  * spaces), return a copy of the keyword without %-encoding and
195  * without double-quotes (%22).  Also, add a space at the beginning
196  * if there is not a '+'.
197  *
198  * @param in string with %-encoding
199  * @param emsg where to store the parser error message (if any)
200  * @return decodded string with leading space (or preserved plus)
201  */
202 static char *
203 percent_decode_keyword (const char *in,
204                         char **emsg)
205 {
206   char *out;
207   char *ret;
208   unsigned int rpos;
209   unsigned int wpos;
210   unsigned int hx;
211
212   out = GNUNET_strdup (in);
213   rpos = 0;
214   wpos = 0;
215   while (out[rpos] != '\0')
216   {
217     if (out[rpos] == '%')
218     {
219       if (1 != SSCANF (&out[rpos + 1], "%2X", &hx))
220       {
221         GNUNET_free (out);
222         *emsg = GNUNET_strdup (_(/* xgettext:no-c-format */
223                                  "Malformed KSK URI (`%' must be followed by HEX number)"));
224         return NULL;
225       }
226       rpos += 3;
227       if (hx == '"')
228         continue;               /* skip double quote */
229       out[wpos++] = (char) hx;
230     }
231     else
232     {
233       out[wpos++] = out[rpos++];
234     }
235   }
236   out[wpos] = '\0';
237   if (out[0] == '+')
238   {
239     ret = GNUNET_strdup (out);
240   }
241   else
242   {
243     /* need to prefix with space */
244     ret = GNUNET_malloc (strlen (out) + 2);
245     strcpy (ret, " ");
246     strcat (ret, out);
247   }
248   GNUNET_free (out);
249   return ret;
250 }
251
252 #define GNUNET_FS_URI_KSK_PREFIX GNUNET_FS_URI_PREFIX GNUNET_FS_URI_KSK_INFIX
253
254 /**
255  * Parse a KSK URI.
256  *
257  * @param s an uri string
258  * @param emsg where to store the parser error message (if any)
259  * @return NULL on error, otherwise the KSK URI
260  */
261 static struct GNUNET_FS_Uri *
262 uri_ksk_parse (const char *s,
263                char **emsg)
264 {
265   struct GNUNET_FS_Uri *ret;
266   char **keywords;
267   unsigned int pos;
268   int max;
269   int iret;
270   int i;
271   size_t slen;
272   char *dup;
273   int saw_quote;
274
275   GNUNET_assert (NULL != s);
276   slen = strlen (s);
277   pos = strlen (GNUNET_FS_URI_KSK_PREFIX);
278   if ((slen <= pos) || (0 != strncmp (s, GNUNET_FS_URI_KSK_PREFIX, pos)))
279     return NULL;                /* not KSK URI */
280   if ((s[slen - 1] == '+') || (s[pos] == '+'))
281   {
282     *emsg =
283         GNUNET_strdup (_("Malformed KSK URI (must not begin or end with `+')"));
284     return NULL;
285   }
286   max = 1;
287   saw_quote = 0;
288   for (i = pos; i < slen; i++)
289   {
290     if ((s[i] == '%') && (&s[i] == strstr (&s[i], "%22")))
291     {
292       saw_quote = (saw_quote + 1) % 2;
293       i += 3;
294       continue;
295     }
296     if ((s[i] == '+') && (saw_quote == 0))
297     {
298       max++;
299       if (s[i - 1] == '+')
300       {
301         *emsg = GNUNET_strdup (_("Malformed KSK URI (`++' not allowed)"));
302         return NULL;
303       }
304     }
305   }
306   if (saw_quote == 1)
307   {
308     *emsg = GNUNET_strdup (_("Malformed KSK URI (quotes not balanced)"));
309     return NULL;
310   }
311   iret = max;
312   dup = GNUNET_strdup (s);
313   keywords = GNUNET_malloc (max * sizeof (char *));
314   for (i = slen - 1; i >= (int) pos; i--)
315   {
316     if ((s[i] == '%') && (&s[i] == strstr (&s[i], "%22")))
317     {
318       saw_quote = (saw_quote + 1) % 2;
319       continue;
320     }
321     if ((dup[i] == '+') && (saw_quote == 0))
322     {
323       keywords[--max] = percent_decode_keyword (&dup[i + 1], emsg);
324       if (NULL == keywords[max])
325         goto CLEANUP;
326       dup[i] = '\0';
327     }
328   }
329   keywords[--max] = percent_decode_keyword (&dup[pos], emsg);
330   if (NULL == keywords[max])
331     goto CLEANUP;
332   GNUNET_assert (0 == max);
333   GNUNET_free (dup);
334   ret = GNUNET_new (struct GNUNET_FS_Uri);
335   ret->type = GNUNET_FS_URI_KSK;
336   ret->data.ksk.keywordCount = iret;
337   ret->data.ksk.keywords = keywords;
338   return ret;
339 CLEANUP:
340   for (i = 0; i < max; i++)
341     GNUNET_free_non_null (keywords[i]);
342   GNUNET_free (keywords);
343   GNUNET_free (dup);
344   return NULL;
345 }
346
347
348 #define GNUNET_FS_URI_SKS_PREFIX GNUNET_FS_URI_PREFIX GNUNET_FS_URI_SKS_INFIX
349
350 /**
351  * Parse an SKS URI.
352  *
353  * @param s an uri string
354  * @param emsg where to store the parser error message (if any)
355  * @return NULL on error, SKS URI otherwise
356  */
357 static struct GNUNET_FS_Uri *
358 uri_sks_parse (const char *s,
359                char **emsg)
360 {
361   struct GNUNET_FS_Uri *ret;
362   struct GNUNET_CRYPTO_EcdsaPublicKey ns;
363   size_t pos;
364   char *end;
365
366   GNUNET_assert (s != NULL);
367   pos = strlen (GNUNET_FS_URI_SKS_PREFIX);
368   if ((strlen (s) <= pos) || (0 != strncmp (s, GNUNET_FS_URI_SKS_PREFIX, pos)))
369     return NULL;                /* not an SKS URI */
370   end = strchr (&s[pos], '/');
371   if ( (NULL == end) ||
372        (GNUNET_OK !=
373         GNUNET_STRINGS_string_to_data (&s[pos],
374                                        end - &s[pos],
375                                        &ns,
376                                        sizeof (ns))) )
377   {
378     *emsg = GNUNET_strdup (_("Malformed SKS URI (wrong syntax)"));
379     return NULL; /* malformed */
380   }
381   end++; /* skip over '/' */
382   ret = GNUNET_new (struct GNUNET_FS_Uri);
383   ret->type = GNUNET_FS_URI_SKS;
384   ret->data.sks.ns = ns;
385   ret->data.sks.identifier = GNUNET_strdup (end);
386   return ret;
387 }
388
389 #define GNUNET_FS_URI_CHK_PREFIX GNUNET_FS_URI_PREFIX GNUNET_FS_URI_CHK_INFIX
390
391
392 /**
393  * Parse a CHK URI.
394  *
395  * @param s an uri string
396  * @param emsg where to store the parser error message (if any)
397  * @return NULL on error, CHK URI otherwise
398  */
399 static struct GNUNET_FS_Uri *
400 uri_chk_parse (const char *s,
401                char **emsg)
402 {
403   struct GNUNET_FS_Uri *ret;
404   struct FileIdentifier fi;
405   unsigned int pos;
406   unsigned long long flen;
407   size_t slen;
408   char h1[sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded)];
409   char h2[sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded)];
410
411   if (NULL == s)
412     return NULL;
413   GNUNET_assert (s != NULL);
414   slen = strlen (s);
415   pos = strlen (GNUNET_FS_URI_CHK_PREFIX);
416   if ((slen < pos + 2 * sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) + 1) ||
417       (0 != strncmp (s, GNUNET_FS_URI_CHK_PREFIX, pos)))
418     return NULL;                /* not a CHK URI */
419   if ((s[pos + sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) - 1] != '.') ||
420       (s[pos + sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) * 2 - 1] != '.'))
421   {
422     *emsg = GNUNET_strdup (_("Malformed CHK URI (wrong syntax)"));
423     return NULL;
424   }
425   memcpy (h1, &s[pos], sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded));
426   h1[sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) - 1] = '\0';
427   memcpy (h2, &s[pos + sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded)],
428           sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded));
429   h2[sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) - 1] = '\0';
430
431   if ((GNUNET_OK != GNUNET_CRYPTO_hash_from_string (h1, &fi.chk.key)) ||
432       (GNUNET_OK != GNUNET_CRYPTO_hash_from_string (h2, &fi.chk.query)) ||
433       (1 !=
434        SSCANF (&s[pos + sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) * 2],
435                "%llu", &flen)))
436   {
437     *emsg = GNUNET_strdup (_("Malformed CHK URI (failed to decode CHK)"));
438     return NULL;
439   }
440   fi.file_length = GNUNET_htonll (flen);
441   ret = GNUNET_new (struct GNUNET_FS_Uri);
442   ret->type = GNUNET_FS_URI_CHK;
443   ret->data.chk = fi;
444   return ret;
445 }
446
447
448 GNUNET_NETWORK_STRUCT_BEGIN
449 /**
450  * Structure that defines how the contents of a location URI must be
451  * assembled in memory to create or verify the signature of a location
452  * URI.
453  */
454 struct LocUriAssembly
455 {
456   /**
457    * What is being signed (rest of this struct).
458    */
459   struct GNUNET_CRYPTO_EccSignaturePurpose purpose;
460
461   /**
462    * Expiration time of the offer.
463    */
464   struct GNUNET_TIME_AbsoluteNBO exptime;
465
466   /**
467    * File being offered.
468    */
469   struct FileIdentifier fi;
470
471   /**
472    * Peer offering the file.
473    */
474   struct GNUNET_PeerIdentity peer;
475
476 };
477 GNUNET_NETWORK_STRUCT_END
478
479
480 #define GNUNET_FS_URI_LOC_PREFIX GNUNET_FS_URI_PREFIX GNUNET_FS_URI_LOC_INFIX
481
482 #define SIGNATURE_ASCII_LENGTH 103
483
484 /**
485  * Parse a LOC URI.
486  * Also verifies validity of the location URI.
487  *
488  * @param s an uri string
489  * @param emsg where to store the parser error message (if any)
490  * @return NULL on error, valid LOC URI otherwise
491  */
492 static struct GNUNET_FS_Uri *
493 uri_loc_parse (const char *s,
494                char **emsg)
495 {
496   struct GNUNET_FS_Uri *uri;
497   char h1[sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded)];
498   char h2[sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded)];
499   unsigned int pos;
500   unsigned int npos;
501   unsigned long long exptime;
502   unsigned long long flen;
503   struct GNUNET_TIME_Absolute et;
504   struct GNUNET_CRYPTO_EddsaSignature sig;
505   struct LocUriAssembly ass;
506   size_t slen;
507
508   slen = strlen (s);
509   pos = strlen (GNUNET_FS_URI_LOC_PREFIX);
510   if ((slen < pos + 2 * sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) + 1) ||
511       (0 != strncmp (s, GNUNET_FS_URI_LOC_PREFIX, pos)))
512     return NULL;                /* not a LOC URI */
513   if ((s[pos + sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) - 1] != '.') ||
514       (s[pos + sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) * 2 - 1] != '.'))
515   {
516     *emsg = GNUNET_strdup (_("LOC URI malformed (wrong syntax)"));
517     return NULL;
518   }
519   memcpy (h1, &s[pos], sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded));
520   h1[sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) - 1] = '\0';
521   memcpy (h2, &s[pos + sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded)],
522           sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded));
523   h2[sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) - 1] = '\0';
524
525   if ((GNUNET_OK != GNUNET_CRYPTO_hash_from_string (h1, &ass.fi.chk.key)) ||
526       (GNUNET_OK != GNUNET_CRYPTO_hash_from_string (h2, &ass.fi.chk.query)) ||
527       (1 !=
528        SSCANF (&s[pos + sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) * 2],
529                "%llu", &flen)))
530   {
531     *emsg = GNUNET_strdup (_("LOC URI malformed (no CHK)"));
532     return NULL;
533   }
534   ass.fi.file_length = GNUNET_htonll (flen);
535
536   npos = pos + sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) * 2;
537   while ((s[npos] != '\0') && (s[npos] != '.'))
538     npos++;
539   if (s[npos] == '\0')
540   {
541     *emsg = GNUNET_strdup (_("LOC URI malformed (missing LOC)"));
542     goto ERR;
543   }
544   npos++;
545   if ( (strlen (&s[npos]) <= GNUNET_CRYPTO_PKEY_ASCII_LENGTH + 1) ||
546        ('.' != s[npos+GNUNET_CRYPTO_PKEY_ASCII_LENGTH]) )
547   {
548     *emsg =
549       GNUNET_strdup (_("LOC URI malformed (wrong syntax for public key)"));
550   }
551   if (GNUNET_OK !=
552       GNUNET_CRYPTO_eddsa_public_key_from_string (&s[npos],
553                                                   GNUNET_CRYPTO_PKEY_ASCII_LENGTH,
554                                                   &ass.peer.public_key))
555   {
556     *emsg =
557         GNUNET_strdup (_("LOC URI malformed (could not decode public key)"));
558     goto ERR;
559   }
560   npos += GNUNET_CRYPTO_PKEY_ASCII_LENGTH;
561   if (s[npos++] != '.')
562   {
563     *emsg = GNUNET_strdup (_("LOC URI malformed (could not find signature)"));
564     goto ERR;
565   }
566   if ( (strlen (&s[npos]) <= SIGNATURE_ASCII_LENGTH + 1) ||
567        ('.' != s[npos + SIGNATURE_ASCII_LENGTH]) )
568   {
569     *emsg = GNUNET_strdup (_("LOC URI malformed (wrong syntax for signature)"));
570     goto ERR;
571   }
572   if (GNUNET_OK !=
573       GNUNET_STRINGS_string_to_data (&s[npos],
574                                      SIGNATURE_ASCII_LENGTH,
575                                      &sig,
576                                      sizeof (struct GNUNET_CRYPTO_EddsaSignature)))
577   {
578     *emsg = GNUNET_strdup (_("LOC URI malformed (could not decode signature)"));
579     goto ERR;
580   }
581   npos += SIGNATURE_ASCII_LENGTH;
582   if (s[npos++] != '.')
583   {
584     *emsg = GNUNET_strdup (_("LOC URI malformed (wrong syntax for expiration time)"));
585     goto ERR;
586   }
587   if (1 != SSCANF (&s[npos], "%llu", &exptime))
588   {
589     *emsg =
590         GNUNET_strdup (_("LOC URI malformed (could not parse expiration time)"));
591     goto ERR;
592   }
593   ass.purpose.size = htonl (sizeof (struct LocUriAssembly));
594   ass.purpose.purpose = htonl (GNUNET_SIGNATURE_PURPOSE_PEER_PLACEMENT);
595   et.abs_value_us = exptime * 1000LL * 1000LL;
596   ass.exptime = GNUNET_TIME_absolute_hton (et);
597   if (GNUNET_OK !=
598       GNUNET_CRYPTO_eddsa_verify (GNUNET_SIGNATURE_PURPOSE_PEER_PLACEMENT,
599                                   &ass.purpose, &sig, &ass.peer.public_key))
600   {
601     *emsg =
602         GNUNET_strdup (_("LOC URI malformed (signature failed validation)"));
603     goto ERR;
604   }
605   uri = GNUNET_new (struct GNUNET_FS_Uri);
606   uri->type = GNUNET_FS_URI_LOC;
607   uri->data.loc.fi = ass.fi;
608   uri->data.loc.peer = ass.peer;
609   uri->data.loc.expirationTime = et;
610   uri->data.loc.contentSignature = sig;
611
612   return uri;
613 ERR:
614   return NULL;
615 }
616
617
618 /**
619  * Convert a UTF-8 String to a URI.
620  *
621  * @param uri string to parse
622  * @param emsg where to store the parser error message (if any)
623  * @return NULL on error
624  */
625 struct GNUNET_FS_Uri *
626 GNUNET_FS_uri_parse (const char *uri,
627                      char **emsg)
628 {
629   struct GNUNET_FS_Uri *ret;
630   char *msg;
631
632   if (NULL == emsg)
633     emsg = &msg;
634   *emsg = NULL;
635   if ((NULL != (ret = uri_chk_parse (uri, emsg))) ||
636       (NULL != (ret = uri_ksk_parse (uri, emsg))) ||
637       (NULL != (ret = uri_sks_parse (uri, emsg))) ||
638       (NULL != (ret = uri_loc_parse (uri, emsg))))
639     return ret;
640   if (NULL == *emsg)
641     *emsg = GNUNET_strdup (_("Unrecognized URI type"));
642   if (emsg == &msg)
643     GNUNET_free (msg);
644   return NULL;
645 }
646
647
648 /**
649  * Free URI.
650  *
651  * @param uri uri to free
652  */
653 void
654 GNUNET_FS_uri_destroy (struct GNUNET_FS_Uri *uri)
655 {
656   unsigned int i;
657
658   switch (uri->type)
659   {
660   case GNUNET_FS_URI_KSK:
661     for (i = 0; i < uri->data.ksk.keywordCount; i++)
662       GNUNET_free (uri->data.ksk.keywords[i]);
663     GNUNET_array_grow (uri->data.ksk.keywords, uri->data.ksk.keywordCount, 0);
664     break;
665   case GNUNET_FS_URI_SKS:
666     GNUNET_free (uri->data.sks.identifier);
667     break;
668   case GNUNET_FS_URI_LOC:
669     break;
670   default:
671     /* do nothing */
672     break;
673   }
674   GNUNET_free (uri);
675 }
676
677
678 /**
679  * How many keywords are ANDed in this keyword URI?
680  *
681  * @param uri ksk uri to get the number of keywords from
682  * @return 0 if this is not a keyword URI
683  */
684 unsigned int
685 GNUNET_FS_uri_ksk_get_keyword_count (const struct GNUNET_FS_Uri *uri)
686 {
687   if (uri->type != GNUNET_FS_URI_KSK)
688     return 0;
689   return uri->data.ksk.keywordCount;
690 }
691
692
693 /**
694  * Iterate over all keywords in this keyword URI.
695  *
696  * @param uri ksk uri to get the keywords from
697  * @param iterator function to call on each keyword
698  * @param iterator_cls closure for iterator
699  * @return -1 if this is not a keyword URI, otherwise number of
700  *   keywords iterated over until iterator aborted
701  */
702 int
703 GNUNET_FS_uri_ksk_get_keywords (const struct GNUNET_FS_Uri *uri,
704                                 GNUNET_FS_KeywordIterator iterator,
705                                 void *iterator_cls)
706 {
707   unsigned int i;
708   char *keyword;
709
710   if (uri->type != GNUNET_FS_URI_KSK)
711     return -1;
712   if (NULL == iterator)
713     return uri->data.ksk.keywordCount;
714   for (i = 0; i < uri->data.ksk.keywordCount; i++)
715   {
716     keyword = uri->data.ksk.keywords[i];
717     /* first character of keyword indicates
718      * if it is mandatory or not */
719     if (GNUNET_OK != iterator (iterator_cls, &keyword[1], keyword[0] == '+'))
720       return i;
721   }
722   return i;
723 }
724
725
726 /**
727  * Add the given keyword to the set of keywords represented by the URI.
728  * Does nothing if the keyword is already present.
729  *
730  * @param uri ksk uri to modify
731  * @param keyword keyword to add
732  * @param is_mandatory is this keyword mandatory?
733  */
734 void
735 GNUNET_FS_uri_ksk_add_keyword (struct GNUNET_FS_Uri *uri,
736                                const char *keyword,
737                                int is_mandatory)
738 {
739   unsigned int i;
740   const char *old;
741   char *n;
742
743   GNUNET_assert (uri->type == GNUNET_FS_URI_KSK);
744   for (i = 0; i < uri->data.ksk.keywordCount; i++)
745   {
746     old = uri->data.ksk.keywords[i];
747     if (0 == strcmp (&old[1], keyword))
748       return;
749   }
750   GNUNET_asprintf (&n, is_mandatory ? "+%s" : " %s", keyword);
751   GNUNET_array_append (uri->data.ksk.keywords, uri->data.ksk.keywordCount, n);
752 }
753
754
755 /**
756  * Remove the given keyword from the set of keywords represented by the URI.
757  * Does nothing if the keyword is not present.
758  *
759  * @param uri ksk uri to modify
760  * @param keyword keyword to add
761  */
762 void
763 GNUNET_FS_uri_ksk_remove_keyword (struct GNUNET_FS_Uri *uri,
764                                   const char *keyword)
765 {
766   unsigned int i;
767   char *old;
768
769   GNUNET_assert (uri->type == GNUNET_FS_URI_KSK);
770   for (i = 0; i < uri->data.ksk.keywordCount; i++)
771   {
772     old = uri->data.ksk.keywords[i];
773     if (0 == strcmp (&old[1], keyword))
774     {
775       uri->data.ksk.keywords[i] =
776           uri->data.ksk.keywords[uri->data.ksk.keywordCount - 1];
777       GNUNET_array_grow (uri->data.ksk.keywords, uri->data.ksk.keywordCount,
778                          uri->data.ksk.keywordCount - 1);
779       GNUNET_free (old);
780       return;
781     }
782   }
783 }
784
785
786 /**
787  * Obtain the identity of the peer offering the data
788  *
789  * @param uri the location URI to inspect
790  * @param peer where to store the identify of the peer (presumably) offering the content
791  * @return #GNUNET_SYSERR if this is not a location URI, otherwise #GNUNET_OK
792  */
793 int
794 GNUNET_FS_uri_loc_get_peer_identity (const struct GNUNET_FS_Uri *uri,
795                                      struct GNUNET_PeerIdentity *peer)
796 {
797   if (uri->type != GNUNET_FS_URI_LOC)
798     return GNUNET_SYSERR;
799   *peer = uri->data.loc.peer;
800   return GNUNET_OK;
801 }
802
803
804 /**
805  * Obtain the expiration of the LOC URI.
806  *
807  * @param uri location URI to get the expiration from
808  * @return expiration time of the URI
809  */
810 struct GNUNET_TIME_Absolute
811 GNUNET_FS_uri_loc_get_expiration (const struct GNUNET_FS_Uri *uri)
812 {
813   GNUNET_assert (uri->type == GNUNET_FS_URI_LOC);
814   return uri->data.loc.expirationTime;
815 }
816
817
818 /**
819  * Obtain the URI of the content itself.
820  *
821  * @param uri location URI to get the content URI from
822  * @return NULL if argument is not a location URI
823  */
824 struct GNUNET_FS_Uri *
825 GNUNET_FS_uri_loc_get_uri (const struct GNUNET_FS_Uri *uri)
826 {
827   struct GNUNET_FS_Uri *ret;
828
829   if (uri->type != GNUNET_FS_URI_LOC)
830     return NULL;
831   ret = GNUNET_new (struct GNUNET_FS_Uri);
832   ret->type = GNUNET_FS_URI_CHK;
833   ret->data.chk = uri->data.loc.fi;
834   return ret;
835 }
836
837
838 /**
839  * Construct a location URI (this peer will be used for the location).
840  *
841  * @param baseUri content offered by the sender
842  * @param cfg configuration information (used to find our hostkey)
843  * @param expiration_time how long will the content be offered?
844  * @return the location URI, NULL on error
845  */
846 struct GNUNET_FS_Uri *
847 GNUNET_FS_uri_loc_create (const struct GNUNET_FS_Uri *baseUri,
848                           const struct GNUNET_CONFIGURATION_Handle *cfg,
849                           struct GNUNET_TIME_Absolute expiration_time)
850 {
851   struct GNUNET_FS_Uri *uri;
852   struct GNUNET_CRYPTO_EddsaPrivateKey *my_private_key;
853   struct GNUNET_CRYPTO_EddsaPublicKey my_public_key;
854   char *keyfile;
855   struct LocUriAssembly ass;
856   struct GNUNET_TIME_Absolute et;
857
858   if (baseUri->type != GNUNET_FS_URI_CHK)
859     return NULL;
860   if (GNUNET_OK !=
861       GNUNET_CONFIGURATION_get_value_filename (cfg, "PEER", "PRIVATE_KEY",
862                                                &keyfile))
863   {
864     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
865                 _("Lacking key configuration settings.\n"));
866     return NULL;
867   }
868   if (NULL == (my_private_key = GNUNET_CRYPTO_eddsa_key_create_from_file (keyfile)))
869   {
870     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
871                 _("Could not access hostkey file `%s'.\n"), keyfile);
872     GNUNET_free (keyfile);
873     return NULL;
874   }
875   GNUNET_free (keyfile);
876   /* we round expiration time to full seconds for SKS URIs */
877   et.abs_value_us = (expiration_time.abs_value_us / 1000000LL) * 1000000LL;
878   GNUNET_CRYPTO_eddsa_key_get_public (my_private_key, &my_public_key);
879   ass.purpose.size = htonl (sizeof (struct LocUriAssembly));
880   ass.purpose.purpose = htonl (GNUNET_SIGNATURE_PURPOSE_PEER_PLACEMENT);
881   ass.exptime = GNUNET_TIME_absolute_hton (et);
882   ass.fi = baseUri->data.chk;
883   ass.peer.public_key = my_public_key;
884   uri = GNUNET_new (struct GNUNET_FS_Uri);
885   uri->type = GNUNET_FS_URI_LOC;
886   uri->data.loc.fi = baseUri->data.chk;
887   uri->data.loc.expirationTime = et;
888   uri->data.loc.peer.public_key = my_public_key;
889   GNUNET_assert (GNUNET_OK ==
890                  GNUNET_CRYPTO_eddsa_sign (my_private_key, &ass.purpose,
891                                            &uri->data.loc.contentSignature));
892   GNUNET_free (my_private_key);
893   return uri;
894 }
895
896
897 /**
898  * Create an SKS URI from a namespace ID and an identifier.
899  *
900  * @param ns namespace ID
901  * @param id identifier
902  * @return an FS URI for the given namespace and identifier
903  */
904 struct GNUNET_FS_Uri *
905 GNUNET_FS_uri_sks_create (const struct GNUNET_CRYPTO_EcdsaPublicKey *ns,
906                           const char *id)
907 {
908   struct GNUNET_FS_Uri *ns_uri;
909
910   ns_uri = GNUNET_new (struct GNUNET_FS_Uri);
911   ns_uri->type = GNUNET_FS_URI_SKS;
912   ns_uri->data.sks.ns = *ns;
913   ns_uri->data.sks.identifier = GNUNET_strdup (id);
914   return ns_uri;
915 }
916
917
918 /**
919  * Merge the sets of keywords from two KSK URIs.
920  * (useful for merging the canonicalized keywords with
921  * the original keywords for sharing).
922  *
923  * @param u1 first uri
924  * @param u2 second uri
925  * @return merged URI, NULL on error
926  */
927 struct GNUNET_FS_Uri *
928 GNUNET_FS_uri_ksk_merge (const struct GNUNET_FS_Uri *u1,
929                          const struct GNUNET_FS_Uri *u2)
930 {
931   struct GNUNET_FS_Uri *ret;
932   unsigned int kc;
933   unsigned int i;
934   unsigned int j;
935   int found;
936   const char *kp;
937   char **kl;
938
939   if ((u1 == NULL) && (u2 == NULL))
940     return NULL;
941   if (u1 == NULL)
942     return GNUNET_FS_uri_dup (u2);
943   if (u2 == NULL)
944     return GNUNET_FS_uri_dup (u1);
945   if ((u1->type != GNUNET_FS_URI_KSK) || (u2->type != GNUNET_FS_URI_KSK))
946   {
947     GNUNET_break (0);
948     return NULL;
949   }
950   kc = u1->data.ksk.keywordCount;
951   kl = GNUNET_malloc ((kc + u2->data.ksk.keywordCount) * sizeof (char *));
952   for (i = 0; i < u1->data.ksk.keywordCount; i++)
953     kl[i] = GNUNET_strdup (u1->data.ksk.keywords[i]);
954   for (i = 0; i < u2->data.ksk.keywordCount; i++)
955   {
956     kp = u2->data.ksk.keywords[i];
957     found = 0;
958     for (j = 0; j < u1->data.ksk.keywordCount; j++)
959       if (0 == strcmp (kp + 1, kl[j] + 1))
960       {
961         found = 1;
962         if (kp[0] == '+')
963           kl[j][0] = '+';
964         break;
965       }
966     if (0 == found)
967       kl[kc++] = GNUNET_strdup (kp);
968   }
969   ret = GNUNET_new (struct GNUNET_FS_Uri);
970   ret->type = GNUNET_FS_URI_KSK;
971   ret->data.ksk.keywordCount = kc;
972   ret->data.ksk.keywords = kl;
973   return ret;
974 }
975
976
977 /**
978  * Duplicate URI.
979  *
980  * @param uri the URI to duplicate
981  * @return copy of the URI
982  */
983 struct GNUNET_FS_Uri *
984 GNUNET_FS_uri_dup (const struct GNUNET_FS_Uri *uri)
985 {
986   struct GNUNET_FS_Uri *ret;
987   unsigned int i;
988
989   if (uri == NULL)
990     return NULL;
991   ret = GNUNET_new (struct GNUNET_FS_Uri);
992   memcpy (ret, uri, sizeof (struct GNUNET_FS_Uri));
993   switch (ret->type)
994   {
995   case GNUNET_FS_URI_KSK:
996     if (ret->data.ksk.keywordCount >=
997         GNUNET_MAX_MALLOC_CHECKED / sizeof (char *))
998     {
999       GNUNET_break (0);
1000       GNUNET_free (ret);
1001       return NULL;
1002     }
1003     if (ret->data.ksk.keywordCount > 0)
1004     {
1005       ret->data.ksk.keywords =
1006           GNUNET_malloc (ret->data.ksk.keywordCount * sizeof (char *));
1007       for (i = 0; i < ret->data.ksk.keywordCount; i++)
1008         ret->data.ksk.keywords[i] = GNUNET_strdup (uri->data.ksk.keywords[i]);
1009     }
1010     else
1011       ret->data.ksk.keywords = NULL;    /* just to be sure */
1012     break;
1013   case GNUNET_FS_URI_SKS:
1014     ret->data.sks.identifier = GNUNET_strdup (uri->data.sks.identifier);
1015     break;
1016   case GNUNET_FS_URI_LOC:
1017     break;
1018   default:
1019     break;
1020   }
1021   return ret;
1022 }
1023
1024
1025 /**
1026  * Create an FS URI from a single user-supplied string of keywords.
1027  * The string is broken up at spaces into individual keywords.
1028  * Keywords that start with "+" are mandatory.  Double-quotes can
1029  * be used to prevent breaking up strings at spaces (and also
1030  * to specify non-mandatory keywords starting with "+").
1031  *
1032  * Keywords must contain a balanced number of double quotes and
1033  * double quotes can not be used in the actual keywords (for
1034  * example, the string '""foo bar""' will be turned into two
1035  * "OR"ed keywords 'foo' and 'bar', not into '"foo bar"'.
1036  *
1037  * @param keywords the keyword string
1038  * @param emsg where to store an error message
1039  * @return an FS URI for the given keywords, NULL
1040  *  if keywords is not legal (i.e. empty).
1041  */
1042 struct GNUNET_FS_Uri *
1043 GNUNET_FS_uri_ksk_create (const char *keywords,
1044                           char **emsg)
1045 {
1046   char **keywordarr;
1047   unsigned int num_Words;
1048   int inWord;
1049   char *pos;
1050   struct GNUNET_FS_Uri *uri;
1051   char *searchString;
1052   int saw_quote;
1053
1054   if (keywords == NULL)
1055   {
1056     *emsg = GNUNET_strdup (_("No keywords specified!\n"));
1057     GNUNET_break (0);
1058     return NULL;
1059   }
1060   searchString = GNUNET_strdup (keywords);
1061   num_Words = 0;
1062   inWord = 0;
1063   saw_quote = 0;
1064   pos = searchString;
1065   while ('\0' != *pos)
1066   {
1067     if ((saw_quote == 0) && (isspace ((unsigned char) *pos)))
1068     {
1069       inWord = 0;
1070     }
1071     else if (0 == inWord)
1072     {
1073       inWord = 1;
1074       ++num_Words;
1075     }
1076     if ('"' == *pos)
1077       saw_quote = (saw_quote + 1) % 2;
1078     pos++;
1079   }
1080   if (num_Words == 0)
1081   {
1082     GNUNET_free (searchString);
1083     *emsg = GNUNET_strdup (_("No keywords specified!\n"));
1084     return NULL;
1085   }
1086   if (saw_quote != 0)
1087   {
1088     GNUNET_free (searchString);
1089     *emsg = GNUNET_strdup (_("Number of double-quotes not balanced!\n"));
1090     return NULL;
1091   }
1092   keywordarr = GNUNET_malloc (num_Words * sizeof (char *));
1093   num_Words = 0;
1094   inWord = 0;
1095   pos = searchString;
1096   while ('\0' != *pos)
1097   {
1098     if ((saw_quote == 0) && (isspace ((unsigned char) *pos)))
1099     {
1100       inWord = 0;
1101       *pos = '\0';
1102     }
1103     else if (0 == inWord)
1104     {
1105       keywordarr[num_Words] = pos;
1106       inWord = 1;
1107       ++num_Words;
1108     }
1109     if ('"' == *pos)
1110       saw_quote = (saw_quote + 1) % 2;
1111     pos++;
1112   }
1113   uri =
1114       GNUNET_FS_uri_ksk_create_from_args (num_Words,
1115                                           (const char **) keywordarr);
1116   GNUNET_free (keywordarr);
1117   GNUNET_free (searchString);
1118   return uri;
1119 }
1120
1121
1122 /**
1123  * Create an FS URI from a user-supplied command line of keywords.
1124  * Arguments should start with "+" to indicate mandatory
1125  * keywords.
1126  *
1127  * @param argc number of keywords
1128  * @param argv keywords (double quotes are not required for
1129  *             keywords containing spaces; however, double
1130  *             quotes are required for keywords starting with
1131  *             "+"); there is no mechanism for having double
1132  *             quotes in the actual keywords (if the user
1133  *             did specifically specify double quotes, the
1134  *             caller should convert each double quote
1135  *             into two single quotes).
1136  * @return an FS URI for the given keywords, NULL
1137  *  if keywords is not legal (i.e. empty).
1138  */
1139 struct GNUNET_FS_Uri *
1140 GNUNET_FS_uri_ksk_create_from_args (unsigned int argc,
1141                                     const char **argv)
1142 {
1143   unsigned int i;
1144   struct GNUNET_FS_Uri *uri;
1145   const char *keyword;
1146   char *val;
1147   const char *r;
1148   char *w;
1149   char *emsg;
1150
1151   if (argc == 0)
1152     return NULL;
1153   /* allow URI to be given as one and only keyword and
1154    * handle accordingly */
1155   emsg = NULL;
1156   if ((argc == 1) && (strlen (argv[0]) > strlen (GNUNET_FS_URI_PREFIX)) &&
1157       (0 ==
1158        strncmp (argv[0], GNUNET_FS_URI_PREFIX, strlen (GNUNET_FS_URI_PREFIX)))
1159       && (NULL != (uri = GNUNET_FS_uri_parse (argv[0], &emsg))))
1160     return uri;
1161   GNUNET_free_non_null (emsg);
1162   uri = GNUNET_new (struct GNUNET_FS_Uri);
1163   uri->type = GNUNET_FS_URI_KSK;
1164   uri->data.ksk.keywordCount = argc;
1165   uri->data.ksk.keywords = GNUNET_malloc (argc * sizeof (char *));
1166   for (i = 0; i < argc; i++)
1167   {
1168     keyword = argv[i];
1169     if (keyword[0] == '+')
1170       val = GNUNET_strdup (keyword);
1171     else
1172       GNUNET_asprintf (&val, " %s", keyword);
1173     r = val;
1174     w = val;
1175     while ('\0' != *r)
1176     {
1177       if ('"' == *r)
1178         r++;
1179       else
1180         *(w++) = *(r++);
1181     }
1182     *w = '\0';
1183     uri->data.ksk.keywords[i] = val;
1184   }
1185   return uri;
1186 }
1187
1188
1189 /**
1190  * Test if two URIs are equal.
1191  *
1192  * @param u1 one of the URIs
1193  * @param u2 the other URI
1194  * @return #GNUNET_YES if the URIs are equal
1195  */
1196 int
1197 GNUNET_FS_uri_test_equal (const struct GNUNET_FS_Uri *u1,
1198                           const struct GNUNET_FS_Uri *u2)
1199 {
1200   int ret;
1201   unsigned int i;
1202   unsigned int j;
1203
1204   GNUNET_assert (u1 != NULL);
1205   GNUNET_assert (u2 != NULL);
1206   if (u1->type != u2->type)
1207     return GNUNET_NO;
1208   switch (u1->type)
1209   {
1210   case GNUNET_FS_URI_CHK:
1211     if (0 ==
1212         memcmp (&u1->data.chk, &u2->data.chk, sizeof (struct FileIdentifier)))
1213       return GNUNET_YES;
1214     return GNUNET_NO;
1215   case GNUNET_FS_URI_SKS:
1216     if ((0 ==
1217          memcmp (&u1->data.sks.ns, &u2->data.sks.ns,
1218                  sizeof (struct GNUNET_CRYPTO_EcdsaPublicKey))) &&
1219         (0 == strcmp (u1->data.sks.identifier, u2->data.sks.identifier)))
1220
1221       return GNUNET_YES;
1222     return GNUNET_NO;
1223   case GNUNET_FS_URI_KSK:
1224     if (u1->data.ksk.keywordCount != u2->data.ksk.keywordCount)
1225       return GNUNET_NO;
1226     for (i = 0; i < u1->data.ksk.keywordCount; i++)
1227     {
1228       ret = GNUNET_NO;
1229       for (j = 0; j < u2->data.ksk.keywordCount; j++)
1230       {
1231         if (0 == strcmp (u1->data.ksk.keywords[i], u2->data.ksk.keywords[j]))
1232         {
1233           ret = GNUNET_YES;
1234           break;
1235         }
1236       }
1237       if (ret == GNUNET_NO)
1238         return GNUNET_NO;
1239     }
1240     return GNUNET_YES;
1241   case GNUNET_FS_URI_LOC:
1242     if (memcmp
1243         (&u1->data.loc, &u2->data.loc,
1244          sizeof (struct FileIdentifier) +
1245          sizeof (struct GNUNET_CRYPTO_EcdsaPublicKey) +
1246          sizeof (struct GNUNET_TIME_Absolute) + sizeof (unsigned short) +
1247          sizeof (unsigned short)) != 0)
1248       return GNUNET_NO;
1249     return GNUNET_YES;
1250   default:
1251     return GNUNET_NO;
1252   }
1253 }
1254
1255
1256 /**
1257  * Is this a namespace URI?
1258  *
1259  * @param uri the uri to check
1260  * @return #GNUNET_YES if this is an SKS uri
1261  */
1262 int
1263 GNUNET_FS_uri_test_sks (const struct GNUNET_FS_Uri *uri)
1264 {
1265   return uri->type == GNUNET_FS_URI_SKS;
1266 }
1267
1268
1269 /**
1270  * Get the ID of a namespace from the given
1271  * namespace URI.
1272  *
1273  * @param uri the uri to get the namespace ID from
1274  * @param pseudonym where to store the ID of the namespace
1275  * @return #GNUNET_OK on success
1276  */
1277 int
1278 GNUNET_FS_uri_sks_get_namespace (const struct GNUNET_FS_Uri *uri,
1279                                  struct GNUNET_CRYPTO_EcdsaPublicKey *pseudonym)
1280 {
1281   if (!GNUNET_FS_uri_test_sks (uri))
1282   {
1283     GNUNET_break (0);
1284     return GNUNET_SYSERR;
1285   }
1286   *pseudonym = uri->data.sks.ns;
1287   return GNUNET_OK;
1288 }
1289
1290
1291 /**
1292  * Get the content identifier of an SKS URI.
1293  *
1294  * @param uri the sks uri
1295  * @return NULL on error (not a valid SKS URI)
1296  */
1297 char *
1298 GNUNET_FS_uri_sks_get_content_id (const struct GNUNET_FS_Uri *uri)
1299 {
1300   if (!GNUNET_FS_uri_test_sks (uri))
1301   {
1302     GNUNET_break (0);
1303     return NULL;
1304   }
1305   return GNUNET_strdup (uri->data.sks.identifier);
1306 }
1307
1308
1309 /**
1310  * Is this a keyword URI?
1311  *
1312  * @param uri the uri
1313  * @return #GNUNET_YES if this is a KSK uri
1314  */
1315 int
1316 GNUNET_FS_uri_test_ksk (const struct GNUNET_FS_Uri *uri)
1317 {
1318 #if EXTRA_CHECKS
1319   unsigned int i;
1320
1321   if (uri->type == GNUNET_FS_URI_KSK)
1322   {
1323     for (i=0;i < uri->data.ksk.keywordCount; i++)
1324       GNUNET_assert (uri->data.ksk.keywords[i] != NULL);
1325   }
1326 #endif
1327   return uri->type == GNUNET_FS_URI_KSK;
1328 }
1329
1330
1331 /**
1332  * Is this a file (or directory) URI?
1333  *
1334  * @param uri the uri to check
1335  * @return #GNUNET_YES if this is a CHK uri
1336  */
1337 int
1338 GNUNET_FS_uri_test_chk (const struct GNUNET_FS_Uri *uri)
1339 {
1340   return uri->type == GNUNET_FS_URI_CHK;
1341 }
1342
1343
1344 /**
1345  * What is the size of the file that this URI
1346  * refers to?
1347  *
1348  * @param uri the CHK URI to inspect
1349  * @return size of the file as specified in the CHK URI
1350  */
1351 uint64_t
1352 GNUNET_FS_uri_chk_get_file_size (const struct GNUNET_FS_Uri * uri)
1353 {
1354   switch (uri->type)
1355   {
1356   case GNUNET_FS_URI_CHK:
1357     return GNUNET_ntohll (uri->data.chk.file_length);
1358   case GNUNET_FS_URI_LOC:
1359     return GNUNET_ntohll (uri->data.loc.fi.file_length);
1360   default:
1361     GNUNET_assert (0);
1362   }
1363   return 0;                     /* unreachable */
1364 }
1365
1366
1367 /**
1368  * Is this a location URI?
1369  *
1370  * @param uri the uri to check
1371  * @return #GNUNET_YES if this is a LOC uri
1372  */
1373 int
1374 GNUNET_FS_uri_test_loc (const struct GNUNET_FS_Uri *uri)
1375 {
1376   return uri->type == GNUNET_FS_URI_LOC;
1377 }
1378
1379
1380 /**
1381  * Add a keyword as non-mandatory (with ' '-prefix) to the
1382  * given keyword list at offset 'index'.  The array is
1383  * guaranteed to be long enough.
1384  *
1385  * @param s keyword to add
1386  * @param array array to add the keyword to
1387  * @param index offset where to add the keyword
1388  */
1389 static void
1390 insert_non_mandatory_keyword (const char *s,
1391                               char **array,
1392                               int index)
1393 {
1394   char *nkword;
1395
1396   GNUNET_asprintf (&nkword,
1397                    " %s", /* space to mark as 'non mandatory' */
1398                    s);
1399   array[index] = nkword;
1400 }
1401
1402
1403 /**
1404  * Test if the given keyword @a s is already present in the
1405  * given array, ignoring the '+'-mandatory prefix in the array.
1406  *
1407  * @param s keyword to test
1408  * @param array keywords to test against, with ' ' or '+' prefix to ignore
1409  * @param array_length length of the @a array
1410  * @return #GNUNET_YES if the keyword exists, #GNUNET_NO if not
1411  */
1412 static int
1413 find_duplicate (const char *s,
1414                 const char **array,
1415                 int array_length)
1416 {
1417   int j;
1418
1419   for (j = array_length - 1; j >= 0; j--)
1420     if (0 == strcmp (&array[j][1], s))
1421       return GNUNET_YES;
1422   return GNUNET_NO;
1423 }
1424
1425
1426 /**
1427  * FIXME: comment
1428  */
1429 static char *
1430 normalize_metadata (enum EXTRACTOR_MetaFormat format,
1431                     const char *data,
1432                     size_t data_len)
1433 {
1434   uint8_t *free_str = NULL;
1435   uint8_t *str_to_normalize = (uint8_t *) data;
1436   uint8_t *normalized;
1437   size_t r_len;
1438   if (str_to_normalize == NULL)
1439     return NULL;
1440   /* Don't trust libextractor */
1441   if (format == EXTRACTOR_METAFORMAT_UTF8)
1442   {
1443     free_str = (uint8_t *) u8_check ((const uint8_t *) data, data_len);
1444     if (free_str == NULL)
1445       free_str = NULL;
1446     else
1447       format = EXTRACTOR_METAFORMAT_C_STRING;
1448   }
1449   if (format == EXTRACTOR_METAFORMAT_C_STRING)
1450   {
1451     free_str = u8_strconv_from_encoding (data, locale_charset (), iconveh_escape_sequence);
1452     if (free_str == NULL)
1453       return NULL;
1454   }
1455
1456   normalized = u8_tolower (str_to_normalize, strlen ((char *) str_to_normalize), NULL, UNINORM_NFD, NULL, &r_len);
1457   /* free_str is allocated by libunistring internally, use free() */
1458   if (free_str != NULL)
1459     free (free_str);
1460   if (normalized != NULL)
1461   {
1462     /* u8_tolower allocates a non-NULL-terminated string! */
1463     free_str = GNUNET_malloc (r_len + 1);
1464     memcpy (free_str, normalized, r_len);
1465     free_str[r_len] = '\0';
1466     free (normalized);
1467     normalized = free_str;
1468   }
1469   return (char *) normalized;
1470 }
1471
1472
1473 /**
1474  * Counts the number of UTF-8 characters (not bytes) in the string,
1475  * returns that count.
1476  */
1477 static size_t
1478 u8_strcount (const uint8_t *s)
1479 {
1480   size_t count;
1481   ucs4_t c;
1482   GNUNET_assert (s != NULL);
1483   if (s[0] == 0)
1484     return 0;
1485   for (count = 0; s != NULL; count++)
1486     s = u8_next (&c, s);
1487   return count - 1;
1488 }
1489
1490
1491 /**
1492  * Break the filename up by matching [], () and {} pairs to make
1493  * keywords. In case of nesting parentheses only the inner pair counts.
1494  * You can't escape parentheses to scan something like "[blah\{foo]" to
1495  * make a "blah{foo" keyword, this function is only a heuristic!
1496  *
1497  * @param s string to break down.
1498  * @param array array to fill with enclosed tokens. If NULL, then tokens
1499  *        are only counted.
1500  * @param index index at which to start filling the array (entries prior
1501  *        to it are used to check for duplicates). ignored if @a array == NULL.
1502  * @return number of tokens counted (including duplicates), or number of
1503  *         tokens extracted (excluding duplicates). 0 if there are no
1504  *         matching parens in the string (when counting), or when all tokens
1505  *         were duplicates (when extracting).
1506  */
1507 static int
1508 get_keywords_from_parens (const char *s,
1509                           char **array,
1510                           int index)
1511 {
1512   int count = 0;
1513   char *open_paren;
1514   char *close_paren;
1515   char *ss;
1516   char tmp;
1517
1518   if (NULL == s)
1519     return 0;
1520   ss = GNUNET_strdup (s);
1521   open_paren = ss - 1;
1522   while (NULL != (open_paren = strpbrk (open_paren + 1, "[{(")))
1523   {
1524     int match = 0;
1525
1526     close_paren = strpbrk (open_paren + 1, "]})");
1527     if (NULL == close_paren)
1528       continue;
1529     switch (open_paren[0])
1530     {
1531     case '[':
1532       if (']' == close_paren[0])
1533         match = 1;
1534       break;
1535     case '{':
1536       if ('}' == close_paren[0])
1537         match = 1;
1538       break;
1539     case '(':
1540       if (')' == close_paren[0])
1541         match = 1;
1542       break;
1543     default:
1544       break;
1545     }
1546     if (match && (close_paren - open_paren > 1))
1547     {
1548       tmp = close_paren[0];
1549       close_paren[0] = '\0';
1550       /* Keywords must be at least 3 characters long */
1551       if (u8_strcount ((const uint8_t *) &open_paren[1]) <= 2)
1552       {
1553         close_paren[0] = tmp;
1554         continue;
1555       }
1556       if (NULL != array)
1557       {
1558         char *normalized;
1559         if (GNUNET_NO == find_duplicate ((const char *) &open_paren[1],
1560             (const char **) array, index + count))
1561         {
1562           insert_non_mandatory_keyword ((const char *) &open_paren[1], array,
1563                                         index + count);
1564           count++;
1565         }
1566         normalized = normalize_metadata (EXTRACTOR_METAFORMAT_UTF8,
1567             &open_paren[1], close_paren - &open_paren[1]);
1568         if (normalized != NULL)
1569         {
1570           if (GNUNET_NO == find_duplicate ((const char *) normalized,
1571               (const char **) array, index + count))
1572           {
1573             insert_non_mandatory_keyword ((const char *) normalized, array,
1574                                           index + count);
1575             count++;
1576           }
1577           GNUNET_free (normalized);
1578         }
1579       }
1580       else
1581         count++;
1582       close_paren[0] = tmp;
1583     }
1584   }
1585   GNUNET_free (ss);
1586   return count;
1587 }
1588
1589
1590 /**
1591  * Where to break up keywords
1592  */
1593 #define TOKENS "_. /-!?#&+@\"\'\\;:,()[]{}$<>|"
1594
1595 /**
1596  * Break the filename up by TOKENS to make
1597  * keywords.
1598  *
1599  * @param s string to break down.
1600  * @param array array to fill with tokens. If NULL, then tokens are only
1601  *        counted.
1602  * @param index index at which to start filling the array (entries prior
1603  *        to it are used to check for duplicates). ignored if @a array == NULL.
1604  * @return number of tokens (>1) counted (including duplicates), or number of
1605  *         tokens extracted (excluding duplicates). 0 if there are no
1606  *         separators in the string (when counting), or when all tokens were
1607  *         duplicates (when extracting).
1608  */
1609 static int
1610 get_keywords_from_tokens (const char *s,
1611                           char **array,
1612                           int index)
1613 {
1614   char *p;
1615   char *ss;
1616   int seps = 0;
1617
1618   ss = GNUNET_strdup (s);
1619   for (p = strtok (ss, TOKENS); p != NULL; p = strtok (NULL, TOKENS))
1620   {
1621     /* Keywords must be at least 3 characters long */
1622     if (u8_strcount ((const uint8_t *) p) <= 2)
1623       continue;
1624     if (NULL != array)
1625     {
1626       char *normalized;
1627       if (GNUNET_NO == find_duplicate (p, (const char **) array, index + seps))
1628       {
1629         insert_non_mandatory_keyword (p, array,
1630                                       index + seps);
1631         seps++;
1632       }
1633       normalized = normalize_metadata (EXTRACTOR_METAFORMAT_UTF8,
1634           p, strlen (p));
1635       if (normalized != NULL)
1636       {
1637         if (GNUNET_NO == find_duplicate ((const char *) normalized,
1638             (const char **) array, index + seps))
1639         {
1640           insert_non_mandatory_keyword ((const char *) normalized, array,
1641                                   index + seps);
1642           seps++;
1643         }
1644         GNUNET_free (normalized);
1645       }
1646     }
1647     else
1648       seps++;
1649   }
1650   GNUNET_free (ss);
1651   return seps;
1652 }
1653 #undef TOKENS
1654
1655
1656 /**
1657  * Function called on each value in the meta data.
1658  * Adds it to the URI.
1659  *
1660  * @param cls URI to update
1661  * @param plugin_name name of the plugin that produced this value;
1662  *        special values can be used (i.e. '&lt;zlib&gt;' for zlib being
1663  *        used in the main libextractor library and yielding
1664  *        meta data).
1665  * @param type libextractor-type describing the meta data
1666  * @param format basic format information about data
1667  * @param data_mime_type mime-type of data (not of the original file);
1668  *        can be NULL (if mime-type is not known)
1669  * @param data actual meta-data found
1670  * @param data_len number of bytes in @a data
1671  * @return 0 (always)
1672  */
1673 static int
1674 gather_uri_data (void *cls, const char *plugin_name,
1675                  enum EXTRACTOR_MetaType type,
1676                  enum EXTRACTOR_MetaFormat format,
1677                  const char *data_mime_type,
1678                  const char *data,
1679                  size_t data_len)
1680 {
1681   struct GNUNET_FS_Uri *uri = cls;
1682   char *normalized_data;
1683   const char *sep;
1684
1685   if ((format != EXTRACTOR_METAFORMAT_UTF8) &&
1686       (format != EXTRACTOR_METAFORMAT_C_STRING))
1687     return 0;
1688   /* Keywords must be at least 3 characters long
1689    * If given non-utf8 string it will, most likely, find it to be invalid,
1690    * and will return the length of its valid part, skipping the keyword.
1691    * If it does - fix the extractor, not this check!
1692    */
1693   if (u8_strcount ((const uint8_t *) data) <= 2)
1694     return 0;
1695   if ( (EXTRACTOR_METATYPE_MIMETYPE == type) &&
1696        (NULL != (sep = memchr (data, '/', data_len))) &&
1697        (sep != data) )
1698   {
1699     char *xtra;
1700
1701     GNUNET_asprintf (&xtra,
1702                      "mimetype:%.*s",
1703                      (int) (sep - data),
1704                      data);
1705     if (! find_duplicate (xtra,
1706                           (const char **) uri->data.ksk.keywords,
1707                           uri->data.ksk.keywordCount))
1708     {
1709       insert_non_mandatory_keyword (xtra,
1710                                     uri->data.ksk.keywords,
1711                                     uri->data.ksk.keywordCount);
1712       uri->data.ksk.keywordCount++;
1713     }
1714     GNUNET_free (xtra);
1715   }
1716
1717   normalized_data = normalize_metadata (format, data, data_len);
1718   if (! find_duplicate (data,
1719                         (const char **) uri->data.ksk.keywords,
1720                         uri->data.ksk.keywordCount))
1721   {
1722     insert_non_mandatory_keyword (data,
1723                                   uri->data.ksk.keywords, uri->data.ksk.keywordCount);
1724     uri->data.ksk.keywordCount++;
1725   }
1726   if (NULL != normalized_data)
1727     {
1728     if (! find_duplicate (normalized_data,
1729                           (const char **) uri->data.ksk.keywords,
1730                           uri->data.ksk.keywordCount))
1731     {
1732       insert_non_mandatory_keyword (normalized_data,
1733                                     uri->data.ksk.keywords, uri->data.ksk.keywordCount);
1734       uri->data.ksk.keywordCount++;
1735     }
1736     GNUNET_free (normalized_data);
1737   }
1738   return 0;
1739 }
1740
1741
1742 /**
1743  * Construct a keyword-URI from meta-data (take all entries
1744  * in the meta-data and construct one large keyword URI
1745  * that lists all keywords that can be found in the meta-data).
1746  *
1747  * @param md metadata to use
1748  * @return NULL on error, otherwise a KSK URI
1749  */
1750 struct GNUNET_FS_Uri *
1751 GNUNET_FS_uri_ksk_create_from_meta_data (const struct GNUNET_CONTAINER_MetaData *md)
1752 {
1753   struct GNUNET_FS_Uri *ret;
1754   char *filename;
1755   char *full_name = NULL;
1756   char *ss;
1757   int ent;
1758   int tok_keywords = 0;
1759   int paren_keywords = 0;
1760
1761   if (NULL == md)
1762     return NULL;
1763   ret = GNUNET_new (struct GNUNET_FS_Uri);
1764   ret->type = GNUNET_FS_URI_KSK;
1765   ent = GNUNET_CONTAINER_meta_data_iterate (md, NULL, NULL);
1766   if (ent > 0)
1767   {
1768     full_name = GNUNET_CONTAINER_meta_data_get_first_by_types (md,
1769         EXTRACTOR_METATYPE_GNUNET_ORIGINAL_FILENAME, -1);
1770     if (NULL != full_name)
1771     {
1772       filename = full_name;
1773       while (NULL != (ss = strstr (filename, DIR_SEPARATOR_STR)))
1774         filename = ss + 1;
1775       tok_keywords = get_keywords_from_tokens (filename, NULL, 0);
1776       paren_keywords = get_keywords_from_parens (filename, NULL, 0);
1777     }
1778     /* x3 because there might be a normalized variant of every keyword,
1779        plus theoretically one more for mime... */
1780     ret->data.ksk.keywords = GNUNET_malloc
1781       (sizeof (char *) * (ent + tok_keywords + paren_keywords) * 3);
1782     GNUNET_CONTAINER_meta_data_iterate (md, &gather_uri_data, ret);
1783   }
1784   if (tok_keywords > 0)
1785     ret->data.ksk.keywordCount += get_keywords_from_tokens (filename,
1786                                                             ret->data.ksk.keywords,
1787                                                             ret->data.ksk.keywordCount);
1788   if (paren_keywords > 0)
1789     ret->data.ksk.keywordCount += get_keywords_from_parens (filename,
1790                                                             ret->data.ksk.keywords,
1791                                                             ret->data.ksk.keywordCount);
1792   if (ent > 0)
1793     GNUNET_free_non_null (full_name);
1794   return ret;
1795 }
1796
1797
1798 /**
1799  * In URI-encoding, does the given character
1800  * need to be encoded using %-encoding?
1801  */
1802 static int
1803 needs_percent (char c)
1804 {
1805   return (!
1806           ((isalnum ((unsigned char) c)) || (c == '-') || (c == '_') ||
1807            (c == '.') || (c == '~')));
1808 }
1809
1810
1811 /**
1812  * Convert a KSK URI to a string.
1813  *
1814  * @param uri the URI to convert
1815  * @return NULL on error (i.e. keywordCount == 0)
1816  */
1817 static char *
1818 uri_ksk_to_string (const struct GNUNET_FS_Uri *uri)
1819 {
1820   char **keywords;
1821   unsigned int keywordCount;
1822   size_t n;
1823   char *ret;
1824   unsigned int i;
1825   unsigned int j;
1826   unsigned int wpos;
1827   size_t slen;
1828   const char *keyword;
1829
1830   if (uri->type != GNUNET_FS_URI_KSK)
1831     return NULL;
1832   keywords = uri->data.ksk.keywords;
1833   keywordCount = uri->data.ksk.keywordCount;
1834   n = keywordCount + strlen (GNUNET_FS_URI_PREFIX) +
1835       strlen (GNUNET_FS_URI_KSK_INFIX) + 1;
1836   for (i = 0; i < keywordCount; i++)
1837   {
1838     keyword = keywords[i];
1839     slen = strlen (keyword);
1840     n += slen;
1841     for (j = 0; j < slen; j++)
1842     {
1843       if ((j == 0) && (keyword[j] == ' '))
1844       {
1845         n--;
1846         continue;               /* skip leading space */
1847       }
1848       if (needs_percent (keyword[j]))
1849         n += 2;                 /* will use %-encoding */
1850     }
1851   }
1852   ret = GNUNET_malloc (n);
1853   strcpy (ret, GNUNET_FS_URI_PREFIX);
1854   strcat (ret, GNUNET_FS_URI_KSK_INFIX);
1855   wpos = strlen (ret);
1856   for (i = 0; i < keywordCount; i++)
1857   {
1858     keyword = keywords[i];
1859     slen = strlen (keyword);
1860     for (j = 0; j < slen; j++)
1861     {
1862       if ((j == 0) && (keyword[j] == ' '))
1863         continue;               /* skip leading space */
1864       if (needs_percent (keyword[j]))
1865       {
1866         sprintf (&ret[wpos], "%%%02X", (unsigned char) keyword[j]);
1867         wpos += 3;
1868       }
1869       else
1870       {
1871         ret[wpos++] = keyword[j];
1872       }
1873     }
1874     if (i != keywordCount - 1)
1875       ret[wpos++] = '+';
1876   }
1877   return ret;
1878 }
1879
1880
1881 /**
1882  * Convert SKS URI to a string.
1883  *
1884  * @param uri sks uri to convert
1885  * @return NULL on error
1886  */
1887 static char *
1888 uri_sks_to_string (const struct GNUNET_FS_Uri *uri)
1889 {
1890   char *ret;
1891   char buf[1024];
1892
1893   if (GNUNET_FS_URI_SKS != uri->type)
1894     return NULL;
1895   ret = GNUNET_STRINGS_data_to_string (&uri->data.sks.ns,
1896                                        sizeof (struct GNUNET_CRYPTO_EcdsaPublicKey),
1897                                        buf,
1898                                        sizeof (buf));
1899   GNUNET_assert (NULL != ret);
1900   ret[0] = '\0';
1901   GNUNET_asprintf (&ret, "%s%s%s/%s", GNUNET_FS_URI_PREFIX,
1902                    GNUNET_FS_URI_SKS_INFIX, buf,
1903                    uri->data.sks.identifier);
1904   return ret;
1905 }
1906
1907
1908 /**
1909  * Convert a CHK URI to a string.
1910  *
1911  * @param uri chk uri to convert
1912  * @return NULL on error
1913  */
1914 static char *
1915 uri_chk_to_string (const struct GNUNET_FS_Uri *uri)
1916 {
1917   const struct FileIdentifier *fi;
1918   char *ret;
1919   struct GNUNET_CRYPTO_HashAsciiEncoded keyhash;
1920   struct GNUNET_CRYPTO_HashAsciiEncoded queryhash;
1921
1922   if (uri->type != GNUNET_FS_URI_CHK)
1923     return NULL;
1924   fi = &uri->data.chk;
1925   GNUNET_CRYPTO_hash_to_enc (&fi->chk.key, &keyhash);
1926   GNUNET_CRYPTO_hash_to_enc (&fi->chk.query, &queryhash);
1927
1928   GNUNET_asprintf (&ret, "%s%s%s.%s.%llu", GNUNET_FS_URI_PREFIX,
1929                    GNUNET_FS_URI_CHK_INFIX, (const char *) &keyhash,
1930                    (const char *) &queryhash, GNUNET_ntohll (fi->file_length));
1931   return ret;
1932 }
1933
1934
1935 /**
1936  * Convert a LOC URI to a string.
1937  *
1938  * @param uri loc uri to convert
1939  * @return NULL on error
1940  */
1941 static char *
1942 uri_loc_to_string (const struct GNUNET_FS_Uri *uri)
1943 {
1944   char *ret;
1945   struct GNUNET_CRYPTO_HashAsciiEncoded keyhash;
1946   struct GNUNET_CRYPTO_HashAsciiEncoded queryhash;
1947   char *peer_id;
1948   char peer_sig[SIGNATURE_ASCII_LENGTH + 1];
1949
1950   GNUNET_CRYPTO_hash_to_enc (&uri->data.loc.fi.chk.key, &keyhash);
1951   GNUNET_CRYPTO_hash_to_enc (&uri->data.loc.fi.chk.query, &queryhash);
1952   peer_id =
1953     GNUNET_CRYPTO_eddsa_public_key_to_string (&uri->data.loc.peer.public_key);
1954   GNUNET_assert (NULL !=
1955                  GNUNET_STRINGS_data_to_string (&uri->data.loc.contentSignature,
1956                                                 sizeof (struct GNUNET_CRYPTO_EddsaSignature),
1957                                                 peer_sig,
1958                                                 sizeof (peer_sig)));
1959   GNUNET_asprintf (&ret,
1960                    "%s%s%s.%s.%llu.%s.%s.%llu", GNUNET_FS_URI_PREFIX,
1961                    GNUNET_FS_URI_LOC_INFIX, (const char *) &keyhash,
1962                    (const char *) &queryhash,
1963                    (unsigned long long) GNUNET_ntohll (uri->data.loc.
1964                                                        fi.file_length),
1965                    peer_id,
1966                    peer_sig,
1967                    (unsigned long long) uri->data.loc.expirationTime.abs_value_us / 1000000LL);
1968   GNUNET_free (peer_id);
1969   return ret;
1970 }
1971
1972
1973 /**
1974  * Convert a URI to a UTF-8 String.
1975  *
1976  * @param uri uri to convert to a string
1977  * @return the UTF-8 string
1978  */
1979 char *
1980 GNUNET_FS_uri_to_string (const struct GNUNET_FS_Uri *uri)
1981 {
1982   if (uri == NULL)
1983   {
1984     GNUNET_break (0);
1985     return NULL;
1986   }
1987   switch (uri->type)
1988   {
1989   case GNUNET_FS_URI_KSK:
1990     return uri_ksk_to_string (uri);
1991   case GNUNET_FS_URI_SKS:
1992     return uri_sks_to_string (uri);
1993   case GNUNET_FS_URI_CHK:
1994     return uri_chk_to_string (uri);
1995   case GNUNET_FS_URI_LOC:
1996     return uri_loc_to_string (uri);
1997   default:
1998     GNUNET_break (0);
1999     return NULL;
2000   }
2001 }
2002
2003 /* end of fs_uri.c */