src/util/crypto_hash.c

   1 /*
   2      This file is part of GNUnet.
   3      (C) 2001, 2002, 2003, 2004, 2005, 2006, 2009 Christian Grothoff (and other contributing authors)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 2, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19
  20      SHA-512 code by Jean-Luc Cooke <jlcooke@certainkey.com>
  21
  22      Copyright (c) Jean-Luc Cooke <jlcooke@certainkey.com>
  23      Copyright (c) Andrew McDonald <andrew@mcdonald.org.uk>
  24      Copyright (c) 2003 Kyle McMartin <kyle@debian.org>
  25 */
  26
  27 /**
  28  * @file util/crypto_hash.c
  29  * @brief SHA-512 GNUNET_CRYPTO_hash related functions
  30  * @author Christian Grothoff
  31  */
  32
  33 #include "platform.h"
  34 #include "gnunet_common.h"
  35 #include "gnunet_crypto_lib.h"
  36 #include "gnunet_disk_lib.h"
  37 #include <gcrypt.h>
  38
  39 #define LOG(kind,...) GNUNET_log_from (kind, "util", __VA_ARGS__)
  40
  41 #define LOG_STRERROR_FILE(kind,syscall,filename) GNUNET_log_from_strerror_file (kind, "util", syscall, filename)
  42
  43 /**
  44  * Hash block of given size.
  45  *
  46  * @param block the data to GNUNET_CRYPTO_hash, length is given as a second argument
  47  * @param size the length of the data to GNUNET_CRYPTO_hash
  48  * @param ret pointer to where to write the hashcode
  49  */
  50 void
  51 GNUNET_CRYPTO_hash (const void *block, size_t size, GNUNET_HashCode * ret)
  52 {
  53   gcry_md_hash_buffer (GCRY_MD_SHA512, ret, block, size);
  54 }
  55
  56
  57 /**
  58  * Context used when hashing a file.
  59  */
  60 struct GNUNET_CRYPTO_FileHashContext
  61 {
  62
  63   /**
  64    * Function to call upon completion.
  65    */
  66   GNUNET_CRYPTO_HashCompletedCallback callback;
  67
  68   /**
  69    * Closure for callback.
  70    */
  71   void *callback_cls;
  72
  73   /**
  74    * IO buffer.
  75    */
  76   unsigned char *buffer;
  77
  78   /**
  79    * Name of the file we are hashing.
  80    */
  81   char *filename;
  82
  83   /**
  84    * File descriptor.
  85    */
  86   struct GNUNET_DISK_FileHandle *fh;
  87
  88   /**
  89    * Cummulated hash.
  90    */
  91   gcry_md_hd_t md;
  92
  93   /**
  94    * Size of the file.
  95    */
  96   uint64_t fsize;
  97
  98   /**
  99    * Current offset.
 100    */
 101   uint64_t offset;
 102
 103   /**
 104    * Current task for hashing.
 105    */
 106   GNUNET_SCHEDULER_TaskIdentifier task;
 107
 108   /**
 109    * Blocksize.
 110    */
 111   size_t bsize;
 112
 113 };
 114
 115
 116 /**
 117  * Report result of hash computation to callback
 118  * and free associated resources.
 119  */
 120 static void
 121 file_hash_finish (struct GNUNET_CRYPTO_FileHashContext *fhc,
 122                   const GNUNET_HashCode * res)
 123 {
 124   fhc->callback (fhc->callback_cls, res);
 125   GNUNET_free (fhc->filename);
 126   if (!GNUNET_DISK_handle_invalid (fhc->fh))
 127     GNUNET_break (GNUNET_OK == GNUNET_DISK_file_close (fhc->fh));
 128   gcry_md_close (fhc->md);
 129   GNUNET_free (fhc);            /* also frees fhc->buffer */
 130 }
 131
 132
 133 /**
 134  * File hashing task.
 135  *
 136  * @param cls closure
 137  * @param tc context
 138  */
 139 static void
 140 file_hash_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 141 {
 142   struct GNUNET_CRYPTO_FileHashContext *fhc = cls;
 143   GNUNET_HashCode *res;
 144   size_t delta;
 145
 146   fhc->task = GNUNET_SCHEDULER_NO_TASK;
 147   GNUNET_assert (fhc->offset <= fhc->fsize);
 148   delta = fhc->bsize;
 149   if (fhc->fsize - fhc->offset < delta)
 150     delta = fhc->fsize - fhc->offset;
 151   if (delta != GNUNET_DISK_file_read (fhc->fh, fhc->buffer, delta))
 152     {
 153       LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "read", fhc->filename);
 154       file_hash_finish (fhc, NULL);
 155       return;
 156     }
 157   gcry_md_write (fhc->md, fhc->buffer, delta);
 158   fhc->offset += delta;
 159   if (fhc->offset == fhc->fsize)
 160     {
 161       res = (GNUNET_HashCode *) gcry_md_read (fhc->md, GCRY_MD_SHA512);
 162       file_hash_finish (fhc, res);
 163       return;
 164     }
 165   fhc->task = GNUNET_SCHEDULER_add_now (&file_hash_task, fhc);
 166 }
 167
 168
 169 /**
 170  * Compute the hash of an entire file.
 171  *
 172  * @param priority scheduling priority to use
 173  * @param filename name of file to hash
 174  * @param blocksize number of bytes to process in one task
 175  * @param callback function to call upon completion
 176  * @param callback_cls closure for callback
 177  * @return NULL on (immediate) errror
 178  */
 179 struct GNUNET_CRYPTO_FileHashContext *
 180 GNUNET_CRYPTO_hash_file (enum GNUNET_SCHEDULER_Priority priority,
 181                          const char *filename, size_t blocksize,
 182                          GNUNET_CRYPTO_HashCompletedCallback callback,
 183                          void *callback_cls)
 184 {
 185   struct GNUNET_CRYPTO_FileHashContext *fhc;
 186
 187   GNUNET_assert (blocksize > 0);
 188   fhc =
 189     GNUNET_malloc (sizeof (struct GNUNET_CRYPTO_FileHashContext) + blocksize);
 190   fhc->callback = callback;
 191   fhc->callback_cls = callback_cls;
 192   fhc->buffer = (unsigned char *) &fhc[1];
 193   fhc->filename = GNUNET_strdup (filename);
 194   if (GPG_ERR_NO_ERROR != gcry_md_open (&fhc->md, GCRY_MD_SHA512, 0))
 195     {
 196       GNUNET_break (0);
 197       GNUNET_free (fhc);
 198       return NULL;
 199     }
 200   fhc->bsize = blocksize;
 201   if (GNUNET_OK != GNUNET_DISK_file_size (filename, &fhc->fsize, GNUNET_NO))
 202     {
 203       GNUNET_free (fhc->filename);
 204       GNUNET_free (fhc);
 205       return NULL;
 206     }
 207   fhc->fh =
 208     GNUNET_DISK_file_open (filename, GNUNET_DISK_OPEN_READ,
 209                            GNUNET_DISK_PERM_NONE);
 210   if (!fhc->fh)
 211     {
 212       GNUNET_free (fhc->filename);
 213       GNUNET_free (fhc);
 214       return NULL;
 215     }
 216   fhc->task =
 217     GNUNET_SCHEDULER_add_with_priority (priority, &file_hash_task, fhc);
 218   return fhc;
 219 }
 220
 221
 222 /**
 223  * Cancel a file hashing operation.
 224  *
 225  * @param fhc operation to cancel (callback must not yet have been invoked)
 226  */
 227 void
 228 GNUNET_CRYPTO_hash_file_cancel (struct GNUNET_CRYPTO_FileHashContext *fhc)
 229 {
 230   GNUNET_SCHEDULER_cancel (fhc->task);
 231   GNUNET_free (fhc->filename);
 232   GNUNET_break (GNUNET_OK == GNUNET_DISK_file_close (fhc->fh));
 233   GNUNET_free (fhc);
 234 }
 235
 236
 237
 238 /* ***************** binary-ASCII encoding *************** */
 239
 240 static unsigned int
 241 getValue__ (unsigned char a)
 242 {
 243   if ((a >= '0') && (a <= '9'))
 244     return a - '0';
 245   if ((a >= 'A') && (a <= 'V'))
 246     return (a - 'A' + 10);
 247   return -1;
 248 }
 249
 250 /**
 251  * Convert GNUNET_CRYPTO_hash to ASCII encoding.  The ASCII encoding is rather
 252  * GNUnet specific.  It was chosen such that it only uses characters
 253  * in [0-9A-V], can be produced without complex arithmetics and uses a
 254  * small number of characters.  The GNUnet encoding uses 103
 255  * characters plus a null terminator.
 256  *
 257  * @param block the hash code
 258  * @param result where to store the encoding (struct GNUNET_CRYPTO_HashAsciiEncoded can be
 259  *  safely cast to char*, a '\\0' termination is set).
 260  */
 261 void
 262 GNUNET_CRYPTO_hash_to_enc (const GNUNET_HashCode * block,
 263                            struct GNUNET_CRYPTO_HashAsciiEncoded *result)
 264 {
 265   /**
 266    * 32 characters for encoding (GNUNET_CRYPTO_hash => 32 characters)
 267    */
 268   static char *encTable__ = "0123456789ABCDEFGHIJKLMNOPQRSTUV";
 269   unsigned int wpos;
 270   unsigned int rpos;
 271   unsigned int bits;
 272   unsigned int vbit;
 273
 274   GNUNET_assert (block != NULL);
 275   GNUNET_assert (result != NULL);
 276   vbit = 0;
 277   wpos = 0;
 278   rpos = 0;
 279   bits = 0;
 280   while ((rpos < sizeof (GNUNET_HashCode)) || (vbit > 0))
 281     {
 282       if ((rpos < sizeof (GNUNET_HashCode)) && (vbit < 5))
 283         {
 284           bits = (bits << 8) | ((unsigned char *) block)[rpos++];       /* eat 8 more bits */
 285           vbit += 8;
 286         }
 287       if (vbit < 5)
 288         {
 289           bits <<= (5 - vbit);  /* zero-padding */
 290           GNUNET_assert (vbit == 2);    /* padding by 3: 512+3 mod 5 == 0 */
 291           vbit = 5;
 292         }
 293       GNUNET_assert (wpos <
 294                      sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) - 1);
 295       result->encoding[wpos++] = encTable__[(bits >> (vbit - 5)) & 31];
 296       vbit -= 5;
 297     }
 298   GNUNET_assert (wpos == sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) - 1);
 299   GNUNET_assert (vbit == 0);
 300   result->encoding[wpos] = '\0';
 301 }
 302
 303 /**
 304  * Convert ASCII encoding back to GNUNET_CRYPTO_hash
 305  *
 306  * @param enc the encoding
 307  * @param result where to store the GNUNET_CRYPTO_hash code
 308  * @return GNUNET_OK on success, GNUNET_SYSERR if result has the wrong encoding
 309  */
 310 int
 311 GNUNET_CRYPTO_hash_from_string (const char *enc, GNUNET_HashCode * result)
 312 {
 313   unsigned int rpos;
 314   unsigned int wpos;
 315   unsigned int bits;
 316   unsigned int vbit;
 317
 318   if (strlen (enc) != sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) - 1)
 319     return GNUNET_SYSERR;
 320
 321   vbit = 2;                     /* padding! */
 322   wpos = sizeof (GNUNET_HashCode);
 323   rpos = sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) - 1;
 324   bits = getValue__ (enc[--rpos]) >> 3;
 325   while (wpos > 0)
 326     {
 327       GNUNET_assert (rpos > 0);
 328       bits = (getValue__ (enc[--rpos]) << vbit) | bits;
 329       vbit += 5;
 330       if (vbit >= 8)
 331         {
 332           ((unsigned char *) result)[--wpos] = (unsigned char) bits;
 333           bits >>= 8;
 334           vbit -= 8;
 335         }
 336     }
 337   GNUNET_assert (rpos == 0);
 338   GNUNET_assert (vbit == 0);
 339   return GNUNET_OK;
 340 }
 341
 342 /**
 343  * Compute the distance between 2 hashcodes.  The computation must be
 344  * fast, not involve bits[0] or bits[4] (they're used elsewhere), and be
 345  * somewhat consistent. And of course, the result should be a positive
 346  * number.
 347  *
 348  * @param a some hash code
 349  * @param b some hash code
 350  * @return a positive number which is a measure for
 351  *  hashcode proximity.
 352  */
 353 unsigned int
 354 GNUNET_CRYPTO_hash_distance_u32 (const GNUNET_HashCode * a,
 355                                  const GNUNET_HashCode * b)
 356 {
 357   unsigned int x1 = (a->bits[1] - b->bits[1]) >> 16;
 358   unsigned int x2 = (b->bits[1] - a->bits[1]) >> 16;
 359
 360   return (x1 * x2);
 361 }
 362
 363 void
 364 GNUNET_CRYPTO_hash_create_random (enum GNUNET_CRYPTO_Quality mode,
 365                                   GNUNET_HashCode * result)
 366 {
 367   int i;
 368
 369   for (i = (sizeof (GNUNET_HashCode) / sizeof (uint32_t)) - 1; i >= 0; i--)
 370     result->bits[i] = GNUNET_CRYPTO_random_u32 (mode, UINT32_MAX);
 371 }
 372
 373 void
 374 GNUNET_CRYPTO_hash_difference (const GNUNET_HashCode * a,
 375                                const GNUNET_HashCode * b,
 376                                GNUNET_HashCode * result)
 377 {
 378   int i;
 379
 380   for (i = (sizeof (GNUNET_HashCode) / sizeof (unsigned int)) - 1; i >= 0;
 381        i--)
 382     result->bits[i] = b->bits[i] - a->bits[i];
 383 }
 384
 385 void
 386 GNUNET_CRYPTO_hash_sum (const GNUNET_HashCode * a,
 387                         const GNUNET_HashCode * delta,
 388                         GNUNET_HashCode * result)
 389 {
 390   int i;
 391
 392   for (i = (sizeof (GNUNET_HashCode) / sizeof (unsigned int)) - 1; i >= 0;
 393        i--)
 394     result->bits[i] = delta->bits[i] + a->bits[i];
 395 }
 396
 397
 398 void
 399 GNUNET_CRYPTO_hash_xor (const GNUNET_HashCode * a, const GNUNET_HashCode * b,
 400                         GNUNET_HashCode * result)
 401 {
 402   int i;
 403
 404   for (i = (sizeof (GNUNET_HashCode) / sizeof (unsigned int)) - 1; i >= 0;
 405        i--)
 406     result->bits[i] = a->bits[i] ^ b->bits[i];
 407 }
 408
 409
 410 /**
 411  * Convert a hashcode into a key.
 412  */
 413 void
 414 GNUNET_CRYPTO_hash_to_aes_key (const GNUNET_HashCode * hc,
 415                                struct GNUNET_CRYPTO_AesSessionKey *skey,
 416                                struct GNUNET_CRYPTO_AesInitializationVector
 417                                *iv)
 418 {
 419   GNUNET_assert (sizeof (GNUNET_HashCode) >=
 420                  GNUNET_CRYPTO_AES_KEY_LENGTH +
 421                  sizeof (struct GNUNET_CRYPTO_AesInitializationVector));
 422   memcpy (skey, hc, GNUNET_CRYPTO_AES_KEY_LENGTH);
 423   skey->crc32 =
 424     htonl (GNUNET_CRYPTO_crc32_n (skey, GNUNET_CRYPTO_AES_KEY_LENGTH));
 425   memcpy (iv, &((char *) hc)[GNUNET_CRYPTO_AES_KEY_LENGTH],
 426           sizeof (struct GNUNET_CRYPTO_AesInitializationVector));
 427 }
 428
 429
 430 /**
 431  * Obtain a bit from a hashcode.
 432  * @param code the GNUNET_CRYPTO_hash to index bit-wise
 433  * @param bit index into the hashcode, [0...511]
 434  * @return Bit \a bit from hashcode \a code, -1 for invalid index
 435  */
 436 int
 437 GNUNET_CRYPTO_hash_get_bit (const GNUNET_HashCode * code, unsigned int bit)
 438 {
 439   GNUNET_assert (bit < 8 * sizeof (GNUNET_HashCode));
 440   return (((unsigned char *) code)[bit >> 3] & (1 << (bit & 7))) > 0;
 441 }
 442
 443 /**
 444  * Determine how many low order bits match in two
 445  * GNUNET_HashCodes.  i.e. - 010011 and 011111 share
 446  * the first two lowest order bits, and therefore the
 447  * return value is two (NOT XOR distance, nor how many
 448  * bits match absolutely!).
 449  *
 450  * @param first the first hashcode
 451  * @param second the hashcode to compare first to
 452  *
 453  * @return the number of bits that match
 454  */
 455 unsigned int
 456 GNUNET_CRYPTO_hash_matching_bits (const GNUNET_HashCode * first,
 457                                   const GNUNET_HashCode * second)
 458 {
 459   unsigned int i;
 460
 461   for (i = 0; i < sizeof (GNUNET_HashCode) * 8; i++)
 462     if (GNUNET_CRYPTO_hash_get_bit (first, i) !=
 463         GNUNET_CRYPTO_hash_get_bit (second, i))
 464       return i;
 465   return sizeof (GNUNET_HashCode) * 8;
 466 }
 467
 468
 469 /**
 470  * Compare function for HashCodes, producing a total ordering
 471  * of all hashcodes.
 472  * @return 1 if h1 > h2, -1 if h1 < h2 and 0 if h1 == h2.
 473  */
 474 int
 475 GNUNET_CRYPTO_hash_cmp (const GNUNET_HashCode * h1,
 476                         const GNUNET_HashCode * h2)
 477 {
 478   unsigned int *i1;
 479   unsigned int *i2;
 480   int i;
 481
 482   i1 = (unsigned int *) h1;
 483   i2 = (unsigned int *) h2;
 484   for (i = (sizeof (GNUNET_HashCode) / sizeof (unsigned int)) - 1; i >= 0;
 485        i--)
 486     {
 487       if (i1[i] > i2[i])
 488         return 1;
 489       if (i1[i] < i2[i])
 490         return -1;
 491     }
 492   return 0;
 493 }
 494
 495
 496 /**
 497  * Find out which of the two GNUNET_CRYPTO_hash codes is closer to target
 498  * in the XOR metric (Kademlia).
 499  * @return -1 if h1 is closer, 1 if h2 is closer and 0 if h1==h2.
 500  */
 501 int
 502 GNUNET_CRYPTO_hash_xorcmp (const GNUNET_HashCode * h1,
 503                            const GNUNET_HashCode * h2,
 504                            const GNUNET_HashCode * target)
 505 {
 506   int i;
 507   unsigned int d1;
 508   unsigned int d2;
 509
 510   for (i = sizeof (GNUNET_HashCode) / sizeof (unsigned int) - 1; i >= 0; i--)
 511     {
 512       d1 = ((unsigned int *) h1)[i] ^ ((unsigned int *) target)[i];
 513       d2 = ((unsigned int *) h2)[i] ^ ((unsigned int *) target)[i];
 514       if (d1 > d2)
 515         return 1;
 516       else if (d1 < d2)
 517         return -1;
 518     }
 519   return 0;
 520 }
 521
 522
 523 /**
 524  * @brief Derive an authentication key
 525  * @param key authentication key
 526  * @param rkey root key
 527  * @param salt salt
 528  * @param salt_len size of the salt
 529  * @param ... pair of void * & size_t for context chunks, terminated by NULL
 530  */
 531 void
 532 GNUNET_CRYPTO_hmac_derive_key (struct GNUNET_CRYPTO_AuthKey *key,
 533                                const struct GNUNET_CRYPTO_AesSessionKey *rkey,
 534                                const void *salt, size_t salt_len, ...)
 535 {
 536   va_list argp;
 537
 538   va_start (argp, salt_len);
 539   GNUNET_CRYPTO_hmac_derive_key_v (key, rkey, salt, salt_len, argp);
 540   va_end (argp);
 541 }
 542
 543
 544 /**
 545  * @brief Derive an authentication key
 546  * @param key authentication key
 547  * @param rkey root key
 548  * @param salt salt
 549  * @param salt_len size of the salt
 550  * @param argp pair of void * & size_t for context chunks, terminated by NULL
 551  */
 552 void
 553 GNUNET_CRYPTO_hmac_derive_key_v (struct GNUNET_CRYPTO_AuthKey *key,
 554                                  const struct GNUNET_CRYPTO_AesSessionKey
 555                                  *rkey, const void *salt, size_t salt_len,
 556                                  va_list argp)
 557 {
 558   GNUNET_CRYPTO_kdf_v (key->key, sizeof (key->key), salt, salt_len, rkey->key,
 559                        sizeof (rkey->key), argp);
 560 }
 561
 562
 563 /**
 564  * Calculate HMAC of a message (RFC 2104)
 565  *
 566  * @param key secret key
 567  * @param plaintext input plaintext
 568  * @param plaintext_len length of plaintext
 569  * @param hmac where to store the hmac
 570  */
 571 void
 572 GNUNET_CRYPTO_hmac (const struct GNUNET_CRYPTO_AuthKey *key,
 573                     const void *plaintext, size_t plaintext_len,
 574                     GNUNET_HashCode * hmac)
 575 {
 576   gcry_md_hd_t md;
 577   const unsigned char *mc;
 578
 579   GNUNET_assert (GPG_ERR_NO_ERROR ==
 580                  gcry_md_open (&md, GCRY_MD_SHA512, GCRY_MD_FLAG_HMAC));
 581   gcry_md_setkey (md, key->key, sizeof (key->key));
 582   gcry_md_write (md, plaintext, plaintext_len);
 583   mc = gcry_md_read (md, GCRY_MD_SHA512);
 584   if (mc != NULL)
 585     memcpy (hmac->bits, mc, sizeof (hmac->bits));
 586   gcry_md_close (md);
 587 }
 588
 589
 590 /* end of crypto_hash.c */