Make pipe ends detachable, fix W32 corner-cases
[oweals/gnunet.git] / src / util / disk.c
1 /*
2      This file is part of GNUnet.
3      (C) 2001--2012 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 2, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file util/disk.c
23  * @brief disk IO convenience methods
24  * @author Christian Grothoff
25  * @author Nils Durner
26  */
27
28 #include "platform.h"
29 #include "gnunet_common.h"
30 #include "gnunet_directories.h"
31 #include "gnunet_disk_lib.h"
32 #include "gnunet_scheduler_lib.h"
33 #include "gnunet_strings_lib.h"
34 #include "gnunet_crypto_lib.h"
35 #include "disk.h"
36
37 #define LOG(kind,...) GNUNET_log_from (kind, "util", __VA_ARGS__)
38
39 #define LOG_STRERROR(kind,syscall) GNUNET_log_from_strerror (kind, "util", syscall)
40
41 #define LOG_STRERROR_FILE(kind,syscall,filename) GNUNET_log_from_strerror_file (kind, "util", syscall, filename)
42
43 /**
44  * Block size for IO for copying files.
45  */
46 #define COPY_BLK_SIZE 65536
47
48
49
50 #if defined(LINUX) || defined(CYGWIN) || defined(GNU)
51 #include <sys/vfs.h>
52 #else
53 #if defined(SOMEBSD) || defined(DARWIN)
54 #include <sys/param.h>
55 #include <sys/mount.h>
56 #else
57 #ifdef SOLARIS
58 #include <sys/types.h>
59 #include <sys/statvfs.h>
60 #else
61 #ifdef MINGW
62 #ifndef PIPE_BUF
63 #define PIPE_BUF        512
64 ULONG PipeSerialNumber;
65 #endif
66 #define         _IFMT           0170000 /* type of file */
67 #define         _IFLNK          0120000 /* symbolic link */
68 #define  S_ISLNK(m)     (((m)&_IFMT) == _IFLNK)
69 #else
70 #error PORT-ME: need to port statfs (how much space is left on the drive?)
71 #endif
72 #endif
73 #endif
74 #endif
75
76 #if !defined(SOMEBSD) && !defined(DARWIN) && !defined(WINDOWS)
77 #include <wordexp.h>
78 #endif
79 #if LINUX
80 #include <sys/statvfs.h>
81 #endif
82
83
84 /**
85  * Handle used to manage a pipe.
86  */
87 struct GNUNET_DISK_PipeHandle
88 {
89   /**
90    * File descriptors for the pipe.
91    * One or both of them could be NULL.
92    */
93   struct GNUNET_DISK_FileHandle *fd[2];
94 };
95
96
97 /**
98  * Closure for the recursion to determine the file size
99  * of a directory.
100  */
101 struct GetFileSizeData
102 {
103   /**
104    * Set to the total file size.
105    */
106   uint64_t total;
107
108   /**
109    * GNUNET_YES if symbolic links should be included.
110    */
111   int include_sym_links;
112
113   /**
114    * GNUNET_YES if mode is file-only (return total == -1 for directories).
115    */
116   int single_file_mode;
117 };
118
119
120 #ifndef MINGW
121 /**
122  * Translate GNUnet-internal permission bitmap to UNIX file
123  * access permission bitmap.
124  *
125  * @param perm file permissions, GNUnet style
126  * @return file permissions, UNIX style
127  */
128 static int
129 translate_unix_perms (enum GNUNET_DISK_AccessPermissions perm)
130 {
131   int mode;
132
133   mode = 0;
134   if (perm & GNUNET_DISK_PERM_USER_READ)
135     mode |= S_IRUSR;
136   if (perm & GNUNET_DISK_PERM_USER_WRITE)
137     mode |= S_IWUSR;
138   if (perm & GNUNET_DISK_PERM_USER_EXEC)
139     mode |= S_IXUSR;
140   if (perm & GNUNET_DISK_PERM_GROUP_READ)
141     mode |= S_IRGRP;
142   if (perm & GNUNET_DISK_PERM_GROUP_WRITE)
143     mode |= S_IWGRP;
144   if (perm & GNUNET_DISK_PERM_GROUP_EXEC)
145     mode |= S_IXGRP;
146   if (perm & GNUNET_DISK_PERM_OTHER_READ)
147     mode |= S_IROTH;
148   if (perm & GNUNET_DISK_PERM_OTHER_WRITE)
149     mode |= S_IWOTH;
150   if (perm & GNUNET_DISK_PERM_OTHER_EXEC)
151     mode |= S_IXOTH;
152
153   return mode;
154 }
155 #endif
156
157
158 /**
159  * Iterate over all files in the given directory and
160  * accumulate their size.
161  *
162  * @param cls closure of type "struct GetFileSizeData"
163  * @param fn current filename we are looking at
164  * @return GNUNET_SYSERR on serious errors, otherwise GNUNET_OK
165  */
166 static int
167 getSizeRec (void *cls, const char *fn)
168 {
169   struct GetFileSizeData *gfsd = cls;
170
171 #ifdef HAVE_STAT64
172   struct stat64 buf;
173 #else
174   struct stat buf;
175 #endif
176
177 #ifdef HAVE_STAT64
178   if (0 != STAT64 (fn, &buf))
179   {
180     LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_DEBUG, "stat64", fn);
181     return GNUNET_SYSERR;
182   }
183 #else
184   if (0 != STAT (fn, &buf))
185   {
186     LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_DEBUG, "stat", fn);
187     return GNUNET_SYSERR;
188   }
189 #endif
190   if ((S_ISDIR (buf.st_mode)) && (gfsd->single_file_mode == GNUNET_YES))
191   {
192     errno = EISDIR;
193     return GNUNET_SYSERR;
194   }
195   if ((!S_ISLNK (buf.st_mode)) || (gfsd->include_sym_links == GNUNET_YES))
196     gfsd->total += buf.st_size;
197   if ((S_ISDIR (buf.st_mode)) && (0 == ACCESS (fn, X_OK)) &&
198       ((!S_ISLNK (buf.st_mode)) || (gfsd->include_sym_links == GNUNET_YES)))
199   {
200     if (GNUNET_SYSERR == GNUNET_DISK_directory_scan (fn, &getSizeRec, gfsd))
201       return GNUNET_SYSERR;
202   }
203   return GNUNET_OK;
204 }
205
206
207 /**
208  * Checks whether a handle is invalid
209  *
210  * @param h handle to check
211  * @return GNUNET_YES if invalid, GNUNET_NO if valid
212  */
213 int
214 GNUNET_DISK_handle_invalid (const struct GNUNET_DISK_FileHandle *h)
215 {
216 #ifdef MINGW
217   return ((!h) || (h->h == INVALID_HANDLE_VALUE)) ? GNUNET_YES : GNUNET_NO;
218 #else
219   return ((!h) || (h->fd == -1)) ? GNUNET_YES : GNUNET_NO;
220 #endif
221 }
222
223 /**
224  * Get the size of an open file.
225  *
226  * @param fh open file handle
227  * @param size where to write size of the file
228  * @return GNUNET_OK on success, GNUNET_SYSERR on error
229  */
230 int
231 GNUNET_DISK_file_handle_size (struct GNUNET_DISK_FileHandle *fh,
232                               OFF_T *size)
233 {
234 #if WINDOWS
235   BOOL b;
236   LARGE_INTEGER li;
237   b = GetFileSizeEx (fh->h, &li);
238   if (!b)
239   {
240     SetErrnoFromWinError (GetLastError ());
241     return GNUNET_SYSERR;
242   }
243   *size = (OFF_T) li.QuadPart;
244 #else
245   struct stat sbuf;
246
247   if (0 != FSTAT (fh->fd, &sbuf))
248     return GNUNET_SYSERR;
249   *size = sbuf.st_size;
250 #endif
251   return GNUNET_OK;
252 }
253
254
255 /**
256  * Move the read/write pointer in a file
257  *
258  * @param h handle of an open file
259  * @param offset position to move to
260  * @param whence specification to which position the offset parameter relates to
261  * @return the new position on success, GNUNET_SYSERR otherwise
262  */
263 OFF_T
264 GNUNET_DISK_file_seek (const struct GNUNET_DISK_FileHandle * h, OFF_T offset,
265                        enum GNUNET_DISK_Seek whence)
266 {
267   if (h == NULL)
268   {
269     errno = EINVAL;
270     return GNUNET_SYSERR;
271   }
272
273 #ifdef MINGW
274   LARGE_INTEGER li;
275   LARGE_INTEGER new_pos;
276   BOOL b;
277
278   static DWORD t[] = { FILE_BEGIN, FILE_CURRENT, FILE_END };
279   li.QuadPart = offset;
280
281   b = SetFilePointerEx (h->h, li, &new_pos, t[whence]);
282   if (b == 0)
283   {
284     SetErrnoFromWinError (GetLastError ());
285     return GNUNET_SYSERR;
286   }
287   return (OFF_T) new_pos.QuadPart;
288 #else
289   static int t[] = { SEEK_SET, SEEK_CUR, SEEK_END };
290
291   return lseek (h->fd, offset, t[whence]);
292 #endif
293 }
294
295
296 /**
297  * Get the size of the file (or directory) of the given file (in
298  * bytes).
299  *
300  * @param filename name of the file or directory
301  * @param size set to the size of the file (or,
302  *             in the case of directories, the sum
303  *             of all sizes of files in the directory)
304  * @param includeSymLinks should symbolic links be
305  *        included?
306  * @param singleFileMode GNUNET_YES to only get size of one file
307  *        and return GNUNET_SYSERR for directories.
308  * @return GNUNET_SYSERR on error, GNUNET_OK on success
309  */
310 int
311 GNUNET_DISK_file_size (const char *filename, uint64_t * size,
312                        int includeSymLinks, int singleFileMode)
313 {
314   struct GetFileSizeData gfsd;
315   int ret;
316
317   GNUNET_assert (size != NULL);
318   gfsd.total = 0;
319   gfsd.include_sym_links = includeSymLinks;
320   gfsd.single_file_mode = singleFileMode;
321   ret = getSizeRec (&gfsd, filename);
322   *size = gfsd.total;
323   return ret;
324 }
325
326
327 /**
328  * Obtain some unique identifiers for the given file
329  * that can be used to identify it in the local system.
330  * This function is used between GNUnet processes to
331  * quickly check if two files with the same absolute path
332  * are actually identical.  The two processes represent
333  * the same peer but may communicate over the network
334  * (and the file may be on an NFS volume).  This function
335  * may not be supported on all operating systems.
336  *
337  * @param filename name of the file
338  * @param dev set to the device ID
339  * @param ino set to the inode ID
340  * @return GNUNET_OK on success
341  */
342 int
343 GNUNET_DISK_file_get_identifiers (const char *filename, uint64_t * dev,
344                                   uint64_t * ino)
345 {
346 #if LINUX
347   struct stat sbuf;
348   struct statvfs fbuf;
349
350   if ((0 == stat (filename, &sbuf)) && (0 == statvfs (filename, &fbuf)))
351   {
352     *dev = (uint64_t) fbuf.f_fsid;
353     *ino = (uint64_t) sbuf.st_ino;
354     return GNUNET_OK;
355   }
356 #elif SOMEBSD
357   struct stat sbuf;
358   struct statfs fbuf;
359
360   if ((0 == stat (filename, &sbuf)) && (0 == statfs (filename, &fbuf)))
361   {
362     *dev = ((uint64_t) fbuf.f_fsid.val[0]) << 32 ||
363         ((uint64_t) fbuf.f_fsid.val[1]);
364     *ino = (uint64_t) sbuf.st_ino;
365     return GNUNET_OK;
366   }
367 #elif WINDOWS
368   // FIXME NILS: test this
369   struct GNUNET_DISK_FileHandle *fh;
370   BY_HANDLE_FILE_INFORMATION info;
371   int succ;
372
373   fh = GNUNET_DISK_file_open (filename, GNUNET_DISK_OPEN_READ, 0);
374   if (fh == NULL)
375     return GNUNET_SYSERR;
376   succ = GetFileInformationByHandle (fh->h, &info);
377   GNUNET_DISK_file_close (fh);
378   if (succ)
379   {
380     *dev = info.dwVolumeSerialNumber;
381     *ino = ((((uint64_t) info.nFileIndexHigh) << (sizeof (DWORD) * 8)) | info.nFileIndexLow);
382     return GNUNET_OK;
383   }
384   else
385     return GNUNET_SYSERR;
386
387 #endif
388   return GNUNET_SYSERR;
389 }
390
391
392 /**
393  * Create the name for a temporary file or directory from a template.
394  *
395  * @param t template (without XXXXX or "/tmp/")
396  * @return name ready for passing to 'mktemp' or 'mkdtemp', NULL on error
397  */
398 static char *
399 mktemp_name (const char *t)
400 {
401   const char *tmpdir;
402   char *tmpl;
403   char *fn;
404
405   if ((t[0] != '/') && (t[0] != '\\')
406 #if WINDOWS
407       && !(isalpha ((int) t[0]) && (t[0] != '\0') && (t[1] == ':'))
408 #endif
409       )
410   {
411     /* FIXME: This uses system codepage on W32, not UTF-8 */
412     tmpdir = getenv ("TMPDIR");
413     if (NULL == tmpdir)
414       tmpdir = getenv ("TMP");
415     if (NULL == tmpdir)
416       tmpdir = getenv ("TEMP");  
417     if (NULL == tmpdir)
418       tmpdir = "/tmp";
419     GNUNET_asprintf (&tmpl, "%s/%s%s", tmpdir, t, "XXXXXX");
420   }
421   else
422   {
423     GNUNET_asprintf (&tmpl, "%s%s", t, "XXXXXX");
424   }
425 #ifdef MINGW
426   fn = (char *) GNUNET_malloc (MAX_PATH + 1);
427   if (ERROR_SUCCESS != plibc_conv_to_win_path (tmpl, fn))
428   {
429     GNUNET_free (fn);
430     GNUNET_free (tmpl);
431     return NULL;
432   }
433   GNUNET_free (tmpl);
434 #else
435   fn = tmpl;
436 #endif
437   return fn;
438 }
439
440
441 #if WINDOWS
442 static char *
443 mkdtemp (char *fn)
444 {
445   char *random_fn;
446   char *tfn;
447
448   while (1)
449   {
450     tfn = GNUNET_strdup (fn);
451     random_fn = _mktemp (tfn);
452     if (NULL == random_fn)
453     {
454       GNUNET_free (tfn);
455       return NULL;
456     }
457     /* FIXME: assume fn to be UTF-8-encoded and do the right thing */
458     if (0 == CreateDirectoryA (tfn, NULL))
459     {
460       DWORD error = GetLastError ();
461       GNUNET_free (tfn);
462       if (ERROR_ALREADY_EXISTS == error)
463         continue;
464       return NULL;
465     }
466     break;
467   }
468   strcpy (fn, tfn);
469   return fn;
470 }
471 #endif
472
473 /**
474  * Create an (empty) temporary directory on disk.  If the given name is not
475  * an absolute path, the current 'TMPDIR' will be prepended.  In any case,
476  * 6 random characters will be appended to the name to create a unique
477  * filename.
478  *
479  * @param t component to use for the name;
480  *        does NOT contain "XXXXXX" or "/tmp/".
481  * @return NULL on error, otherwise name of fresh
482  *         file on disk in directory for temporary files
483  */
484 char *
485 GNUNET_DISK_mkdtemp (const char *t)
486 {
487   char *fn;
488
489   fn = mktemp_name (t);
490   if (fn != mkdtemp (fn))
491   {
492     LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_ERROR, "mkstemp", fn);
493     GNUNET_free (fn);
494     return NULL;
495   }
496   return fn;
497 }
498
499
500 /**
501  * Move a file out of the way (create a backup) by
502  * renaming it to "orig.NUM~" where NUM is the smallest
503  * number that is not used yet.
504  *
505  * @param fil name of the file to back up
506  */
507 void
508 GNUNET_DISK_file_backup (const char *fil)
509 {
510   size_t slen;
511   char *target;
512   unsigned int num;
513
514   slen = strlen (fil) + 20;
515   target = GNUNET_malloc (slen);
516   num = 0;
517   do
518   {
519     GNUNET_snprintf (target, slen,
520                      "%s.%u~",
521                      fil,
522                      num++);
523   } while (0 == access (target, F_OK));
524   if (0 != rename (fil, target))
525     GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_ERROR,
526                               "rename",
527                               fil);
528   GNUNET_free (target);  
529 }
530
531
532 /**
533  * Create an (empty) temporary file on disk.  If the given name is not
534  * an absolute path, the current 'TMPDIR' will be prepended.  In any case,
535  * 6 random characters will be appended to the name to create a unique
536  * filename.
537  *
538  * @param t component to use for the name;
539  *        does NOT contain "XXXXXX" or "/tmp/".
540  * @return NULL on error, otherwise name of fresh
541  *         file on disk in directory for temporary files
542  */
543 char *
544 GNUNET_DISK_mktemp (const char *t)
545 {
546   int fd;
547   char *fn;
548
549   fn = mktemp_name (t);
550   if (-1 == (fd = mkstemp (fn)))
551   {
552     LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_ERROR, "mkstemp", fn);
553     GNUNET_free (fn);
554     return NULL;
555   }
556   if (0 != CLOSE (fd))
557     LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "close", fn);
558   return fn;
559 }
560
561
562 /**
563  * Get the number of blocks that are left on the partition that
564  * contains the given file (for normal users).
565  *
566  * @param part a file on the partition to check
567  * @return -1 on errors, otherwise the number of free blocks
568  */
569 long
570 GNUNET_DISK_get_blocks_available (const char *part)
571 {
572 #ifdef SOLARIS
573   struct statvfs buf;
574
575   if (0 != statvfs (part, &buf))
576   {
577     LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "statfs", part);
578     return -1;
579   }
580   return buf.f_bavail;
581 #elif MINGW
582   DWORD dwDummy;
583   DWORD dwBlocks;
584   wchar_t szDrive[4];
585   wchar_t wpath[MAX_PATH + 1];
586   char *path;
587
588   path = GNUNET_STRINGS_filename_expand (part);
589   if (path == NULL)
590     return -1;
591   /* "part" was in UTF-8, and so is "path" */
592   if (ERROR_SUCCESS != plibc_conv_to_win_pathwconv(path, wpath))
593   {
594     GNUNET_free (path);
595     return -1;
596   }
597   GNUNET_free (path);
598   wcsncpy (szDrive, wpath, 3);
599   szDrive[3] = 0;
600   if (!GetDiskFreeSpaceW (szDrive, &dwDummy, &dwDummy, &dwBlocks, &dwDummy))
601   {
602     LOG (GNUNET_ERROR_TYPE_WARNING, _("`%s' failed for drive `%S': %u\n"),
603          "GetDiskFreeSpace", szDrive, GetLastError ());
604
605     return -1;
606   }
607   return dwBlocks;
608 #else
609   struct statfs s;
610
611   if (0 != statfs (part, &s))
612   {
613     LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "statfs", part);
614     return -1;
615   }
616   return s.f_bavail;
617 #endif
618 }
619
620
621 /**
622  * Test if "fil" is a directory and listable. Optionally, also check if the
623  * directory is readable.  Will not print an error message if the directory does
624  * not exist.  Will log errors if GNUNET_SYSERR is returned (i.e., a file exists
625  * with the same name).
626  *
627  * @param fil filename to test
628  * @param is_readable GNUNET_YES to additionally check if "fil" is readable;
629  *          GNUNET_NO to disable this check
630  * @return GNUNET_YES if yes, GNUNET_NO if not; GNUNET_SYSERR if it
631  *           does not exist or stat'ed
632  */
633 int
634 GNUNET_DISK_directory_test (const char *fil, int is_readable)
635 {
636   struct stat filestat;
637   int ret;
638
639   ret = STAT (fil, &filestat);
640   if (ret != 0)
641   {
642     if (errno != ENOENT)
643       LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "stat", fil);
644     return GNUNET_SYSERR;
645   }
646   if (!S_ISDIR (filestat.st_mode))
647   {
648     LOG (GNUNET_ERROR_TYPE_WARNING,
649          "A file already exits with the same name %s\n", fil);
650     return GNUNET_NO;
651   }
652   if (GNUNET_YES == is_readable)
653     ret = ACCESS (fil, R_OK | X_OK);
654   else
655     ret = ACCESS (fil, X_OK);
656   if (ret < 0)
657   {
658     LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "access", fil);
659     return GNUNET_NO;
660   }
661   return GNUNET_YES;
662 }
663
664
665 /**
666  * Check that fil corresponds to a filename
667  * (of a file that exists and that is not a directory).
668  *
669  * @param fil filename to check
670  * @return GNUNET_YES if yes, GNUNET_NO if not a file, GNUNET_SYSERR if something
671  * else (will print an error message in that case, too).
672  */
673 int
674 GNUNET_DISK_file_test (const char *fil)
675 {
676   struct stat filestat;
677   int ret;
678   char *rdir;
679
680   rdir = GNUNET_STRINGS_filename_expand (fil);
681   if (rdir == NULL)
682     return GNUNET_SYSERR;
683
684   ret = STAT (rdir, &filestat);
685   if (ret != 0)
686   {
687     if (errno != ENOENT)
688     {
689       LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "stat", rdir);
690       GNUNET_free (rdir);
691       return GNUNET_SYSERR;
692     }
693     GNUNET_free (rdir);
694     return GNUNET_NO;
695   }
696   if (!S_ISREG (filestat.st_mode))
697   {
698     GNUNET_free (rdir);
699     return GNUNET_NO;
700   }
701   if (ACCESS (rdir, F_OK) < 0)
702   {
703     LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "access", rdir);
704     GNUNET_free (rdir);
705     return GNUNET_SYSERR;
706   }
707   GNUNET_free (rdir);
708   return GNUNET_YES;
709 }
710
711
712 /**
713  * Implementation of "mkdir -p"
714  * @param dir the directory to create
715  * @returns GNUNET_OK on success, GNUNET_SYSERR on failure
716  */
717 int
718 GNUNET_DISK_directory_create (const char *dir)
719 {
720   char *rdir;
721   unsigned int len;
722   unsigned int pos;
723   unsigned int pos2;
724   int ret = GNUNET_OK;
725
726   rdir = GNUNET_STRINGS_filename_expand (dir);
727   if (rdir == NULL)
728     return GNUNET_SYSERR;
729
730   len = strlen (rdir);
731 #ifndef MINGW
732   pos = 1;                      /* skip heading '/' */
733 #else
734   /* Local or Network path? */
735   if (strncmp (rdir, "\\\\", 2) == 0)
736   {
737     pos = 2;
738     while (rdir[pos])
739     {
740       if (rdir[pos] == '\\')
741       {
742         pos++;
743         break;
744       }
745       pos++;
746     }
747   }
748   else
749   {
750     pos = 3;                    /* strlen("C:\\") */
751   }
752 #endif
753   /* Check which low level directories already exist */
754   pos2 = len;
755   rdir[len] = DIR_SEPARATOR;
756   while (pos <= pos2)
757   {
758     if (DIR_SEPARATOR == rdir[pos2])
759     {
760       rdir[pos2] = '\0';
761       ret = GNUNET_DISK_directory_test (rdir, GNUNET_NO);
762       if (GNUNET_NO == ret)
763       {
764         GNUNET_free (rdir);
765         return GNUNET_SYSERR;
766       }
767       rdir[pos2] = DIR_SEPARATOR;
768       if (GNUNET_YES == ret)
769       {
770         pos2++;
771         break;
772       }
773     }
774     pos2--;
775   }
776   rdir[len] = '\0';
777   if (pos < pos2)
778     pos = pos2;
779   /* Start creating directories */
780   while (pos <= len)
781   {
782     if ((rdir[pos] == DIR_SEPARATOR) || (pos == len))
783     {
784       rdir[pos] = '\0';
785       ret = GNUNET_DISK_directory_test (rdir, GNUNET_NO);
786       if (GNUNET_NO == ret)
787       {
788         GNUNET_free (rdir);
789         return GNUNET_SYSERR;
790       }
791       if (GNUNET_SYSERR == ret)
792       {
793 #ifndef MINGW
794         ret = mkdir (rdir, S_IRUSR | S_IWUSR | S_IXUSR | S_IRGRP | S_IXGRP | S_IROTH | S_IXOTH);        /* 755 */
795 #else
796         wchar_t wrdir[MAX_PATH + 1];
797         if (ERROR_SUCCESS == plibc_conv_to_win_pathwconv(rdir, wrdir))
798           ret = !CreateDirectoryW (wrdir, NULL);
799         else
800           ret = 1;
801 #endif
802         if ((ret != 0) && (errno != EEXIST))
803         {
804           LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_ERROR, "mkdir", rdir);
805           GNUNET_free (rdir);
806           return GNUNET_SYSERR;
807         }
808       }
809       rdir[pos] = DIR_SEPARATOR;
810     }
811     pos++;
812   }
813   GNUNET_free (rdir);
814   return GNUNET_OK;
815 }
816
817
818 /**
819  * Create the directory structure for storing
820  * a file.
821  *
822  * @param filename name of a file in the directory
823  * @returns GNUNET_OK on success,
824  *          GNUNET_SYSERR on failure,
825  *          GNUNET_NO if the directory
826  *          exists but is not writeable for us
827  */
828 int
829 GNUNET_DISK_directory_create_for_file (const char *filename)
830 {
831   char *rdir;
832   int len;
833   int ret;
834
835   rdir = GNUNET_STRINGS_filename_expand (filename);
836   if (rdir == NULL)
837     return GNUNET_SYSERR;
838   len = strlen (rdir);
839   while ((len > 0) && (rdir[len] != DIR_SEPARATOR))
840     len--;
841   rdir[len] = '\0';
842   ret = GNUNET_DISK_directory_create (rdir);
843   if ((ret == GNUNET_OK) && (0 != ACCESS (rdir, W_OK)))
844     ret = GNUNET_NO;
845   GNUNET_free (rdir);
846   return ret;
847 }
848
849
850 /**
851  * Read the contents of a binary file into a buffer.
852  * @param h handle to an open file
853  * @param result the buffer to write the result to
854  * @param len the maximum number of bytes to read
855  * @return the number of bytes read on success, GNUNET_SYSERR on failure
856  */
857 ssize_t
858 GNUNET_DISK_file_read (const struct GNUNET_DISK_FileHandle * h, void *result,
859                        size_t len)
860 {
861   if (h == NULL)
862   {
863     errno = EINVAL;
864     return GNUNET_SYSERR;
865   }
866
867 #ifdef MINGW
868   DWORD bytesRead;
869
870   if (h->type != GNUNET_DISK_HANLDE_TYPE_PIPE)
871   {
872     if (!ReadFile (h->h, result, len, &bytesRead, NULL))
873     {
874       SetErrnoFromWinError (GetLastError ());
875       return GNUNET_SYSERR;
876     }
877   }
878   else
879   {
880     if (!ReadFile (h->h, result, len, &bytesRead, h->oOverlapRead))
881     {
882       if (GetLastError () != ERROR_IO_PENDING)
883       {
884         LOG (GNUNET_ERROR_TYPE_DEBUG, "Error reading from pipe: %u\n", GetLastError ());
885         SetErrnoFromWinError (GetLastError ());
886         return GNUNET_SYSERR;
887       }
888       LOG (GNUNET_ERROR_TYPE_DEBUG, "Will get overlapped result\n");
889       GetOverlappedResult (h->h, h->oOverlapRead, &bytesRead, TRUE);
890     }
891     LOG (GNUNET_ERROR_TYPE_DEBUG, "Read %u bytes from pipe\n", bytesRead);
892   }
893   return bytesRead;
894 #else
895   return read (h->fd, result, len);
896 #endif
897 }
898
899
900 /**
901  * Read the contents of a binary file into a buffer.
902  * Guarantees not to block (returns GNUNET_SYSERR and sets errno to EAGAIN
903  * when no data can be read).
904  *
905  * @param h handle to an open file
906  * @param result the buffer to write the result to
907  * @param len the maximum number of bytes to read
908  * @return the number of bytes read on success, GNUNET_SYSERR on failure
909  */
910 ssize_t
911 GNUNET_DISK_file_read_non_blocking (const struct GNUNET_DISK_FileHandle * h,
912                                     void *result, 
913                                     size_t len)
914 {
915   if (h == NULL)
916   {
917     errno = EINVAL;
918     return GNUNET_SYSERR;
919   }
920
921 #ifdef MINGW
922   DWORD bytesRead;
923
924   if (h->type != GNUNET_DISK_HANLDE_TYPE_PIPE)
925   {
926     if (!ReadFile (h->h, result, len, &bytesRead, NULL))
927     {
928       SetErrnoFromWinError (GetLastError ());
929       return GNUNET_SYSERR;
930     }
931   }
932   else
933   {
934     if (!ReadFile (h->h, result, len, &bytesRead, h->oOverlapRead))
935     {
936       if (GetLastError () != ERROR_IO_PENDING)
937       {
938         LOG (GNUNET_ERROR_TYPE_DEBUG, "Error reading from pipe: %u\n", GetLastError ());
939         SetErrnoFromWinError (GetLastError ());
940         return GNUNET_SYSERR;
941       }
942       else
943       {
944         LOG (GNUNET_ERROR_TYPE_DEBUG,
945             "ReadFile() queued a read, cancelling\n");
946         CancelIo (h->h);
947         errno = EAGAIN;
948         return GNUNET_SYSERR;
949       }
950     }
951     LOG (GNUNET_ERROR_TYPE_DEBUG, "Read %u bytes\n", bytesRead);
952   }
953   return bytesRead;
954 #else
955   int flags;
956   ssize_t ret;
957
958   /* set to non-blocking, read, then set back */
959   flags = fcntl (h->fd, F_GETFL);
960   if (0 == (flags & O_NONBLOCK))
961     (void) fcntl (h->fd, F_SETFL, flags | O_NONBLOCK);
962   ret = read (h->fd, result, len);
963   if (0 == (flags & O_NONBLOCK))
964     {
965       int eno = errno;
966       (void) fcntl (h->fd, F_SETFL, flags);
967       errno = eno;
968     }
969   return ret;
970 #endif
971 }
972
973
974 /**
975  * Read the contents of a binary file into a buffer.
976  *
977  * @param fn file name
978  * @param result the buffer to write the result to
979  * @param len the maximum number of bytes to read
980  * @return number of bytes read, GNUNET_SYSERR on failure
981  */
982 ssize_t
983 GNUNET_DISK_fn_read (const char *fn, void *result, size_t len)
984 {
985   struct GNUNET_DISK_FileHandle *fh;
986   ssize_t ret;
987
988   fh = GNUNET_DISK_file_open (fn, GNUNET_DISK_OPEN_READ, GNUNET_DISK_PERM_NONE);
989   if (!fh)
990     return GNUNET_SYSERR;
991   ret = GNUNET_DISK_file_read (fh, result, len);
992   GNUNET_assert (GNUNET_OK == GNUNET_DISK_file_close (fh));
993
994   return ret;
995 }
996
997
998 /**
999  * Write a buffer to a file.
1000  * @param h handle to open file
1001  * @param buffer the data to write
1002  * @param n number of bytes to write
1003  * @return number of bytes written on success, GNUNET_SYSERR on error
1004  */
1005 ssize_t
1006 GNUNET_DISK_file_write (const struct GNUNET_DISK_FileHandle * h,
1007                         const void *buffer, size_t n)
1008 {
1009   if (h == NULL)
1010   {
1011     errno = EINVAL;
1012     return GNUNET_SYSERR;
1013   }
1014
1015 #ifdef MINGW
1016   DWORD bytesWritten;
1017
1018   if (h->type != GNUNET_DISK_HANLDE_TYPE_PIPE)
1019   {
1020     if (!WriteFile (h->h, buffer, n, &bytesWritten, NULL))
1021     {
1022       SetErrnoFromWinError (GetLastError ());
1023       return GNUNET_SYSERR;
1024     }
1025   }
1026   else
1027   {
1028     LOG (GNUNET_ERROR_TYPE_DEBUG, "It is a pipe trying to write %u bytes\n", n);
1029     if (!WriteFile (h->h, buffer, n, &bytesWritten, h->oOverlapWrite))
1030     {
1031       if (GetLastError () != ERROR_IO_PENDING)
1032       {
1033         SetErrnoFromWinError (GetLastError ());
1034         LOG (GNUNET_ERROR_TYPE_DEBUG, "Error writing to pipe: %u\n",
1035             GetLastError ());
1036         return GNUNET_SYSERR;
1037       }
1038       LOG (GNUNET_ERROR_TYPE_DEBUG, "Will get overlapped result\n");
1039       if (!GetOverlappedResult (h->h, h->oOverlapWrite, &bytesWritten, TRUE))
1040       {
1041         SetErrnoFromWinError (GetLastError ());
1042         LOG (GNUNET_ERROR_TYPE_DEBUG,
1043             "Error getting overlapped result while writing to pipe: %u\n",
1044             GetLastError ());
1045         return GNUNET_SYSERR;
1046       }
1047     }
1048     else
1049     {
1050       DWORD ovr;
1051       if (!GetOverlappedResult (h->h, h->oOverlapWrite, &ovr, TRUE))
1052       {
1053         LOG (GNUNET_ERROR_TYPE_DEBUG,
1054             "Error getting control overlapped result while writing to pipe: %u\n",
1055             GetLastError ());
1056       }
1057       else
1058       {
1059         LOG (GNUNET_ERROR_TYPE_DEBUG,
1060             "Wrote %u bytes (ovr says %u), picking the greatest\n",
1061             bytesWritten, ovr);
1062       }
1063     }
1064     if (bytesWritten == 0)
1065     {
1066       if (n > 0)
1067       {
1068         LOG (GNUNET_ERROR_TYPE_DEBUG, "Wrote %u bytes, returning -1 with EAGAIN\n", bytesWritten);
1069         errno = EAGAIN;
1070         return GNUNET_SYSERR;
1071       }
1072     }
1073     LOG (GNUNET_ERROR_TYPE_DEBUG, "Wrote %u bytes\n", bytesWritten);
1074   }
1075   return bytesWritten;
1076 #else
1077   return write (h->fd, buffer, n);
1078 #endif
1079 }
1080
1081
1082 /**
1083  * Write a buffer to a file, blocking, if necessary.
1084  * @param h handle to open file
1085  * @param buffer the data to write
1086  * @param n number of bytes to write
1087  * @return number of bytes written on success, GNUNET_SYSERR on error
1088  */
1089 ssize_t
1090 GNUNET_DISK_file_write_blocking (const struct GNUNET_DISK_FileHandle * h,
1091     const void *buffer, size_t n)
1092 {
1093   if (h == NULL)
1094   {
1095     errno = EINVAL;
1096     return GNUNET_SYSERR;
1097   }
1098
1099 #ifdef MINGW
1100   DWORD bytesWritten;
1101   /* We do a non-overlapped write, which is as blocking as it gets */
1102   LOG (GNUNET_ERROR_TYPE_DEBUG, "Writing %u bytes\n", n);
1103   if (!WriteFile (h->h, buffer, n, &bytesWritten, NULL))
1104   {
1105     SetErrnoFromWinError (GetLastError ());
1106     LOG (GNUNET_ERROR_TYPE_DEBUG, "Error writing to pipe: %u\n",
1107         GetLastError ());
1108     return GNUNET_SYSERR;
1109   }
1110   if (bytesWritten == 0 && n > 0)
1111   {
1112     LOG (GNUNET_ERROR_TYPE_DEBUG, "Waiting for pipe to clean\n");
1113     WaitForSingleObject (h->h, INFINITE);
1114     if (!WriteFile (h->h, buffer, n, &bytesWritten, NULL))
1115     {
1116       SetErrnoFromWinError (GetLastError ());
1117       LOG (GNUNET_ERROR_TYPE_DEBUG, "Error writing to pipe: %u\n",
1118           GetLastError ());
1119       return GNUNET_SYSERR;
1120     }
1121   }
1122   LOG (GNUNET_ERROR_TYPE_DEBUG, "Wrote %u bytes\n", bytesWritten);
1123   return bytesWritten;
1124 #else
1125   int flags;
1126   ssize_t ret;
1127
1128   /* set to blocking, write, then set back */
1129   flags = fcntl (h->fd, F_GETFL);
1130   if (0 != (flags & O_NONBLOCK))
1131     (void) fcntl (h->fd, F_SETFL, flags - O_NONBLOCK);
1132   ret = write (h->fd, buffer, n);
1133   if (0 == (flags & O_NONBLOCK))
1134     (void) fcntl (h->fd, F_SETFL, flags);
1135   return ret;
1136 #endif
1137 }
1138
1139
1140 /**
1141  * Write a buffer to a file.  If the file is longer than the
1142  * number of bytes that will be written, it will be truncated.
1143  *
1144  * @param fn file name
1145  * @param buffer the data to write
1146  * @param n number of bytes to write
1147  * @param mode file permissions
1148  * @return number of bytes written on success, GNUNET_SYSERR on error
1149  */
1150 ssize_t
1151 GNUNET_DISK_fn_write (const char *fn, const void *buffer, size_t n,
1152                       enum GNUNET_DISK_AccessPermissions mode)
1153 {
1154   struct GNUNET_DISK_FileHandle *fh;
1155   ssize_t ret;
1156
1157   fh = GNUNET_DISK_file_open (fn,
1158                               GNUNET_DISK_OPEN_WRITE | GNUNET_DISK_OPEN_TRUNCATE
1159                               | GNUNET_DISK_OPEN_CREATE, mode);
1160   if (!fh)
1161     return GNUNET_SYSERR;
1162   ret = GNUNET_DISK_file_write (fh, buffer, n);
1163   GNUNET_assert (GNUNET_OK == GNUNET_DISK_file_close (fh));
1164   return ret;
1165 }
1166
1167
1168 /**
1169  * Scan a directory for files.
1170  *
1171  * @param dirName the name of the directory
1172  * @param callback the method to call for each file,
1173  *        can be NULL, in that case, we only count
1174  * @param callback_cls closure for callback
1175  * @return the number of files found, GNUNET_SYSERR on error or
1176  *         ieration aborted by callback returning GNUNET_SYSERR
1177  */
1178 int
1179 GNUNET_DISK_directory_scan (const char *dirName,
1180                             GNUNET_FileNameCallback callback,
1181                             void *callback_cls)
1182 {
1183   DIR *dinfo;
1184   struct dirent *finfo;
1185   struct stat istat;
1186   int count = 0;
1187   char *name;
1188   char *dname;
1189   unsigned int name_len;
1190   unsigned int n_size;
1191
1192   GNUNET_assert (dirName != NULL);
1193   dname = GNUNET_STRINGS_filename_expand (dirName);
1194   if (dname == NULL)
1195     return GNUNET_SYSERR;
1196   while ((strlen (dname) > 0) && (dname[strlen (dname) - 1] == DIR_SEPARATOR))
1197     dname[strlen (dname) - 1] = '\0';
1198   if (0 != STAT (dname, &istat))
1199   {
1200     LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "stat", dname);
1201     GNUNET_free (dname);
1202     return GNUNET_SYSERR;
1203   }
1204   if (!S_ISDIR (istat.st_mode))
1205   {
1206     LOG (GNUNET_ERROR_TYPE_WARNING, _("Expected `%s' to be a directory!\n"),
1207          dirName);
1208     GNUNET_free (dname);
1209     return GNUNET_SYSERR;
1210   }
1211   errno = 0;
1212   dinfo = OPENDIR (dname);
1213   if ((errno == EACCES) || (dinfo == NULL))
1214   {
1215     LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "opendir", dname);
1216     if (dinfo != NULL)
1217       CLOSEDIR (dinfo);
1218     GNUNET_free (dname);
1219     return GNUNET_SYSERR;
1220   }
1221   name_len = 256;
1222   n_size = strlen (dname) + name_len + 2;
1223   name = GNUNET_malloc (n_size);
1224   while ((finfo = READDIR (dinfo)) != NULL)
1225   {
1226     if ((0 == strcmp (finfo->d_name, ".")) ||
1227         (0 == strcmp (finfo->d_name, "..")))
1228       continue;
1229     if (callback != NULL)
1230     {
1231       if (name_len < strlen (finfo->d_name))
1232       {
1233         GNUNET_free (name);
1234         name_len = strlen (finfo->d_name);
1235         n_size = strlen (dname) + name_len + 2;
1236         name = GNUNET_malloc (n_size);
1237       }
1238       /* dname can end in "/" only if dname == "/";
1239        * if dname does not end in "/", we need to add
1240        * a "/" (otherwise, we must not!) */
1241       GNUNET_snprintf (name, n_size, "%s%s%s", dname,
1242                        (strcmp (dname, DIR_SEPARATOR_STR) ==
1243                         0) ? "" : DIR_SEPARATOR_STR, finfo->d_name);
1244       if (GNUNET_OK != callback (callback_cls, name))
1245       {
1246         CLOSEDIR (dinfo);
1247         GNUNET_free (name);
1248         GNUNET_free (dname);
1249         return GNUNET_SYSERR;
1250       }
1251     }
1252     count++;
1253   }
1254   CLOSEDIR (dinfo);
1255   GNUNET_free (name);
1256   GNUNET_free (dname);
1257   return count;
1258 }
1259
1260
1261 /**
1262  * Opaque handle used for iterating over a directory.
1263  */
1264 struct GNUNET_DISK_DirectoryIterator
1265 {
1266
1267   /**
1268    * Function to call on directory entries.
1269    */
1270   GNUNET_DISK_DirectoryIteratorCallback callback;
1271
1272   /**
1273    * Closure for callback.
1274    */
1275   void *callback_cls;
1276
1277   /**
1278    * Reference to directory.
1279    */
1280   DIR *directory;
1281
1282   /**
1283    * Directory name.
1284    */
1285   char *dirname;
1286
1287   /**
1288    * Next filename to process.
1289    */
1290   char *next_name;
1291
1292   /**
1293    * Our priority.
1294    */
1295   enum GNUNET_SCHEDULER_Priority priority;
1296
1297 };
1298
1299
1300 /**
1301  * Task used by the directory iterator.
1302  */
1303 static void
1304 directory_iterator_task (void *cls,
1305                          const struct GNUNET_SCHEDULER_TaskContext *tc)
1306 {
1307   struct GNUNET_DISK_DirectoryIterator *iter = cls;
1308   char *name;
1309
1310   name = iter->next_name;
1311   GNUNET_assert (name != NULL);
1312   iter->next_name = NULL;
1313   iter->callback (iter->callback_cls, iter, name, iter->dirname);
1314   GNUNET_free (name);
1315 }
1316
1317
1318 /**
1319  * This function must be called during the DiskIteratorCallback
1320  * (exactly once) to schedule the task to process the next
1321  * filename in the directory (if there is one).
1322  *
1323  * @param iter opaque handle for the iterator
1324  * @param can set to GNUNET_YES to terminate the iteration early
1325  * @return GNUNET_YES if iteration will continue,
1326  *         GNUNET_NO if this was the last entry (and iteration is complete),
1327  *         GNUNET_SYSERR if abort was YES
1328  */
1329 int
1330 GNUNET_DISK_directory_iterator_next (struct GNUNET_DISK_DirectoryIterator *iter,
1331                                      int can)
1332 {
1333   struct dirent *finfo;
1334
1335   GNUNET_assert (iter->next_name == NULL);
1336   if (can == GNUNET_YES)
1337   {
1338     CLOSEDIR (iter->directory);
1339     GNUNET_free (iter->dirname);
1340     GNUNET_free (iter);
1341     return GNUNET_SYSERR;
1342   }
1343   while (NULL != (finfo = READDIR (iter->directory)))
1344   {
1345     if ((0 == strcmp (finfo->d_name, ".")) ||
1346         (0 == strcmp (finfo->d_name, "..")))
1347       continue;
1348     GNUNET_asprintf (&iter->next_name, "%s%s%s", iter->dirname,
1349                      DIR_SEPARATOR_STR, finfo->d_name);
1350     break;
1351   }
1352   if (finfo == NULL)
1353   {
1354     GNUNET_DISK_directory_iterator_next (iter, GNUNET_YES);
1355     return GNUNET_NO;
1356   }
1357   GNUNET_SCHEDULER_add_with_priority (iter->priority, &directory_iterator_task,
1358                                       iter);
1359   return GNUNET_YES;
1360 }
1361
1362
1363 /**
1364  * Scan a directory for files using the scheduler to run a task for
1365  * each entry.  The name of the directory must be expanded first (!).
1366  * If a scheduler does not need to be used, GNUNET_DISK_directory_scan
1367  * may provide a simpler API.
1368  *
1369  * @param prio priority to use
1370  * @param dirName the name of the directory
1371  * @param callback the method to call for each file
1372  * @param callback_cls closure for callback
1373  * @return GNUNET_YES if directory is not empty and 'callback'
1374  *         will be called later, GNUNET_NO otherwise, GNUNET_SYSERR on error.
1375  */
1376 int
1377 GNUNET_DISK_directory_iterator_start (enum GNUNET_SCHEDULER_Priority prio,
1378                                       const char *dirName,
1379                                       GNUNET_DISK_DirectoryIteratorCallback
1380                                       callback, void *callback_cls)
1381 {
1382   struct GNUNET_DISK_DirectoryIterator *di;
1383
1384   di = GNUNET_malloc (sizeof (struct GNUNET_DISK_DirectoryIterator));
1385   di->callback = callback;
1386   di->callback_cls = callback_cls;
1387   di->directory = OPENDIR (dirName);
1388   if (di->directory == NULL)
1389   {
1390     GNUNET_free (di);
1391     callback (callback_cls, NULL, NULL, NULL);
1392     return GNUNET_SYSERR;
1393   }
1394   di->dirname = GNUNET_strdup (dirName);
1395   di->priority = prio;
1396   return GNUNET_DISK_directory_iterator_next (di, GNUNET_NO);
1397 }
1398
1399
1400 /**
1401  * Function that removes the given directory by calling
1402  * "GNUNET_DISK_directory_remove".
1403  *
1404  * @param unused not used
1405  * @param fn directory to remove
1406  * @return GNUNET_OK
1407  */
1408 static int
1409 remove_helper (void *unused, const char *fn)
1410 {
1411   (void) GNUNET_DISK_directory_remove (fn);
1412   return GNUNET_OK;
1413 }
1414
1415
1416 /**
1417  * Remove all files in a directory (rm -rf). Call with
1418  * caution.
1419  *
1420  *
1421  * @param filename the file to remove
1422  * @return GNUNET_OK on success, GNUNET_SYSERR on error
1423  */
1424 int
1425 GNUNET_DISK_directory_remove (const char *filename)
1426 {
1427   struct stat istat;
1428
1429   if (0 != LSTAT (filename, &istat))
1430     return GNUNET_NO;           /* file may not exist... */
1431   (void) CHMOD (filename, S_IWUSR | S_IRUSR | S_IXUSR);
1432   if (UNLINK (filename) == 0)
1433     return GNUNET_OK;
1434   if ((errno != EISDIR) &&
1435       /* EISDIR is not sufficient in all cases, e.g.
1436        * sticky /tmp directory may result in EPERM on BSD.
1437        * So we also explicitly check "isDirectory" */
1438       (GNUNET_YES != GNUNET_DISK_directory_test (filename, GNUNET_YES)))
1439   {
1440     LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "rmdir", filename);
1441     return GNUNET_SYSERR;
1442   }
1443   if (GNUNET_SYSERR ==
1444       GNUNET_DISK_directory_scan (filename, &remove_helper, NULL))
1445     return GNUNET_SYSERR;
1446   if (0 != RMDIR (filename))
1447   {
1448     LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "rmdir", filename);
1449     return GNUNET_SYSERR;
1450   }
1451   return GNUNET_OK;
1452 }
1453
1454
1455 /**
1456  * Copy a file.
1457  *
1458  * @param src file to copy
1459  * @param dst destination file name
1460  * @return GNUNET_OK on success, GNUNET_SYSERR on error
1461  */
1462 int
1463 GNUNET_DISK_file_copy (const char *src, const char *dst)
1464 {
1465   char *buf;
1466   uint64_t pos;
1467   uint64_t size;
1468   size_t len;
1469   struct GNUNET_DISK_FileHandle *in;
1470   struct GNUNET_DISK_FileHandle *out;
1471
1472   if (GNUNET_OK != GNUNET_DISK_file_size (src, &size, GNUNET_YES, GNUNET_YES))
1473     return GNUNET_SYSERR;
1474   pos = 0;
1475   in = GNUNET_DISK_file_open (src, GNUNET_DISK_OPEN_READ,
1476                               GNUNET_DISK_PERM_NONE);
1477   if (!in)
1478     return GNUNET_SYSERR;
1479   out =
1480       GNUNET_DISK_file_open (dst,
1481                              GNUNET_DISK_OPEN_WRITE | GNUNET_DISK_OPEN_CREATE |
1482                              GNUNET_DISK_OPEN_FAILIFEXISTS,
1483                              GNUNET_DISK_PERM_USER_READ |
1484                              GNUNET_DISK_PERM_USER_WRITE |
1485                              GNUNET_DISK_PERM_GROUP_READ |
1486                              GNUNET_DISK_PERM_GROUP_WRITE);
1487   if (!out)
1488   {
1489     GNUNET_DISK_file_close (in);
1490     return GNUNET_SYSERR;
1491   }
1492   buf = GNUNET_malloc (COPY_BLK_SIZE);
1493   while (pos < size)
1494   {
1495     len = COPY_BLK_SIZE;
1496     if (len > size - pos)
1497       len = size - pos;
1498     if (len != GNUNET_DISK_file_read (in, buf, len))
1499       goto FAIL;
1500     if (len != GNUNET_DISK_file_write (out, buf, len))
1501       goto FAIL;
1502     pos += len;
1503   }
1504   GNUNET_free (buf);
1505   GNUNET_DISK_file_close (in);
1506   GNUNET_DISK_file_close (out);
1507   return GNUNET_OK;
1508 FAIL:
1509   GNUNET_free (buf);
1510   GNUNET_DISK_file_close (in);
1511   GNUNET_DISK_file_close (out);
1512   return GNUNET_SYSERR;
1513 }
1514
1515
1516 /**
1517  * @brief Removes special characters as ':' from a filename.
1518  * @param fn the filename to canonicalize
1519  */
1520 void
1521 GNUNET_DISK_filename_canonicalize (char *fn)
1522 {
1523   char *idx;
1524   char c;
1525
1526   idx = fn;
1527   while (*idx)
1528   {
1529     c = *idx;
1530
1531     if (c == '/' || c == '\\' || c == ':' || c == '*' || c == '?' || c == '"' ||
1532         c == '<' || c == '>' || c == '|')
1533     {
1534       *idx = '_';
1535     }
1536
1537     idx++;
1538   }
1539 }
1540
1541
1542
1543 /**
1544  * @brief Change owner of a file
1545  *
1546  * @param filename name of file to change the owner of
1547  * @param user name of the new owner
1548  * @return GNUNET_OK on success, GNUNET_SYSERR on failure
1549  */
1550 int
1551 GNUNET_DISK_file_change_owner (const char *filename, const char *user)
1552 {
1553 #ifndef MINGW
1554   struct passwd *pws;
1555
1556   pws = getpwnam (user);
1557   if (pws == NULL)
1558   {
1559     LOG (GNUNET_ERROR_TYPE_ERROR,
1560          _("Cannot obtain information about user `%s': %s\n"), user,
1561          STRERROR (errno));
1562     return GNUNET_SYSERR;
1563   }
1564   if (0 != chown (filename, pws->pw_uid, pws->pw_gid))
1565     LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "chown", filename);
1566 #endif
1567   return GNUNET_OK;
1568 }
1569
1570
1571 /**
1572  * Lock a part of a file
1573  * @param fh file handle
1574  * @param lockStart absolute position from where to lock
1575  * @param lockEnd absolute position until where to lock
1576  * @param excl GNUNET_YES for an exclusive lock
1577  * @return GNUNET_OK on success, GNUNET_SYSERR on error
1578  */
1579 int
1580 GNUNET_DISK_file_lock (struct GNUNET_DISK_FileHandle *fh, OFF_T lockStart,
1581                        OFF_T lockEnd, int excl)
1582 {
1583   if (fh == NULL)
1584   {
1585     errno = EINVAL;
1586     return GNUNET_SYSERR;
1587   }
1588
1589 #ifndef MINGW
1590   struct flock fl;
1591
1592   memset (&fl, 0, sizeof (struct flock));
1593   fl.l_type = excl ? F_WRLCK : F_RDLCK;
1594   fl.l_whence = SEEK_SET;
1595   fl.l_start = lockStart;
1596   fl.l_len = lockEnd;
1597
1598   return fcntl (fh->fd, F_SETLK, &fl) != 0 ? GNUNET_SYSERR : GNUNET_OK;
1599 #else
1600   OVERLAPPED o;
1601   OFF_T diff = lockEnd - lockStart;
1602   DWORD diff_low, diff_high;
1603   diff_low = (DWORD) (diff & 0xFFFFFFFF);
1604   diff_high = (DWORD) ((diff >> (sizeof (DWORD) * 8)) & 0xFFFFFFFF);
1605
1606   memset (&o, 0, sizeof (OVERLAPPED));
1607   o.Offset = (DWORD) (lockStart & 0xFFFFFFFF);;
1608   o.OffsetHigh = (DWORD) (((lockStart & ~0xFFFFFFFF) >> (sizeof (DWORD) * 8)) & 0xFFFFFFFF);
1609
1610   if (!LockFileEx
1611       (fh->h, (excl ? LOCKFILE_EXCLUSIVE_LOCK : 0) | LOCKFILE_FAIL_IMMEDIATELY,
1612        0, diff_low, diff_high, &o))
1613   {
1614     SetErrnoFromWinError (GetLastError ());
1615     return GNUNET_SYSERR;
1616   }
1617
1618   return GNUNET_OK;
1619 #endif
1620 }
1621
1622
1623 /**
1624  * Unlock a part of a file
1625  * @param fh file handle
1626  * @param unlockStart absolute position from where to unlock
1627  * @param unlockEnd absolute position until where to unlock
1628  * @return GNUNET_OK on success, GNUNET_SYSERR on error
1629  */
1630 int
1631 GNUNET_DISK_file_unlock (struct GNUNET_DISK_FileHandle *fh, OFF_T unlockStart,
1632                          OFF_T unlockEnd)
1633 {
1634   if (fh == NULL)
1635   {
1636     errno = EINVAL;
1637     return GNUNET_SYSERR;
1638   }
1639
1640 #ifndef MINGW
1641   struct flock fl;
1642
1643   memset (&fl, 0, sizeof (struct flock));
1644   fl.l_type = F_UNLCK;
1645   fl.l_whence = SEEK_SET;
1646   fl.l_start = unlockStart;
1647   fl.l_len = unlockEnd;
1648
1649   return fcntl (fh->fd, F_SETLK, &fl) != 0 ? GNUNET_SYSERR : GNUNET_OK;
1650 #else
1651   OVERLAPPED o;
1652   OFF_T diff = unlockEnd - unlockStart;
1653   DWORD diff_low, diff_high;
1654   diff_low = (DWORD) (diff & 0xFFFFFFFF);
1655   diff_high = (DWORD) ((diff >> (sizeof (DWORD) * 8)) & 0xFFFFFFFF);
1656
1657   memset (&o, 0, sizeof (OVERLAPPED));
1658   o.Offset = (DWORD) (unlockStart & 0xFFFFFFFF);;
1659   o.OffsetHigh = (DWORD) (((unlockStart & ~0xFFFFFFFF) >> (sizeof (DWORD) * 8)) & 0xFFFFFFFF);
1660
1661   if (!UnlockFileEx (fh->h, 0, diff_low, diff_high, &o))
1662   {
1663     SetErrnoFromWinError (GetLastError ());
1664     return GNUNET_SYSERR;
1665   }
1666
1667   return GNUNET_OK;
1668 #endif
1669 }
1670
1671
1672 /**
1673  * Open a file.  Note that the access permissions will only be
1674  * used if a new file is created and if the underlying operating
1675  * system supports the given permissions.
1676  *
1677  * @param fn file name to be opened
1678  * @param flags opening flags, a combination of GNUNET_DISK_OPEN_xxx bit flags
1679  * @param perm permissions for the newly created file, use
1680  *             GNUNET_DISK_PERM_USER_NONE if a file could not be created by this
1681  *             call (because of flags)
1682  * @return IO handle on success, NULL on error
1683  */
1684 struct GNUNET_DISK_FileHandle *
1685 GNUNET_DISK_file_open (const char *fn, enum GNUNET_DISK_OpenFlags flags,
1686                        enum GNUNET_DISK_AccessPermissions perm)
1687 {
1688   char *expfn;
1689   struct GNUNET_DISK_FileHandle *ret;
1690
1691 #ifdef MINGW
1692   DWORD access;
1693   DWORD disp;
1694   HANDLE h;
1695   wchar_t wexpfn[MAX_PATH + 1];
1696 #else
1697   int oflags;
1698   int mode;
1699   int fd;
1700 #endif
1701
1702   expfn = GNUNET_STRINGS_filename_expand (fn);
1703   if (NULL == expfn)
1704     return NULL;
1705 #ifndef MINGW
1706   mode = 0;
1707   if (GNUNET_DISK_OPEN_READWRITE == (flags & GNUNET_DISK_OPEN_READWRITE))
1708     oflags = O_RDWR;            /* note: O_RDWR is NOT always O_RDONLY | O_WRONLY */
1709   else if (flags & GNUNET_DISK_OPEN_READ)
1710     oflags = O_RDONLY;
1711   else if (flags & GNUNET_DISK_OPEN_WRITE)
1712     oflags = O_WRONLY;
1713   else
1714   {
1715     GNUNET_break (0);
1716     GNUNET_free (expfn);
1717     return NULL;
1718   }
1719   if (flags & GNUNET_DISK_OPEN_FAILIFEXISTS)
1720     oflags |= (O_CREAT | O_EXCL);
1721   if (flags & GNUNET_DISK_OPEN_TRUNCATE)
1722     oflags |= O_TRUNC;
1723   if (flags & GNUNET_DISK_OPEN_APPEND)
1724     oflags |= O_APPEND;
1725   if (flags & GNUNET_DISK_OPEN_CREATE)
1726   {
1727     (void) GNUNET_DISK_directory_create_for_file (expfn);
1728     oflags |= O_CREAT;
1729     mode = translate_unix_perms (perm);
1730   }
1731
1732   fd = open (expfn, oflags | O_LARGEFILE, mode);
1733   if (fd == -1)
1734   {
1735     if (0 == (flags & GNUNET_DISK_OPEN_FAILIFEXISTS))
1736       LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "open", expfn);
1737     else
1738       LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_DEBUG, "open", expfn);
1739     GNUNET_free (expfn);
1740     return NULL;
1741   }
1742 #else
1743   access = 0;
1744   disp = OPEN_ALWAYS;
1745
1746   if (GNUNET_DISK_OPEN_READWRITE == (flags & GNUNET_DISK_OPEN_READWRITE))
1747     access = FILE_READ_DATA | FILE_WRITE_DATA;
1748   else if (flags & GNUNET_DISK_OPEN_READ)
1749     access = FILE_READ_DATA;
1750   else if (flags & GNUNET_DISK_OPEN_WRITE)
1751     access = FILE_WRITE_DATA;
1752
1753   if (flags & GNUNET_DISK_OPEN_FAILIFEXISTS)
1754   {
1755     disp = CREATE_NEW;
1756   }
1757   else if (flags & GNUNET_DISK_OPEN_CREATE)
1758   {
1759     (void) GNUNET_DISK_directory_create_for_file (expfn);
1760     if (flags & GNUNET_DISK_OPEN_TRUNCATE)
1761       disp = CREATE_ALWAYS;
1762     else
1763       disp = OPEN_ALWAYS;
1764   }
1765   else if (flags & GNUNET_DISK_OPEN_TRUNCATE)
1766   {
1767     disp = TRUNCATE_EXISTING;
1768   }
1769   else
1770   {
1771     disp = OPEN_EXISTING;
1772   }
1773
1774   if (ERROR_SUCCESS == plibc_conv_to_win_pathwconv(expfn, wexpfn))
1775     h = CreateFileW (wexpfn, access,
1776                     FILE_SHARE_DELETE | FILE_SHARE_READ | FILE_SHARE_WRITE, NULL,
1777                     disp, FILE_ATTRIBUTE_NORMAL, NULL);
1778   else
1779     h = INVALID_HANDLE_VALUE;
1780   if (h == INVALID_HANDLE_VALUE)
1781   {
1782     int err;
1783     SetErrnoFromWinError (GetLastError ());
1784     err = errno;
1785     LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_INFO, "open", expfn);
1786     GNUNET_free (expfn);
1787     errno = err;
1788     return NULL;
1789   }
1790
1791   if (flags & GNUNET_DISK_OPEN_APPEND)
1792     if (SetFilePointer (h, 0, 0, FILE_END) == INVALID_SET_FILE_POINTER)
1793     {
1794       SetErrnoFromWinError (GetLastError ());
1795       LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "SetFilePointer", expfn);
1796       CloseHandle (h);
1797       GNUNET_free (expfn);
1798       return NULL;
1799     }
1800 #endif
1801
1802   ret = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
1803 #ifdef MINGW
1804   ret->h = h;
1805   ret->type = GNUNET_DISK_HANLDE_TYPE_FILE;
1806 #else
1807   ret->fd = fd;
1808 #endif
1809   GNUNET_free (expfn);
1810   return ret;
1811 }
1812
1813
1814 /**
1815  * Close an open file
1816  * @param h file handle
1817  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
1818  */
1819 int
1820 GNUNET_DISK_file_close (struct GNUNET_DISK_FileHandle *h)
1821 {
1822   if (h == NULL)
1823   {
1824     errno = EINVAL;
1825     return GNUNET_SYSERR;
1826   }
1827
1828 #if MINGW
1829   if (!CloseHandle (h->h))
1830   {
1831     SetErrnoFromWinError (GetLastError ());
1832     LOG_STRERROR (GNUNET_ERROR_TYPE_WARNING, "close");
1833     GNUNET_free (h->oOverlapRead);
1834     GNUNET_free (h->oOverlapWrite);
1835     GNUNET_free (h);
1836     return GNUNET_SYSERR;
1837   }
1838 #else
1839   if (close (h->fd) != 0)
1840   {
1841     LOG_STRERROR (GNUNET_ERROR_TYPE_WARNING, "close");
1842     GNUNET_free (h);
1843     return GNUNET_SYSERR;
1844   }
1845 #endif
1846   GNUNET_free (h);
1847   return GNUNET_OK;
1848 }
1849
1850
1851 /**
1852  * Get a handle from a native FD.
1853  *
1854  * @param fd native file descriptor
1855  * @return file handle corresponding to the descriptor
1856  */
1857 struct GNUNET_DISK_FileHandle *
1858 GNUNET_DISK_get_handle_from_native (FILE *fd)
1859 {
1860   struct GNUNET_DISK_FileHandle *fh;
1861   int fno;
1862 #if MINGW
1863   intptr_t osfh;
1864 #endif
1865
1866   fno = fileno (fd);
1867   if (-1 == fno)
1868     return NULL;
1869
1870 #if MINGW
1871   osfh = _get_osfhandle (fno);
1872   if (INVALID_HANDLE_VALUE == (HANDLE) osfh)
1873     return NULL;
1874 #endif
1875
1876   fh = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
1877
1878 #if MINGW
1879   fh->h = (HANDLE) osfh;
1880   /* Assume it to be a pipe. TODO: use some kind of detection
1881    * function to figure out handle type.
1882    * Note that we can't make it overlapped if it isn't already.
1883    * (ReOpenFile() is only available in 2003/Vista).
1884    * The process that opened this file in the first place (usually a parent
1885    * process, if this is stdin/stdout/stderr) must make it overlapped,
1886    * otherwise we're screwed, as selecting on non-overlapped handle
1887    * will block.
1888    */
1889   fh->type = GNUNET_DISK_HANLDE_TYPE_PIPE;
1890   fh->oOverlapRead = GNUNET_malloc (sizeof (OVERLAPPED));
1891   fh->oOverlapWrite = GNUNET_malloc (sizeof (OVERLAPPED));
1892   fh->oOverlapRead->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
1893   fh->oOverlapWrite->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
1894 #else
1895   fh->fd = fno;
1896 #endif
1897
1898   return fh;
1899 }
1900
1901
1902 /**
1903  * Construct full path to a file inside of the private
1904  * directory used by GNUnet.  Also creates the corresponding
1905  * directory.  If the resulting name is supposed to be
1906  * a directory, end the last argument in '/' (or pass
1907  * DIR_SEPARATOR_STR as the last argument before NULL).
1908  *
1909  * @param cfg configuration to use (determines HOME)
1910  * @param serviceName name of the service
1911  * @param ... is NULL-terminated list of
1912  *                path components to append to the
1913  *                private directory name.
1914  * @return the constructed filename
1915  */
1916 char *
1917 GNUNET_DISK_get_home_filename (const struct GNUNET_CONFIGURATION_Handle *cfg,
1918                                const char *serviceName, ...)
1919 {
1920   const char *c;
1921   char *pfx;
1922   char *ret;
1923   va_list ap;
1924   unsigned int needed;
1925
1926   if (GNUNET_OK !=
1927       GNUNET_CONFIGURATION_get_value_filename (cfg, serviceName, "HOME", &pfx))
1928     return NULL;
1929   if (pfx == NULL)
1930   {
1931     LOG (GNUNET_ERROR_TYPE_WARNING,
1932          _("No `%s' specified for service `%s' in configuration.\n"), "HOME",
1933          serviceName);
1934     return NULL;
1935   }
1936   needed = strlen (pfx) + 2;
1937   if ((pfx[strlen (pfx) - 1] != '/') && (pfx[strlen (pfx) - 1] != '\\'))
1938     needed++;
1939   va_start (ap, serviceName);
1940   while (1)
1941   {
1942     c = va_arg (ap, const char *);
1943
1944     if (c == NULL)
1945       break;
1946     needed += strlen (c);
1947     if ((c[strlen (c) - 1] != '/') && (c[strlen (c) - 1] != '\\'))
1948       needed++;
1949   }
1950   va_end (ap);
1951   ret = GNUNET_malloc (needed);
1952   strcpy (ret, pfx);
1953   GNUNET_free (pfx);
1954   va_start (ap, serviceName);
1955   while (1)
1956   {
1957     c = va_arg (ap, const char *);
1958
1959     if (c == NULL)
1960       break;
1961     if ((c[strlen (c) - 1] != '/') && (c[strlen (c) - 1] != '\\'))
1962       strcat (ret, DIR_SEPARATOR_STR);
1963     strcat (ret, c);
1964   }
1965   va_end (ap);
1966   if ((ret[strlen (ret) - 1] != '/') && (ret[strlen (ret) - 1] != '\\'))
1967     (void) GNUNET_DISK_directory_create_for_file (ret);
1968   else
1969     (void) GNUNET_DISK_directory_create (ret);
1970   return ret;
1971 }
1972
1973
1974 /**
1975  * Handle for a memory-mapping operation.
1976  */
1977 struct GNUNET_DISK_MapHandle
1978 {
1979   /**
1980    * Address where the map is in memory.
1981    */
1982   void *addr;
1983
1984 #ifdef MINGW
1985   /**
1986    * Underlying OS handle.
1987    */
1988   HANDLE h;
1989 #else
1990   /**
1991    * Number of bytes mapped.
1992    */
1993   size_t len;
1994 #endif
1995 };
1996
1997
1998 #ifndef MAP_FAILED
1999 #define MAP_FAILED ((void *) -1)
2000 #endif
2001
2002 /**
2003  * Map a file into memory
2004  *
2005  * @param h open file handle
2006  * @param m handle to the new mapping
2007  * @param access access specification, GNUNET_DISK_MAP_TYPE_xxx
2008  * @param len size of the mapping
2009  * @return pointer to the mapped memory region, NULL on failure
2010  */
2011 void *
2012 GNUNET_DISK_file_map (const struct GNUNET_DISK_FileHandle *h,
2013                       struct GNUNET_DISK_MapHandle **m,
2014                       enum GNUNET_DISK_MapType access, size_t len)
2015 {
2016   if (h == NULL)
2017   {
2018     errno = EINVAL;
2019     return NULL;
2020   }
2021
2022 #ifdef MINGW
2023   DWORD mapAccess, protect;
2024
2025   if ((access & GNUNET_DISK_MAP_TYPE_READ) &&
2026       (access & GNUNET_DISK_MAP_TYPE_WRITE))
2027   {
2028     protect = PAGE_READWRITE;
2029     mapAccess = FILE_MAP_ALL_ACCESS;
2030   }
2031   else if (access & GNUNET_DISK_MAP_TYPE_READ)
2032   {
2033     protect = PAGE_READONLY;
2034     mapAccess = FILE_MAP_READ;
2035   }
2036   else if (access & GNUNET_DISK_MAP_TYPE_WRITE)
2037   {
2038     protect = PAGE_READWRITE;
2039     mapAccess = FILE_MAP_WRITE;
2040   }
2041   else
2042   {
2043     GNUNET_break (0);
2044     return NULL;
2045   }
2046
2047   *m = GNUNET_malloc (sizeof (struct GNUNET_DISK_MapHandle));
2048   (*m)->h = CreateFileMapping (h->h, NULL, protect, 0, 0, NULL);
2049   if ((*m)->h == INVALID_HANDLE_VALUE)
2050   {
2051     SetErrnoFromWinError (GetLastError ());
2052     GNUNET_free (*m);
2053     return NULL;
2054   }
2055
2056   (*m)->addr = MapViewOfFile ((*m)->h, mapAccess, 0, 0, len);
2057   if (!(*m)->addr)
2058   {
2059     SetErrnoFromWinError (GetLastError ());
2060     CloseHandle ((*m)->h);
2061     GNUNET_free (*m);
2062   }
2063
2064   return (*m)->addr;
2065 #else
2066   int prot;
2067
2068   prot = 0;
2069   if (access & GNUNET_DISK_MAP_TYPE_READ)
2070     prot = PROT_READ;
2071   if (access & GNUNET_DISK_MAP_TYPE_WRITE)
2072     prot |= PROT_WRITE;
2073   *m = GNUNET_malloc (sizeof (struct GNUNET_DISK_MapHandle));
2074   (*m)->addr = mmap (NULL, len, prot, MAP_SHARED, h->fd, 0);
2075   GNUNET_assert (NULL != (*m)->addr);
2076   if (MAP_FAILED == (*m)->addr)
2077   {
2078     GNUNET_free (*m);
2079     return NULL;
2080   }
2081   (*m)->len = len;
2082   return (*m)->addr;
2083 #endif
2084 }
2085
2086 /**
2087  * Unmap a file
2088  * @param h mapping handle
2089  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
2090  */
2091 int
2092 GNUNET_DISK_file_unmap (struct GNUNET_DISK_MapHandle *h)
2093 {
2094   int ret;
2095
2096   if (h == NULL)
2097   {
2098     errno = EINVAL;
2099     return GNUNET_SYSERR;
2100   }
2101
2102 #ifdef MINGW
2103   ret = UnmapViewOfFile (h->addr) ? GNUNET_OK : GNUNET_SYSERR;
2104   if (ret != GNUNET_OK)
2105     SetErrnoFromWinError (GetLastError ());
2106   if (!CloseHandle (h->h) && (ret == GNUNET_OK))
2107   {
2108     ret = GNUNET_SYSERR;
2109     SetErrnoFromWinError (GetLastError ());
2110   }
2111 #else
2112   ret = munmap (h->addr, h->len) != -1 ? GNUNET_OK : GNUNET_SYSERR;
2113 #endif
2114   GNUNET_free (h);
2115   return ret;
2116 }
2117
2118
2119 /**
2120  * Write file changes to disk
2121  * @param h handle to an open file
2122  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
2123  */
2124 int
2125 GNUNET_DISK_file_sync (const struct GNUNET_DISK_FileHandle *h)
2126 {
2127   if (h == NULL)
2128   {
2129     errno = EINVAL;
2130     return GNUNET_SYSERR;
2131   }
2132
2133 #ifdef MINGW
2134   int ret;
2135
2136   ret = FlushFileBuffers (h->h) ? GNUNET_OK : GNUNET_SYSERR;
2137   if (ret != GNUNET_OK)
2138     SetErrnoFromWinError (GetLastError ());
2139   return ret;
2140 #elif defined(FREEBSD) || defined(OPENBSD) || defined(DARWIN)
2141   return fsync (h->fd) == -1 ? GNUNET_SYSERR : GNUNET_OK;
2142 #else
2143   return fdatasync (h->fd) == -1 ? GNUNET_SYSERR : GNUNET_OK;
2144 #endif
2145 }
2146
2147
2148 #if WINDOWS
2149 /* Copyright Bob Byrnes  <byrnes <at> curl.com>
2150    http://permalink.gmane.org/gmane.os.cygwin.patches/2121
2151 */
2152 /* Create a pipe, and return handles to the read and write ends,
2153    just like CreatePipe, but ensure that the write end permits
2154    FILE_READ_ATTRIBUTES access, on later versions of win32 where
2155    this is supported.  This access is needed by NtQueryInformationFile,
2156    which is used to implement select and nonblocking writes.
2157    Note that the return value is either NO_ERROR or GetLastError,
2158    unlike CreatePipe, which returns a bool for success or failure.  */
2159 static int
2160 create_selectable_pipe (PHANDLE read_pipe_ptr, PHANDLE write_pipe_ptr,
2161                         LPSECURITY_ATTRIBUTES sa_ptr, DWORD psize,
2162                         DWORD dwReadMode, DWORD dwWriteMode)
2163 {
2164   /* Default to error. */
2165   *read_pipe_ptr = *write_pipe_ptr = INVALID_HANDLE_VALUE;
2166
2167   HANDLE read_pipe;
2168   HANDLE write_pipe;
2169
2170   /* Ensure that there is enough pipe buffer space for atomic writes.  */
2171   if (psize < PIPE_BUF)
2172     psize = PIPE_BUF;
2173
2174   char pipename[MAX_PATH];
2175
2176   /* Retry CreateNamedPipe as long as the pipe name is in use.
2177    * Retrying will probably never be necessary, but we want
2178    * to be as robust as possible.  */
2179   while (1)
2180   {
2181     static volatile LONG pipe_unique_id;
2182
2183     snprintf (pipename, sizeof pipename, "\\\\.\\pipe\\gnunet-%d-%ld",
2184               getpid (), InterlockedIncrement ((LONG *) & pipe_unique_id));
2185     LOG (GNUNET_ERROR_TYPE_DEBUG, "CreateNamedPipe: name = %s, size = %lu\n",
2186          pipename, psize);
2187     /* Use CreateNamedPipe instead of CreatePipe, because the latter
2188      * returns a write handle that does not permit FILE_READ_ATTRIBUTES
2189      * access, on versions of win32 earlier than WinXP SP2.
2190      * CreatePipe also stupidly creates a full duplex pipe, which is
2191      * a waste, since only a single direction is actually used.
2192      * It's important to only allow a single instance, to ensure that
2193      * the pipe was not created earlier by some other process, even if
2194      * the pid has been reused.  We avoid FILE_FLAG_FIRST_PIPE_INSTANCE
2195      * because that is only available for Win2k SP2 and WinXP.  */
2196     read_pipe = CreateNamedPipeA (pipename, PIPE_ACCESS_INBOUND | dwReadMode, PIPE_TYPE_BYTE | PIPE_READMODE_BYTE, 1,   /* max instances */
2197                                   psize,        /* output buffer size */
2198                                   psize,        /* input buffer size */
2199                                   NMPWAIT_USE_DEFAULT_WAIT, sa_ptr);
2200
2201     if (read_pipe != INVALID_HANDLE_VALUE)
2202     {
2203       LOG (GNUNET_ERROR_TYPE_DEBUG, "pipe read handle = %p\n", read_pipe);
2204       break;
2205     }
2206
2207     DWORD err = GetLastError ();
2208
2209     switch (err)
2210     {
2211     case ERROR_PIPE_BUSY:
2212       /* The pipe is already open with compatible parameters.
2213        * Pick a new name and retry.  */
2214       LOG (GNUNET_ERROR_TYPE_DEBUG, "pipe busy, retrying\n");
2215       continue;
2216     case ERROR_ACCESS_DENIED:
2217       /* The pipe is already open with incompatible parameters.
2218        * Pick a new name and retry.  */
2219       LOG (GNUNET_ERROR_TYPE_DEBUG, "pipe access denied, retrying\n");
2220       continue;
2221     case ERROR_CALL_NOT_IMPLEMENTED:
2222       /* We are on an older Win9x platform without named pipes.
2223        * Return an anonymous pipe as the best approximation.  */
2224       LOG (GNUNET_ERROR_TYPE_DEBUG,
2225            "CreateNamedPipe not implemented, resorting to "
2226            "CreatePipe: size = %lu\n", psize);
2227       if (CreatePipe (read_pipe_ptr, write_pipe_ptr, sa_ptr, psize))
2228       {
2229         LOG (GNUNET_ERROR_TYPE_DEBUG, "pipe read handle = %p, write handle = %p\n",
2230              *read_pipe_ptr,
2231              *write_pipe_ptr);
2232         return GNUNET_OK;
2233       }
2234       err = GetLastError ();
2235       LOG (GNUNET_ERROR_TYPE_ERROR, "CreatePipe failed: %d\n", err);
2236       return err;
2237     default:
2238       LOG (GNUNET_ERROR_TYPE_ERROR, "CreateNamedPipe failed: %d\n", err);
2239       return err;
2240     }
2241     /* NOTREACHED */
2242   }
2243   LOG (GNUNET_ERROR_TYPE_DEBUG, "CreateFile: name = %s\n", pipename);
2244
2245   /* Open the named pipe for writing.
2246    * Be sure to permit FILE_READ_ATTRIBUTES access.  */
2247   write_pipe = CreateFileA (pipename, GENERIC_WRITE | FILE_READ_ATTRIBUTES, 0,  /* share mode */
2248                             sa_ptr, OPEN_EXISTING, dwWriteMode, /* flags and attributes */
2249                             0); /* handle to template file */
2250
2251   if (write_pipe == INVALID_HANDLE_VALUE)
2252   {
2253     /* Failure. */
2254     DWORD err = GetLastError ();
2255
2256     LOG (GNUNET_ERROR_TYPE_DEBUG, "CreateFile failed: %d\n", err);
2257     CloseHandle (read_pipe);
2258     return err;
2259   }
2260   LOG (GNUNET_ERROR_TYPE_DEBUG, "pipe write handle = %p\n", write_pipe);
2261   /* Success. */
2262   *read_pipe_ptr = read_pipe;
2263   *write_pipe_ptr = write_pipe;
2264   return GNUNET_OK;
2265 }
2266 #endif
2267
2268
2269 /**
2270  * Creates an interprocess channel
2271  *
2272  * @param blocking_read creates an asynchronous pipe for reading if set to GNUNET_NO
2273  * @param blocking_write creates an asynchronous pipe for writing if set to GNUNET_NO
2274  * @param inherit_read inherit the parent processes stdin (only for windows)
2275  * @param inherit_write inherit the parent processes stdout (only for windows)
2276  * @return handle to the new pipe, NULL on error
2277  */
2278 struct GNUNET_DISK_PipeHandle *
2279 GNUNET_DISK_pipe (int blocking_read, int blocking_write, int inherit_read, int inherit_write)
2280 {
2281 #ifndef MINGW
2282   int fd[2];
2283   int ret;
2284   int eno;
2285
2286   ret = pipe (fd);
2287   if (ret == -1)
2288   {
2289     eno = errno;
2290     LOG_STRERROR (GNUNET_ERROR_TYPE_ERROR, "pipe");
2291     errno = eno;
2292     return NULL;
2293   }
2294   return GNUNET_DISK_pipe_from_fd (blocking_read,
2295                                    blocking_write,
2296                                    fd);
2297 #else
2298   struct GNUNET_DISK_PipeHandle *p;
2299   BOOL ret;
2300   HANDLE tmp_handle;
2301   int save_errno;
2302
2303   p = GNUNET_malloc (sizeof (struct GNUNET_DISK_PipeHandle));
2304   p->fd[0] = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
2305   p->fd[1] = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
2306
2307   /* All pipes are overlapped. If you want them to block - just
2308    * call WriteFile() and ReadFile() with NULL overlapped pointer.
2309    * NOTE: calling with NULL overlapped pointer works only
2310    * for pipes, and doesn't seem to be a documented feature.
2311    * It will NOT work for files, because overlapped files need
2312    * to read offsets from the overlapped structure, regardless.
2313    * Pipes are not seekable, and need no offsets, which is
2314    * probably why it works for them.
2315    */
2316   ret =
2317       create_selectable_pipe (&p->fd[0]->h, &p->fd[1]->h, NULL, 0,
2318                               FILE_FLAG_OVERLAPPED,
2319                               FILE_FLAG_OVERLAPPED);
2320   if (!ret)
2321   {
2322     SetErrnoFromWinError (GetLastError ());
2323     save_errno = errno;
2324     GNUNET_free (p->fd[0]);
2325     GNUNET_free (p->fd[1]);
2326     GNUNET_free (p);
2327     errno = save_errno;
2328     return NULL;
2329   }
2330   if (!DuplicateHandle
2331       (GetCurrentProcess (), p->fd[0]->h, GetCurrentProcess (), &tmp_handle, 0,
2332        inherit_read == GNUNET_YES ? TRUE : FALSE, DUPLICATE_SAME_ACCESS))
2333   {
2334     SetErrnoFromWinError (GetLastError ());
2335     save_errno = errno;
2336     CloseHandle (p->fd[0]->h);
2337     CloseHandle (p->fd[1]->h);
2338     GNUNET_free (p->fd[0]);
2339     GNUNET_free (p->fd[1]);
2340     GNUNET_free (p);
2341     errno = save_errno;
2342     return NULL;
2343   }
2344   CloseHandle (p->fd[0]->h);
2345   p->fd[0]->h = tmp_handle;
2346
2347   if (!DuplicateHandle
2348       (GetCurrentProcess (), p->fd[1]->h, GetCurrentProcess (), &tmp_handle, 0,
2349        inherit_write == GNUNET_YES ? TRUE : FALSE, DUPLICATE_SAME_ACCESS))
2350   {
2351     SetErrnoFromWinError (GetLastError ());
2352     save_errno = errno;
2353     CloseHandle (p->fd[0]->h);
2354     CloseHandle (p->fd[1]->h);
2355     GNUNET_free (p->fd[0]);
2356     GNUNET_free (p->fd[1]);
2357     GNUNET_free (p);
2358     errno = save_errno;
2359     return NULL;
2360   }
2361   CloseHandle (p->fd[1]->h);
2362   p->fd[1]->h = tmp_handle;
2363
2364   p->fd[0]->type = GNUNET_DISK_HANLDE_TYPE_PIPE;
2365   p->fd[1]->type = GNUNET_DISK_HANLDE_TYPE_PIPE;
2366
2367   p->fd[0]->oOverlapRead = GNUNET_malloc (sizeof (OVERLAPPED));
2368   p->fd[0]->oOverlapWrite = GNUNET_malloc (sizeof (OVERLAPPED));
2369   p->fd[1]->oOverlapRead = GNUNET_malloc (sizeof (OVERLAPPED));
2370   p->fd[1]->oOverlapWrite = GNUNET_malloc (sizeof (OVERLAPPED));
2371
2372   p->fd[0]->oOverlapRead->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
2373   p->fd[0]->oOverlapWrite->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
2374
2375   p->fd[1]->oOverlapRead->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
2376   p->fd[1]->oOverlapWrite->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
2377
2378   return p;
2379 #endif
2380 }
2381
2382
2383 /**
2384  * Creates a pipe object from a couple of file descriptors.
2385  * Useful for wrapping existing pipe FDs.
2386  *
2387  * @param blocking_read creates an asynchronous pipe for reading if set to GNUNET_NO
2388  * @param blocking_write creates an asynchronous pipe for writing if set to GNUNET_NO
2389  * @param fd an array of two fd values. One of them may be -1 for read-only or write-only pipes
2390  *
2391  * @return handle to the new pipe, NULL on error
2392  */
2393 struct GNUNET_DISK_PipeHandle *
2394 GNUNET_DISK_pipe_from_fd (int blocking_read, int blocking_write, int fd[2])
2395 {
2396   struct GNUNET_DISK_PipeHandle *p;
2397
2398   p = GNUNET_malloc (sizeof (struct GNUNET_DISK_PipeHandle));
2399
2400 #ifndef MINGW
2401   int ret;
2402   int flags;
2403   int eno = 0; /* make gcc happy */
2404
2405   ret = 0;
2406   if (fd[0] >= 0)
2407   {
2408     p->fd[0] = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
2409     p->fd[0]->fd = fd[0];
2410     if (!blocking_read)
2411     {
2412       flags = fcntl (fd[0], F_GETFL);
2413       flags |= O_NONBLOCK;
2414       if (0 > fcntl (fd[0], F_SETFL, flags))
2415       {
2416         ret = -1;
2417         eno = errno;
2418       }
2419     }
2420     flags = fcntl (fd[0], F_GETFD);
2421     flags |= FD_CLOEXEC;
2422     if (0 > fcntl (fd[0], F_SETFD, flags))
2423     {
2424       ret = -1;
2425       eno = errno;
2426     }
2427   }
2428
2429   if (fd[1] >= 0)
2430   {
2431     p->fd[1] = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
2432     p->fd[1]->fd = fd[1];
2433     if (!blocking_write)
2434     {
2435       flags = fcntl (fd[1], F_GETFL);
2436       flags |= O_NONBLOCK;
2437       if (0 > fcntl (fd[1], F_SETFL, flags))
2438       {
2439         ret = -1;
2440         eno = errno;
2441       }
2442     }
2443     flags = fcntl (fd[1], F_GETFD);
2444     flags |= FD_CLOEXEC;
2445     if (0 > fcntl (fd[1], F_SETFD, flags))
2446     {
2447       ret = -1;
2448       eno = errno;
2449     }
2450   }
2451   if (ret == -1)
2452   {
2453     errno = eno;
2454     LOG_STRERROR (GNUNET_ERROR_TYPE_ERROR, "fcntl");
2455     if (p->fd[0]->fd >= 0)
2456       GNUNET_break (0 == close (p->fd[0]->fd));
2457     if (p->fd[1]->fd >= 0)
2458       GNUNET_break (0 == close (p->fd[1]->fd));
2459     GNUNET_free_non_null (p->fd[0]);
2460     GNUNET_free_non_null (p->fd[1]);
2461     GNUNET_free (p);
2462     errno = eno;
2463     return NULL;
2464   }
2465 #else
2466   if (fd[0] >= 0)
2467   {
2468     p->fd[0] = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
2469     p->fd[0]->h = (HANDLE) _get_osfhandle (fd[0]);
2470     if (p->fd[0]->h != INVALID_HANDLE_VALUE)
2471     {
2472       p->fd[0]->type = GNUNET_DISK_HANLDE_TYPE_PIPE;
2473       p->fd[0]->oOverlapRead = GNUNET_malloc (sizeof (OVERLAPPED));
2474       p->fd[0]->oOverlapWrite = GNUNET_malloc (sizeof (OVERLAPPED));
2475       p->fd[0]->oOverlapRead->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
2476       p->fd[0]->oOverlapWrite->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
2477     }
2478     else
2479     {
2480       GNUNET_free (p->fd[0]);
2481       p->fd[0] = NULL;
2482     }
2483   }
2484   if (fd[1] >= 0)
2485   {
2486     p->fd[1] = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
2487     p->fd[1]->h = (HANDLE) _get_osfhandle (fd[1]);
2488     if (p->fd[1]->h != INVALID_HANDLE_VALUE)
2489     {
2490       p->fd[1]->type = GNUNET_DISK_HANLDE_TYPE_PIPE;
2491       p->fd[1]->oOverlapRead = GNUNET_malloc (sizeof (OVERLAPPED));
2492       p->fd[1]->oOverlapWrite = GNUNET_malloc (sizeof (OVERLAPPED));
2493       p->fd[1]->oOverlapRead->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
2494       p->fd[1]->oOverlapWrite->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
2495     }
2496     else
2497     {
2498       GNUNET_free (p->fd[1]);
2499       p->fd[1] = NULL;
2500     }
2501   }
2502
2503 #endif
2504   return p;
2505 }
2506
2507
2508 /**
2509  * Closes an interprocess channel
2510  *
2511  * @param p pipe to close
2512  * @param end which end of the pipe to close
2513  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
2514  */
2515 int
2516 GNUNET_DISK_pipe_close_end (struct GNUNET_DISK_PipeHandle *p,
2517                             enum GNUNET_DISK_PipeEnd end)
2518 {
2519   int ret = GNUNET_OK;
2520
2521   if (end == GNUNET_DISK_PIPE_END_READ)
2522   {
2523     if (p->fd[0])
2524     {
2525       ret = GNUNET_DISK_file_close (p->fd[0]);
2526       p->fd[0] = NULL;
2527     }
2528   }
2529   else if (end == GNUNET_DISK_PIPE_END_WRITE)
2530   {
2531     if (p->fd[1])
2532     {
2533       ret = GNUNET_DISK_file_close (p->fd[1]);
2534       p->fd[1] = NULL;
2535     }
2536   }
2537
2538   return ret;
2539 }
2540
2541 /**
2542  * Detaches one of the ends from the pipe.
2543  * Detached end is a fully-functional FileHandle, it will
2544  * not be affected by anything you do with the pipe afterwards.
2545  * Each end of a pipe can only be detched from it once (i.e.
2546  * it is not duplicated).
2547  *
2548  * @param p pipe to detach an end from
2549  * @param end which end of the pipe to detach
2550  * @return Detached end on success, NULL on failure
2551  * (or if that end is not present or is closed).
2552  */
2553 struct GNUNET_DISK_FileHandle *
2554 GNUNET_DISK_pipe_detach_end (struct GNUNET_DISK_PipeHandle *p,
2555                              enum GNUNET_DISK_PipeEnd end)
2556 {
2557   struct GNUNET_DISK_FileHandle *ret = NULL;
2558
2559   if (end == GNUNET_DISK_PIPE_END_READ)
2560   {
2561     if (p->fd[0])
2562     {
2563       ret = p->fd[0];
2564       p->fd[0] = NULL;
2565     }
2566   }
2567   else if (end == GNUNET_DISK_PIPE_END_WRITE)
2568   {
2569     if (p->fd[1])
2570     {
2571       ret = p->fd[1];
2572       p->fd[1] = NULL;
2573     }
2574   }
2575
2576   return ret;
2577 }
2578
2579
2580 /**
2581  * Closes an interprocess channel
2582  *
2583  * @param p pipe to close
2584  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
2585  */
2586 int
2587 GNUNET_DISK_pipe_close (struct GNUNET_DISK_PipeHandle *p)
2588 {
2589   int ret = GNUNET_OK;
2590
2591   int read_end_close;
2592   int write_end_close;
2593   int read_end_close_errno;
2594   int write_end_close_errno;
2595
2596   read_end_close = GNUNET_DISK_pipe_close_end (p, GNUNET_DISK_PIPE_END_READ);
2597   read_end_close_errno = errno;
2598   write_end_close = GNUNET_DISK_pipe_close_end (p, GNUNET_DISK_PIPE_END_WRITE);
2599   write_end_close_errno = errno;
2600   GNUNET_free (p);
2601
2602   if (GNUNET_OK != read_end_close)
2603   {
2604     errno = read_end_close_errno;
2605     ret = read_end_close;
2606   }
2607   else if (GNUNET_OK != write_end_close)
2608   {
2609     errno = write_end_close_errno;
2610     ret = write_end_close;
2611   }
2612
2613   return ret;
2614 }
2615
2616
2617 /**
2618  * Get the handle to a particular pipe end
2619  *
2620  * @param p pipe
2621  * @param n end to access
2622  * @return handle for the respective end
2623  */
2624 const struct GNUNET_DISK_FileHandle *
2625 GNUNET_DISK_pipe_handle (const struct GNUNET_DISK_PipeHandle *p,
2626                          enum GNUNET_DISK_PipeEnd n)
2627 {
2628   switch (n)
2629   {
2630   case GNUNET_DISK_PIPE_END_READ:
2631   case GNUNET_DISK_PIPE_END_WRITE:
2632     return p->fd[n];
2633   default:
2634     GNUNET_break (0);
2635     return NULL;
2636   }
2637 }
2638
2639
2640 /**
2641  * Retrieve OS file handle
2642  * @internal
2643  * @param fh GNUnet file descriptor
2644  * @param dst destination buffer
2645  * @param dst_len length of dst
2646  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
2647  */
2648 int
2649 GNUNET_DISK_internal_file_handle_ (const struct GNUNET_DISK_FileHandle *fh,
2650                                    void *dst, size_t dst_len)
2651 {
2652 #ifdef MINGW
2653   if (dst_len < sizeof (HANDLE))
2654     return GNUNET_SYSERR;
2655   *((HANDLE *) dst) = fh->h;
2656 #else
2657   if (dst_len < sizeof (int))
2658     return GNUNET_SYSERR;
2659   *((int *) dst) = fh->fd;
2660 #endif
2661
2662   return GNUNET_OK;
2663 }
2664
2665 /* end of disk.c */