- test for external iterator
[oweals/gnunet.git] / src / util / disk.c
index 044c377d719b1b74c73c8ea22d28ceda1863885f..e815afb2b6c2f8fe6e7c7f353557ec5289046e35 100644 (file)
@@ -1,10 +1,10 @@
 /*
      This file is part of GNUnet.
-     (C) 2001--2012 Christian Grothoff (and other contributing authors)
+     (C) 2001--2013 Christian Grothoff (and other contributing authors)
 
      GNUnet is free software; you can redistribute it and/or modify
      it under the terms of the GNU General Public License as published
-     by the Free Software Foundation; either version 2, or (at your
+     by the Free Software Foundation; either version 3, or (at your
      option) any later version.
 
      GNUnet is distributed in the hope that it will be useful, but
  */
 #define COPY_BLK_SIZE 65536
 
-
-
-#if defined(LINUX) || defined(CYGWIN) || defined(GNU)
+#include <sys/types.h>
+#if HAVE_SYS_VFS_H
 #include <sys/vfs.h>
-#else
-#if defined(SOMEBSD) || defined(DARWIN)
+#endif
+#if HAVE_SYS_PARAM_H
 #include <sys/param.h>
+#endif
+#if HAVE_SYS_MOUNT_H
 #include <sys/mount.h>
-#else
-#ifdef SOLARIS
-#include <sys/types.h>
+#endif
+#if HAVE_SYS_STATVFS_H
 #include <sys/statvfs.h>
-#else
-#ifdef MINGW
-#ifndef PIPE_BUF
-#define PIPE_BUF        512
-ULONG PipeSerialNumber;
 #endif
+
+#ifndef S_ISLNK
 #define        _IFMT           0170000 /* type of file */
 #define        _IFLNK          0120000 /* symbolic link */
 #define  S_ISLNK(m)    (((m)&_IFMT) == _IFLNK)
-#else
-#error PORT-ME: need to port statfs (how much space is left on the drive?)
-#endif
-#endif
-#endif
-#endif
-
-#if !defined(SOMEBSD) && !defined(DARWIN) && !defined(WINDOWS)
-#include <wordexp.h>
-#endif
-#if LINUX
-#include <sys/statvfs.h>
 #endif
 
 
@@ -88,6 +73,7 @@ struct GNUNET_DISK_PipeHandle
 {
   /**
    * File descriptors for the pipe.
+   * One or both of them could be NULL.
    */
   struct GNUNET_DISK_FileHandle *fd[2];
 };
@@ -342,49 +328,65 @@ int
 GNUNET_DISK_file_get_identifiers (const char *filename, uint64_t * dev,
                                   uint64_t * ino)
 {
-#if LINUX
-  struct stat sbuf;
-  struct statvfs fbuf;
+#if WINDOWS
+  {
+    // FIXME NILS: test this
+    struct GNUNET_DISK_FileHandle *fh;
+    BY_HANDLE_FILE_INFORMATION info;
+    int succ;
 
-  if ((0 == stat (filename, &sbuf)) && (0 == statvfs (filename, &fbuf)))
+    fh = GNUNET_DISK_file_open (filename, GNUNET_DISK_OPEN_READ, 0);
+    if (fh == NULL)
+      return GNUNET_SYSERR;
+    succ = GetFileInformationByHandle (fh->h, &info);
+    GNUNET_DISK_file_close (fh);
+    if (!succ)
+    {
+      return GNUNET_SYSERR;
+    }
+    *dev = info.dwVolumeSerialNumber;
+    *ino = ((((uint64_t) info.nFileIndexHigh) << (sizeof (DWORD) * 8)) | info.nFileIndexLow);
+  }
+#else /* !WINDOWS */
+#if HAVE_STAT
   {
-    *dev = (uint64_t) fbuf.f_fsid;
+    struct stat sbuf;
+
+    if (0 != stat (filename, &sbuf))
+    {
+      return GNUNET_SYSERR;
+    }
     *ino = (uint64_t) sbuf.st_ino;
-    return GNUNET_OK;
   }
-#elif SOMEBSD
-  struct stat sbuf;
-  struct statfs fbuf;
+#else
+  *ino = 0;
+#endif
+#if HAVE_STATVFS
+  {
+    struct statvfs fbuf;
 
-  if ((0 == stat (filename, &sbuf)) && (0 == statfs (filename, &fbuf)))
+    if (0 != statvfs (filename, &fbuf))
+    {
+      return GNUNET_SYSERR;
+    }
+    *dev = (uint64_t) fbuf.f_fsid;
+  }
+#elif HAVE_STATFS
   {
+    struct statfs fbuf;
+
+    if (0 != statfs (filename, &fbuf))
+    {
+      return GNUNET_SYSERR;
+    }
     *dev = ((uint64_t) fbuf.f_fsid.val[0]) << 32 ||
         ((uint64_t) fbuf.f_fsid.val[1]);
-    *ino = (uint64_t) sbuf.st_ino;
-    return GNUNET_OK;
   }
-#elif WINDOWS
-  // FIXME NILS: test this
-  struct GNUNET_DISK_FileHandle *fh;
-  BY_HANDLE_FILE_INFORMATION info;
-  int succ;
-
-  fh = GNUNET_DISK_file_open (filename, GNUNET_DISK_OPEN_READ, 0);
-  if (fh == NULL)
-    return GNUNET_SYSERR;
-  succ = GetFileInformationByHandle (fh->h, &info);
-  GNUNET_DISK_file_close (fh);
-  if (succ)
-  {
-    *dev = info.dwVolumeSerialNumber;
-    *ino = ((((uint64_t) info.nFileIndexHigh) << (sizeof (DWORD) * 8)) | info.nFileIndexLow);
-    return GNUNET_OK;
-  }
-  else
-    return GNUNET_SYSERR;
-
+#else
+  *dev = 0;
 #endif
-  return GNUNET_SYSERR;
+#endif /* !WINDOWS */
+  return GNUNET_OK;
 }
 
 
@@ -436,12 +438,14 @@ mktemp_name (const char *t)
   return fn;
 }
 
+
 #if WINDOWS
 static char *
 mkdtemp (char *fn)
 {
   char *random_fn;
   char *tfn;
+
   while (1)
   {
     tfn = GNUNET_strdup (fn);
@@ -494,6 +498,38 @@ GNUNET_DISK_mkdtemp (const char *t)
 }
 
 
+/**
+ * Move a file out of the way (create a backup) by
+ * renaming it to "orig.NUM~" where NUM is the smallest
+ * number that is not used yet.
+ *
+ * @param fil name of the file to back up
+ */
+void
+GNUNET_DISK_file_backup (const char *fil)
+{
+  size_t slen;
+  char *target;
+  unsigned int num;
+
+  slen = strlen (fil) + 20;
+  target = GNUNET_malloc (slen);
+  num = 0;
+  do
+  {
+    GNUNET_snprintf (target, slen,
+                    "%s.%u~",
+                    fil,
+                    num++);
+  } while (0 == access (target, F_OK));
+  if (0 != rename (fil, target))
+    GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_ERROR,
+                             "rename",
+                             fil);
+  GNUNET_free (target);  
+}
+
+
 /**
  * Create an (empty) temporary file on disk.  If the given name is not
  * an absolute path, the current 'TMPDIR' will be prepended.  In any case,
@@ -524,65 +560,6 @@ GNUNET_DISK_mktemp (const char *t)
 }
 
 
-/**
- * Get the number of blocks that are left on the partition that
- * contains the given file (for normal users).
- *
- * @param part a file on the partition to check
- * @return -1 on errors, otherwise the number of free blocks
- */
-long
-GNUNET_DISK_get_blocks_available (const char *part)
-{
-#ifdef SOLARIS
-  struct statvfs buf;
-
-  if (0 != statvfs (part, &buf))
-  {
-    LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "statfs", part);
-    return -1;
-  }
-  return buf.f_bavail;
-#elif MINGW
-  DWORD dwDummy;
-  DWORD dwBlocks;
-  wchar_t szDrive[4];
-  wchar_t wpath[MAX_PATH + 1];
-  char *path;
-
-  path = GNUNET_STRINGS_filename_expand (part);
-  if (path == NULL)
-    return -1;
-  /* "part" was in UTF-8, and so is "path" */
-  if (ERROR_SUCCESS != plibc_conv_to_win_pathwconv(path, wpath))
-  {
-    GNUNET_free (path);
-    return -1;
-  }
-  GNUNET_free (path);
-  wcsncpy (szDrive, wpath, 3);
-  szDrive[3] = 0;
-  if (!GetDiskFreeSpaceW (szDrive, &dwDummy, &dwDummy, &dwBlocks, &dwDummy))
-  {
-    LOG (GNUNET_ERROR_TYPE_WARNING, _("`%s' failed for drive `%S': %u\n"),
-         "GetDiskFreeSpace", szDrive, GetLastError ());
-
-    return -1;
-  }
-  return dwBlocks;
-#else
-  struct statfs s;
-
-  if (0 != statfs (part, &s))
-  {
-    LOG_STRERROR_FILE (GNUNET_ERROR_TYPE_WARNING, "statfs", part);
-    return -1;
-  }
-  return s.f_bavail;
-#endif
-}
-
-
 /**
  * Test if "fil" is a directory and listable. Optionally, also check if the
  * directory is readable.  Will not print an error message if the directory does
@@ -610,7 +587,7 @@ GNUNET_DISK_directory_test (const char *fil, int is_readable)
   }
   if (!S_ISDIR (filestat.st_mode))
   {
-    LOG (GNUNET_ERROR_TYPE_WARNING,
+    LOG (GNUNET_ERROR_TYPE_DEBUG,
          "A file already exits with the same name %s\n", fil);
     return GNUNET_NO;
   }
@@ -683,8 +660,9 @@ int
 GNUNET_DISK_directory_create (const char *dir)
 {
   char *rdir;
-  int len;
-  int pos;
+  unsigned int len;
+  unsigned int pos;
+  unsigned int pos2;
   int ret = GNUNET_OK;
 
   rdir = GNUNET_STRINGS_filename_expand (dir);
@@ -714,6 +692,33 @@ GNUNET_DISK_directory_create (const char *dir)
     pos = 3;                    /* strlen("C:\\") */
   }
 #endif
+  /* Check which low level directories already exist */
+  pos2 = len;
+  rdir[len] = DIR_SEPARATOR;
+  while (pos <= pos2)
+  {
+    if (DIR_SEPARATOR == rdir[pos2])
+    {
+      rdir[pos2] = '\0';
+      ret = GNUNET_DISK_directory_test (rdir, GNUNET_NO);
+      if (GNUNET_NO == ret)
+      {
+        GNUNET_free (rdir);
+        return GNUNET_SYSERR;
+      }
+      rdir[pos2] = DIR_SEPARATOR;
+      if (GNUNET_YES == ret)
+      {
+        pos2++;
+        break;
+      }
+    }
+    pos2--;
+  }
+  rdir[len] = '\0';
+  if (pos < pos2)
+    pos = pos2;
+  /* Start creating directories */
   while (pos <= len)
   {
     if ((rdir[pos] == DIR_SEPARATOR) || (pos == len))
@@ -748,7 +753,6 @@ GNUNET_DISK_directory_create (const char *dir)
     pos++;
   }
   GNUNET_free (rdir);
-  LOG (GNUNET_ERROR_TYPE_ERROR, "we are done here\n");
   return GNUNET_OK;
 }
 
@@ -1122,6 +1126,7 @@ GNUNET_DISK_directory_scan (const char *dirName,
   struct dirent *finfo;
   struct stat istat;
   int count = 0;
+  int ret;
   char *name;
   char *dname;
   unsigned int name_len;
@@ -1179,11 +1184,14 @@ GNUNET_DISK_directory_scan (const char *dirName,
       GNUNET_snprintf (name, n_size, "%s%s%s", dname,
                        (strcmp (dname, DIR_SEPARATOR_STR) ==
                         0) ? "" : DIR_SEPARATOR_STR, finfo->d_name);
-      if (GNUNET_OK != callback (callback_cls, name))
+      ret = callback (callback_cls, name);
+      if (GNUNET_OK != ret)
       {
         CLOSEDIR (dinfo);
         GNUNET_free (name);
         GNUNET_free (dname);
+        if (GNUNET_NO == ret)
+          return count;
         return GNUNET_SYSERR;
       }
     }
@@ -1667,7 +1675,11 @@ GNUNET_DISK_file_open (const char *fn, enum GNUNET_DISK_OpenFlags flags,
     mode = translate_unix_perms (perm);
   }
 
-  fd = open (expfn, oflags | O_LARGEFILE, mode);
+  fd = open (expfn, oflags 
+#if O_CLOEXEC
+            | O_CLOEXEC
+#endif
+            | O_LARGEFILE, mode);
   if (fd == -1)
   {
     if (0 == (flags & GNUNET_DISK_OPEN_FAILIFEXISTS))
@@ -1757,86 +1769,157 @@ GNUNET_DISK_file_open (const char *fn, enum GNUNET_DISK_OpenFlags flags,
 int
 GNUNET_DISK_file_close (struct GNUNET_DISK_FileHandle *h)
 {
+  int ret;
   if (h == NULL)
   {
     errno = EINVAL;
     return GNUNET_SYSERR;
   }
 
+  ret = GNUNET_OK;
+
 #if MINGW
   if (!CloseHandle (h->h))
   {
     SetErrnoFromWinError (GetLastError ());
     LOG_STRERROR (GNUNET_ERROR_TYPE_WARNING, "close");
+    ret = GNUNET_SYSERR;
+  }
+  if (h->oOverlapRead)
+  {
+    if (!CloseHandle (h->oOverlapRead->hEvent))
+    {
+      SetErrnoFromWinError (GetLastError ());
+      LOG_STRERROR (GNUNET_ERROR_TYPE_WARNING, "close");
+      ret = GNUNET_SYSERR;
+    }
     GNUNET_free (h->oOverlapRead);
+  }
+  if (h->oOverlapWrite)
+  {
+    if (!CloseHandle (h->oOverlapWrite->hEvent))
+    {
+      SetErrnoFromWinError (GetLastError ());
+      LOG_STRERROR (GNUNET_ERROR_TYPE_WARNING, "close");
+      ret = GNUNET_SYSERR;
+    }
     GNUNET_free (h->oOverlapWrite);
-    GNUNET_free (h);
-    return GNUNET_SYSERR;
   }
 #else
   if (close (h->fd) != 0)
   {
     LOG_STRERROR (GNUNET_ERROR_TYPE_WARNING, "close");
-    GNUNET_free (h);
-    return GNUNET_SYSERR;
+    ret = GNUNET_SYSERR;
   }
 #endif
   GNUNET_free (h);
-  return GNUNET_OK;
+  return ret;
 }
 
-
+#ifdef WINDOWS
 /**
- * Get a handle from a native FD.
+ * Get a GNUnet file handle from a W32 handle.
  *
- * @param fd native file descriptor
- * @return file handle corresponding to the descriptor
+ * @param handle native handle
+ * @return GNUnet file handle corresponding to the W32 handle
  */
 struct GNUNET_DISK_FileHandle *
-GNUNET_DISK_get_handle_from_native (FILE *fd)
+GNUNET_DISK_get_handle_from_w32_handle (HANDLE osfh)
 {
   struct GNUNET_DISK_FileHandle *fh;
-  int fno;
-#if MINGW
-  intptr_t osfh;
-#endif
 
-  fno = fileno (fd);
-  if (-1 == fno)
-    return NULL;
+  DWORD dwret;
+  enum GNUNET_FILE_Type ftype;
 
-#if MINGW
-  osfh = _get_osfhandle (fno);
-  if (INVALID_HANDLE_VALUE == (HANDLE) osfh)
+  dwret = GetFileType (osfh);
+  switch (dwret)
+  {
+  case FILE_TYPE_DISK:
+    ftype = GNUNET_DISK_HANLDE_TYPE_FILE;
+    break;
+  case FILE_TYPE_PIPE:
+    ftype = GNUNET_DISK_HANLDE_TYPE_PIPE;
+    break;
+  default:
     return NULL;
+  }
+
+  fh = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
+
+  fh->h = osfh;
+  fh->type = ftype;
+  if (ftype == GNUNET_DISK_HANLDE_TYPE_PIPE)
+  {
+    /**
+     * Note that we can't make it overlapped if it isn't already.
+     * (ReOpenFile() is only available in 2003/Vista).
+     * The process that opened this file in the first place (usually a parent
+     * process, if this is stdin/stdout/stderr) must make it overlapped,
+     * otherwise we're screwed, as selecting on non-overlapped handle
+     * will block.
+     */
+    fh->oOverlapRead = GNUNET_malloc (sizeof (OVERLAPPED));
+    fh->oOverlapWrite = GNUNET_malloc (sizeof (OVERLAPPED));
+    fh->oOverlapRead->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
+    fh->oOverlapWrite->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
+  }
+
+  return fh;
+}
 #endif
 
+/**
+ * Get a handle from a native integer FD.
+ *
+ * @param fno native integer file descriptor
+ * @return file handle corresponding to the descriptor, NULL on error
+ */
+struct GNUNET_DISK_FileHandle *
+GNUNET_DISK_get_handle_from_int_fd (int fno)
+{
+  struct GNUNET_DISK_FileHandle *fh;
+
+  if ( (((off_t) -1) == lseek (fno, 0, SEEK_CUR)) &&
+       (EBADF == errno) )
+    return NULL; /* invalid FD */
+
+#ifndef WINDOWS
   fh = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
 
-#if MINGW
-  fh->h = (HANDLE) osfh;
-  /* Assume it to be a pipe. TODO: use some kind of detection
-   * function to figure out handle type.
-   * Note that we can't make it overlapped if it isn't already.
-   * (ReOpenFile() is only available in 2003/Vista).
-   * The process that opened this file in the first place (usually a parent
-   * process, if this is stdin/stdout/stderr) must make it overlapped,
-   * otherwise we're screwed, as selecting on non-overlapped handle
-   * will block.
-   */
-  fh->type = GNUNET_DISK_HANLDE_TYPE_PIPE;
-  fh->oOverlapRead = GNUNET_malloc (sizeof (OVERLAPPED));
-  fh->oOverlapWrite = GNUNET_malloc (sizeof (OVERLAPPED));
-  fh->oOverlapRead->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
-  fh->oOverlapWrite->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
-#else
   fh->fd = fno;
+#else
+  intptr_t osfh;
+
+  osfh = _get_osfhandle (fno);
+  if (INVALID_HANDLE_VALUE == (HANDLE) osfh)
+    return NULL;
+
+  fh = GNUNET_DISK_get_handle_from_w32_handle ((HANDLE) osfh);
 #endif
 
   return fh;
 }
 
 
+/**
+ * Get a handle from a native streaming FD.
+ *
+ * @param fd native streaming file descriptor
+ * @return file handle corresponding to the descriptor
+ */
+struct GNUNET_DISK_FileHandle *
+GNUNET_DISK_get_handle_from_native (FILE *fd)
+{
+  int fno;
+
+  fno = fileno (fd);
+  if (-1 == fno)
+    return NULL;
+
+  return GNUNET_DISK_get_handle_from_int_fd (fno);
+}
+
+
 /**
  * Construct full path to a file inside of the private
  * directory used by GNUnet.  Also creates the corresponding
@@ -2084,6 +2167,9 @@ GNUNET_DISK_file_sync (const struct GNUNET_DISK_FileHandle *h)
 
 
 #if WINDOWS
+#ifndef PIPE_BUF
+#define PIPE_BUF        512
+#endif
 /* Copyright Bob Byrnes  <byrnes <at> curl.com>
    http://permalink.gmane.org/gmane.os.cygwin.patches/2121
 */
@@ -2102,7 +2188,8 @@ create_selectable_pipe (PHANDLE read_pipe_ptr, PHANDLE write_pipe_ptr,
   /* Default to error. */
   *read_pipe_ptr = *write_pipe_ptr = INVALID_HANDLE_VALUE;
 
-  HANDLE read_pipe = INVALID_HANDLE_VALUE, write_pipe = INVALID_HANDLE_VALUE;
+  HANDLE read_pipe;
+  HANDLE write_pipe;
 
   /* Ensure that there is enough pipe buffer space for atomic writes.  */
   if (psize < PIPE_BUF)
@@ -2128,9 +2215,8 @@ create_selectable_pipe (PHANDLE read_pipe_ptr, PHANDLE write_pipe_ptr,
      * a waste, since only a single direction is actually used.
      * It's important to only allow a single instance, to ensure that
      * the pipe was not created earlier by some other process, even if
-     * the pid has been reused.  We avoid FILE_FLAG_FIRST_PIPE_INSTANCE
-     * because that is only available for Win2k SP2 and WinXP.  */
-    read_pipe = CreateNamedPipeA (pipename, PIPE_ACCESS_INBOUND | dwReadMode, PIPE_TYPE_BYTE | PIPE_READMODE_BYTE, 1,   /* max instances */
+     * the pid has been reused.  */
+    read_pipe = CreateNamedPipeA (pipename, PIPE_ACCESS_INBOUND | FILE_FLAG_FIRST_PIPE_INSTANCE | dwReadMode, PIPE_TYPE_BYTE | PIPE_READMODE_BYTE, 1,   /* max instances */
                                   psize,        /* output buffer size */
                                   psize,        /* input buffer size */
                                   NMPWAIT_USE_DEFAULT_WAIT, sa_ptr);
@@ -2233,19 +2319,22 @@ GNUNET_DISK_pipe (int blocking_read, int blocking_write, int inherit_read, int i
                                   fd);
 #else
   struct GNUNET_DISK_PipeHandle *p;
-  struct GNUNET_DISK_FileHandle *fds;
   BOOL ret;
   HANDLE tmp_handle;
-  
+  int save_errno;
 
-  p = GNUNET_malloc (sizeof (struct GNUNET_DISK_PipeHandle) +
-                     2 * sizeof (struct GNUNET_DISK_FileHandle));
-  fds = (struct GNUNET_DISK_FileHandle *) &p[1];
-  p->fd[0] = &fds[0];
-  p->fd[1] = &fds[1];
+  p = GNUNET_malloc (sizeof (struct GNUNET_DISK_PipeHandle));
+  p->fd[0] = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
+  p->fd[1] = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
 
   /* All pipes are overlapped. If you want them to block - just
    * call WriteFile() and ReadFile() with NULL overlapped pointer.
+   * NOTE: calling with NULL overlapped pointer works only
+   * for pipes, and doesn't seem to be a documented feature.
+   * It will NOT work for files, because overlapped files need
+   * to read offsets from the overlapped structure, regardless.
+   * Pipes are not seekable, and need no offsets, which is
+   * probably why it works for them.
    */
   ret =
       create_selectable_pipe (&p->fd[0]->h, &p->fd[1]->h, NULL, 0,
@@ -2253,8 +2342,12 @@ GNUNET_DISK_pipe (int blocking_read, int blocking_write, int inherit_read, int i
                               FILE_FLAG_OVERLAPPED);
   if (!ret)
   {
-    GNUNET_free (p);
     SetErrnoFromWinError (GetLastError ());
+    save_errno = errno;
+    GNUNET_free (p->fd[0]);
+    GNUNET_free (p->fd[1]);
+    GNUNET_free (p);
+    errno = save_errno;
     return NULL;
   }
   if (!DuplicateHandle
@@ -2262,9 +2355,13 @@ GNUNET_DISK_pipe (int blocking_read, int blocking_write, int inherit_read, int i
        inherit_read == GNUNET_YES ? TRUE : FALSE, DUPLICATE_SAME_ACCESS))
   {
     SetErrnoFromWinError (GetLastError ());
+    save_errno = errno;
     CloseHandle (p->fd[0]->h);
     CloseHandle (p->fd[1]->h);
+    GNUNET_free (p->fd[0]);
+    GNUNET_free (p->fd[1]);
     GNUNET_free (p);
+    errno = save_errno;
     return NULL;
   }
   CloseHandle (p->fd[0]->h);
@@ -2275,9 +2372,13 @@ GNUNET_DISK_pipe (int blocking_read, int blocking_write, int inherit_read, int i
        inherit_write == GNUNET_YES ? TRUE : FALSE, DUPLICATE_SAME_ACCESS))
   {
     SetErrnoFromWinError (GetLastError ());
+    save_errno = errno;
     CloseHandle (p->fd[0]->h);
     CloseHandle (p->fd[1]->h);
+    GNUNET_free (p->fd[0]);
+    GNUNET_free (p->fd[1]);
     GNUNET_free (p);
+    errno = save_errno;
     return NULL;
   }
   CloseHandle (p->fd[1]->h);
@@ -2316,23 +2417,19 @@ struct GNUNET_DISK_PipeHandle *
 GNUNET_DISK_pipe_from_fd (int blocking_read, int blocking_write, int fd[2])
 {
   struct GNUNET_DISK_PipeHandle *p;
-  struct GNUNET_DISK_FileHandle *fds;
 
-  p = GNUNET_malloc (sizeof (struct GNUNET_DISK_PipeHandle) +
-                     2 * sizeof (struct GNUNET_DISK_FileHandle));
-  fds = (struct GNUNET_DISK_FileHandle *) &p[1];
-  p->fd[0] = &fds[0];
-  p->fd[1] = &fds[1];
+  p = GNUNET_malloc (sizeof (struct GNUNET_DISK_PipeHandle));
+
 #ifndef MINGW
   int ret;
   int flags;
   int eno = 0; /* make gcc happy */
 
-  p->fd[0]->fd = fd[0];
-  p->fd[1]->fd = fd[1];
   ret = 0;
   if (fd[0] >= 0)
   {
+    p->fd[0] = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
+    p->fd[0]->fd = fd[0];
     if (!blocking_read)
     {
       flags = fcntl (fd[0], F_GETFL);
@@ -2354,6 +2451,8 @@ GNUNET_DISK_pipe_from_fd (int blocking_read, int blocking_write, int fd[2])
 
   if (fd[1] >= 0)
   {
+    p->fd[1] = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
+    p->fd[1]->fd = fd[1];
     if (!blocking_write)
     {
       flags = fcntl (fd[1], F_GETFL);
@@ -2380,37 +2479,50 @@ GNUNET_DISK_pipe_from_fd (int blocking_read, int blocking_write, int fd[2])
       GNUNET_break (0 == close (p->fd[0]->fd));
     if (p->fd[1]->fd >= 0)
       GNUNET_break (0 == close (p->fd[1]->fd));
+    GNUNET_free_non_null (p->fd[0]);
+    GNUNET_free_non_null (p->fd[1]);
     GNUNET_free (p);
     errno = eno;
     return NULL;
   }
 #else
   if (fd[0] >= 0)
+  {
+    p->fd[0] = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
     p->fd[0]->h = (HANDLE) _get_osfhandle (fd[0]);
-  else
-    p->fd[0]->h = INVALID_HANDLE_VALUE;
+    if (p->fd[0]->h != INVALID_HANDLE_VALUE)
+    {
+      p->fd[0]->type = GNUNET_DISK_HANLDE_TYPE_PIPE;
+      p->fd[0]->oOverlapRead = GNUNET_malloc (sizeof (OVERLAPPED));
+      p->fd[0]->oOverlapWrite = GNUNET_malloc (sizeof (OVERLAPPED));
+      p->fd[0]->oOverlapRead->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
+      p->fd[0]->oOverlapWrite->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
+    }
+    else
+    {
+      GNUNET_free (p->fd[0]);
+      p->fd[0] = NULL;
+    }
+  }
   if (fd[1] >= 0)
-    p->fd[1]->h = (HANDLE) _get_osfhandle (fd[1]);
-  else
-    p->fd[1]->h = INVALID_HANDLE_VALUE;
-
-  if (p->fd[0]->h != INVALID_HANDLE_VALUE)
   {
-    p->fd[0]->type = GNUNET_DISK_HANLDE_TYPE_PIPE;
-    p->fd[0]->oOverlapRead = GNUNET_malloc (sizeof (OVERLAPPED));
-    p->fd[0]->oOverlapWrite = GNUNET_malloc (sizeof (OVERLAPPED));
-    p->fd[0]->oOverlapRead->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
-    p->fd[0]->oOverlapWrite->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
+    p->fd[1] = GNUNET_malloc (sizeof (struct GNUNET_DISK_FileHandle));
+    p->fd[1]->h = (HANDLE) _get_osfhandle (fd[1]);
+    if (p->fd[1]->h != INVALID_HANDLE_VALUE)
+    {
+      p->fd[1]->type = GNUNET_DISK_HANLDE_TYPE_PIPE;
+      p->fd[1]->oOverlapRead = GNUNET_malloc (sizeof (OVERLAPPED));
+      p->fd[1]->oOverlapWrite = GNUNET_malloc (sizeof (OVERLAPPED));
+      p->fd[1]->oOverlapRead->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
+      p->fd[1]->oOverlapWrite->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
+    }
+    else
+    {
+      GNUNET_free (p->fd[1]);
+      p->fd[1] = NULL;
+    }
   }
 
-  if (p->fd[1]->h != INVALID_HANDLE_VALUE)
-  {
-    p->fd[1]->type = GNUNET_DISK_HANLDE_TYPE_PIPE;
-    p->fd[1]->oOverlapRead = GNUNET_malloc (sizeof (OVERLAPPED));
-    p->fd[1]->oOverlapWrite = GNUNET_malloc (sizeof (OVERLAPPED));
-    p->fd[1]->oOverlapRead->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
-    p->fd[1]->oOverlapWrite->hEvent = CreateEvent (NULL, FALSE, FALSE, NULL);
-  }
 #endif
   return p;
 }
@@ -2428,60 +2540,62 @@ GNUNET_DISK_pipe_close_end (struct GNUNET_DISK_PipeHandle *p,
                             enum GNUNET_DISK_PipeEnd end)
 {
   int ret = GNUNET_OK;
-  int save;
 
-#ifdef MINGW
   if (end == GNUNET_DISK_PIPE_END_READ)
   {
-    if (p->fd[0]->h != INVALID_HANDLE_VALUE)
+    if (p->fd[0])
     {
-      if (!CloseHandle (p->fd[0]->h))
-      {
-        SetErrnoFromWinError (GetLastError ());
-        ret = GNUNET_SYSERR;
-      }
-      GNUNET_free (p->fd[0]->oOverlapRead);
-      GNUNET_free (p->fd[0]->oOverlapWrite);
-      p->fd[0]->h = INVALID_HANDLE_VALUE;
+      ret = GNUNET_DISK_file_close (p->fd[0]);
+      p->fd[0] = NULL;
     }
   }
   else if (end == GNUNET_DISK_PIPE_END_WRITE)
   {
-    if (p->fd[0]->h != INVALID_HANDLE_VALUE)
+    if (p->fd[1])
     {
-      if (!CloseHandle (p->fd[1]->h))
-      {
-        SetErrnoFromWinError (GetLastError ());
-        ret = GNUNET_SYSERR;
-      }
-      GNUNET_free (p->fd[1]->oOverlapRead);
-      GNUNET_free (p->fd[1]->oOverlapWrite);
-      p->fd[1]->h = INVALID_HANDLE_VALUE;
+      ret = GNUNET_DISK_file_close (p->fd[1]);
+      p->fd[1] = NULL;
     }
   }
-  save = errno;
-#else
-  save = 0;
+
+  return ret;
+}
+
+/**
+ * Detaches one of the ends from the pipe.
+ * Detached end is a fully-functional FileHandle, it will
+ * not be affected by anything you do with the pipe afterwards.
+ * Each end of a pipe can only be detched from it once (i.e.
+ * it is not duplicated).
+ *
+ * @param p pipe to detach an end from
+ * @param end which end of the pipe to detach
+ * @return Detached end on success, NULL on failure
+ * (or if that end is not present or is closed).
+ */
+struct GNUNET_DISK_FileHandle *
+GNUNET_DISK_pipe_detach_end (struct GNUNET_DISK_PipeHandle *p,
+                             enum GNUNET_DISK_PipeEnd end)
+{
+  struct GNUNET_DISK_FileHandle *ret = NULL;
+
   if (end == GNUNET_DISK_PIPE_END_READ)
   {
-    if (0 != close (p->fd[0]->fd))
+    if (p->fd[0])
     {
-      ret = GNUNET_SYSERR;
-      save = errno;
+      ret = p->fd[0];
+      p->fd[0] = NULL;
     }
-    p->fd[0]->fd = -1;
   }
   else if (end == GNUNET_DISK_PIPE_END_WRITE)
   {
-    if (0 != close (p->fd[1]->fd))
+    if (p->fd[1])
     {
-      ret = GNUNET_SYSERR;
-      save = errno;
+      ret = p->fd[1];
+      p->fd[1] = NULL;
     }
-    p->fd[1]->fd = -1;
   }
-#endif
-  errno = save;
+
   return ret;
 }
 
@@ -2496,52 +2610,29 @@ int
 GNUNET_DISK_pipe_close (struct GNUNET_DISK_PipeHandle *p)
 {
   int ret = GNUNET_OK;
-  int save;
 
-#ifdef MINGW
-  if (p->fd[0]->h != INVALID_HANDLE_VALUE)
-  {
-    if (!CloseHandle (p->fd[0]->h))
-    {
-      SetErrnoFromWinError (GetLastError ());
-      ret = GNUNET_SYSERR;
-    }
-    GNUNET_free (p->fd[0]->oOverlapRead);
-    GNUNET_free (p->fd[0]->oOverlapWrite);
-  }
-  if (p->fd[1]->h != INVALID_HANDLE_VALUE)
+  int read_end_close;
+  int write_end_close;
+  int read_end_close_errno;
+  int write_end_close_errno;
+
+  read_end_close = GNUNET_DISK_pipe_close_end (p, GNUNET_DISK_PIPE_END_READ);
+  read_end_close_errno = errno;
+  write_end_close = GNUNET_DISK_pipe_close_end (p, GNUNET_DISK_PIPE_END_WRITE);
+  write_end_close_errno = errno;
+  GNUNET_free (p);
+
+  if (GNUNET_OK != read_end_close)
   {
-    if (!CloseHandle (p->fd[1]->h))
-    {
-      SetErrnoFromWinError (GetLastError ());
-      ret = GNUNET_SYSERR;
-    }
-    GNUNET_free (p->fd[1]->oOverlapRead);
-    GNUNET_free (p->fd[1]->oOverlapWrite);
+    errno = read_end_close_errno;
+    ret = read_end_close;
   }
-  save = errno;
-#else
-  save = 0;
-  if (p->fd[0]->fd != -1)
+  else if (GNUNET_OK != write_end_close)
   {
-    if (0 != close (p->fd[0]->fd))
-    {
-      ret = GNUNET_SYSERR;
-      save = errno;
-    }
+    errno = write_end_close_errno;
+    ret = write_end_close;
   }
 
-  if (p->fd[1]->fd != -1)
-  {
-    if (0 != close (p->fd[1]->fd))
-    {
-      ret = GNUNET_SYSERR;
-      save = errno;
-    }
-  }
-#endif
-  GNUNET_free (p);
-  errno = save;
   return ret;
 }