- mem leak
[oweals/gnunet.git] / src / include / gnunet_disk_lib.h
1 /*
2      This file is part of GNUnet.
3      (C) 2001, 2002, 2003, 2004, 2005, 2006, 2009 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 2, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file include/gnunet_disk_lib.h
23  * @brief disk IO apis
24  */
25 #ifndef GNUNET_DISK_LIB_H
26 #define GNUNET_DISK_LIB_H
27
28 #if WINDOWS
29 #define OFF_T uint64_t
30 #else
31 #define OFF_T off_t
32 #endif
33
34 /**
35  * Handle used to manage a pipe.
36  */
37 struct GNUNET_DISK_PipeHandle;
38
39
40 enum GNUNET_FILE_Type
41 {
42   GNUNET_DISK_FILE, GNUNET_PIPE
43 };
44
45 /**
46  * Handle used to access files (and pipes).
47  */
48 struct GNUNET_DISK_FileHandle
49 {
50
51 #if WINDOWS
52   /**
53    * File handle under W32.
54    */
55   HANDLE h;
56
57   /**
58    * Type
59    */
60   enum GNUNET_FILE_Type type;
61
62   /**
63    * Structure for overlapped reading (for pipes)
64    */
65   OVERLAPPED *oOverlapRead;
66
67   /**
68    * Structure for overlapped writing (for pipes)
69    */
70   OVERLAPPED *oOverlapWrite;
71 #else
72
73   /**
74    * File handle on other OSes.
75    */
76   int fd;
77
78 #endif                          /*
79                                  */
80 };
81
82
83 /* we need size_t, and since it can be both unsigned int
84    or unsigned long long, this IS platform dependent;
85    but "stdlib.h" should be portable 'enough' to be
86    unconditionally available... */
87 #include <stdlib.h>
88 #include "gnunet_configuration_lib.h"
89 #include "gnunet_scheduler_lib.h"
90
91 #ifdef __cplusplus
92 extern "C"
93 {
94 #if 0                           /* keep Emacsens' auto-indent happy */
95 }
96 #endif
97 #endif
98
99
100 /**
101  * Specifies how a file should be opened.
102  */
103 enum GNUNET_DISK_OpenFlags
104 {
105
106     /**
107      * Open the file for reading
108      */
109   GNUNET_DISK_OPEN_READ = 1,
110
111     /**
112      * Open the file for writing
113      */
114   GNUNET_DISK_OPEN_WRITE = 2,
115
116     /**
117      * Open the file for both reading and writing
118      */
119   GNUNET_DISK_OPEN_READWRITE = 3,
120
121     /**
122      * Fail if file already exists
123      */
124   GNUNET_DISK_OPEN_FAILIFEXISTS = 4,
125
126     /**
127      * Truncate file if it exists
128      */
129   GNUNET_DISK_OPEN_TRUNCATE = 8,
130
131     /**
132      * Create file if it doesn't exist
133      */
134   GNUNET_DISK_OPEN_CREATE = 16,
135
136     /**
137      * Append to the file
138      */
139   GNUNET_DISK_OPEN_APPEND = 32
140 };
141
142 /**
143  * Specifies what type of memory map is desired.
144  */
145 enum GNUNET_DISK_MapType
146 {
147     /**
148      * Read-only memory map.
149      */
150   GNUNET_DISK_MAP_TYPE_READ = 1,
151
152     /**
153      * Write-able memory map.
154      */
155   GNUNET_DISK_MAP_TYPE_WRITE = 2,
156     /**
157      * Read-write memory map.
158      */
159   GNUNET_DISK_MAP_TYPE_READWRITE = 3
160 };
161
162
163 /**
164  * File access permissions, UNIX-style.
165  */
166 enum GNUNET_DISK_AccessPermissions
167 {
168     /**
169      * Nobody is allowed to do anything to the file.
170      */
171   GNUNET_DISK_PERM_NONE = 0,
172
173     /**
174      * Owner can read.
175      */
176   GNUNET_DISK_PERM_USER_READ = 1,
177
178     /**
179      * Owner can write.
180      */
181   GNUNET_DISK_PERM_USER_WRITE = 2,
182
183     /**
184      * Owner can execute.
185      */
186   GNUNET_DISK_PERM_USER_EXEC = 4,
187
188     /**
189      * Group can read.
190      */
191   GNUNET_DISK_PERM_GROUP_READ = 8,
192
193     /**
194      * Group can write.
195      */
196   GNUNET_DISK_PERM_GROUP_WRITE = 16,
197
198     /**
199      * Group can execute.
200      */
201   GNUNET_DISK_PERM_GROUP_EXEC = 32,
202
203     /**
204      * Everybody can read.
205      */
206   GNUNET_DISK_PERM_OTHER_READ = 64,
207
208     /**
209      * Everybody can write.
210      */
211   GNUNET_DISK_PERM_OTHER_WRITE = 128,
212
213     /**
214      * Everybody can execute.
215      */
216   GNUNET_DISK_PERM_OTHER_EXEC = 256
217 };
218
219
220 /**
221  * Constants for specifying how to seek.
222  */
223 enum GNUNET_DISK_Seek
224 {
225     /**
226      * Seek an absolute position (from the start of the file).
227      */
228   GNUNET_DISK_SEEK_SET,
229
230     /**
231      * Seek a relative position (from the current offset).
232      */
233   GNUNET_DISK_SEEK_CUR,
234
235     /**
236      * Seek an absolute position from the end of the file.
237      */
238   GNUNET_DISK_SEEK_END
239 };
240
241
242 /**
243  * Enumeration identifying the two ends of a pipe.
244  */
245 enum GNUNET_DISK_PipeEnd
246 {
247     /**
248      * The reading-end of a pipe.
249      */
250   GNUNET_DISK_PIPE_END_READ = 0,
251
252     /**
253      * The writing-end of a pipe.
254      */
255   GNUNET_DISK_PIPE_END_WRITE = 1
256 };
257
258
259 /**
260  * Get the number of blocks that are left on the partition that
261  * contains the given file (for normal users).
262  *
263  * @param part a file on the partition to check
264  * @return -1 on errors, otherwise the number of free blocks
265  */
266 long
267 GNUNET_DISK_get_blocks_available (const char *part);
268
269
270 /**
271  * Checks whether a handle is invalid
272  *
273  * @param h handle to check
274  * @return GNUNET_YES if invalid, GNUNET_NO if valid
275  */
276 int
277 GNUNET_DISK_handle_invalid (const struct GNUNET_DISK_FileHandle *h);
278
279
280 /**
281  * Check that fil corresponds to a filename
282  * (of a file that exists and that is not a directory).
283  *
284  * @param fil filename to check
285  * @return GNUNET_YES if yes, GNUNET_NO if not a file, GNUNET_SYSERR if something
286  * else (will print an error message in that case, too).
287  */
288 int
289 GNUNET_DISK_file_test (const char *fil);
290
291
292 /**
293  * Move the read/write pointer in a file
294  * @param h handle of an open file
295  * @param offset position to move to
296  * @param whence specification to which position the offset parameter relates to
297  * @return the new position on success, GNUNET_SYSERR otherwise
298  */
299 OFF_T
300 GNUNET_DISK_file_seek (const struct GNUNET_DISK_FileHandle *h, OFF_T offset,
301                        enum GNUNET_DISK_Seek whence);
302
303
304 /**
305  * Get the size of the file (or directory)
306  * of the given file (in bytes).
307  *
308  * @param filename name of the file or directory
309  * @param size set to the size of the file (or,
310  *             in the case of directories, the sum
311  *             of all sizes of files in the directory)
312  * @param includeSymLinks should symbolic links be
313  *        included?
314  * @return GNUNET_OK on success, GNUNET_SYSERR on error
315  */
316 int
317 GNUNET_DISK_file_size (const char *filename, uint64_t * size,
318                        int includeSymLinks);
319
320
321 /**
322  * Obtain some unique identifiers for the given file
323  * that can be used to identify it in the local system.
324  * This function is used between GNUnet processes to
325  * quickly check if two files with the same absolute path
326  * are actually identical.  The two processes represent
327  * the same peer but may communicate over the network
328  * (and the file may be on an NFS volume).  This function
329  * may not be supported on all operating systems.
330  *
331  * @param filename name of the file
332  * @param dev set to the device ID
333  * @param ino set to the inode ID
334  * @return GNUNET_OK on success
335  */
336 int
337 GNUNET_DISK_file_get_identifiers (const char *filename, uint64_t * dev,
338                                   uint64_t * ino);
339
340
341 /**
342  * Create an (empty) temporary file on disk.  If the given name is not
343  * an absolute path, the current 'TMPDIR' will be prepended.  In any case,
344  * 6 random characters will be appended to the name to create a unique
345  * filename.
346  *
347  * @param t component to use for the name;
348  *        does NOT contain "XXXXXX" or "/tmp/".
349  * @return NULL on error, otherwise name of fresh
350  *         file on disk in directory for temporary files
351  */
352 char *
353 GNUNET_DISK_mktemp (const char *t);
354
355
356 /**
357  * Open a file.  Note that the access permissions will only be
358  * used if a new file is created and if the underlying operating
359  * system supports the given permissions.
360  *
361  * @param fn file name to be opened
362  * @param flags opening flags, a combination of GNUNET_DISK_OPEN_xxx bit flags
363  * @param perm permissions for the newly created file, use
364  *             GNUNET_DISK_PERM_NONE if a file could not be created by this
365  *             call (because of flags)
366  * @return IO handle on success, NULL on error
367  */
368 struct GNUNET_DISK_FileHandle *
369 GNUNET_DISK_file_open (const char *fn, enum GNUNET_DISK_OpenFlags flags,
370                        enum GNUNET_DISK_AccessPermissions perm);
371
372
373 /**
374  * Get the size of an open file.
375  *
376  * @param fh open file handle
377  * @param size where to write size of the file
378  * @return GNUNET_OK on success, GNUNET_SYSERR on error
379  */
380 int
381 GNUNET_DISK_file_handle_size (struct GNUNET_DISK_FileHandle *fh,
382                               OFF_T *size);
383
384
385 /**
386  * Creates an interprocess channel
387  *
388  * @param blocking_read creates an asynchronous pipe for reading if set to GNUNET_NO
389  * @param blocking_write creates an asynchronous pipe for writing if set to GNUNET_NO
390  * @param inherit_read 1 to make read handle inheritable, 0 otherwise (NT only)
391  * @param inherit_write 1 to make write handle inheritable, 0 otherwise (NT only)
392  * @return handle to the new pipe, NULL on error
393  */
394 struct GNUNET_DISK_PipeHandle *
395 GNUNET_DISK_pipe (int blocking_read, int blocking_write, int inherit_read, int inherit_write);
396
397
398 /**
399  * Creates a pipe object from a couple of file descriptors.
400  * Useful for wrapping existing pipe FDs.
401  *
402  * @param blocking_read creates an asynchronous pipe for reading if set to GNUNET_NO
403  * @param blocking_write creates an asynchronous pipe for writing if set to GNUNET_NO
404  * @param fd an array of two fd values. One of them may be -1 for read-only or write-only pipes
405  *
406  * @return handle to the new pipe, NULL on error
407  */
408 struct GNUNET_DISK_PipeHandle *
409 GNUNET_DISK_pipe_from_fd (int blocking_read, int blocking_write, int fd[2]);
410
411 /**
412  * Closes an interprocess channel
413  * @param p pipe
414  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
415  */
416 int
417 GNUNET_DISK_pipe_close (struct GNUNET_DISK_PipeHandle *p);
418
419 /**
420  * Closes one half of an interprocess channel
421  *
422  * @param p pipe to close end of
423  * @param end which end of the pipe to close
424  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
425  */
426 int
427 GNUNET_DISK_pipe_close_end (struct GNUNET_DISK_PipeHandle *p,
428                             enum GNUNET_DISK_PipeEnd end);
429
430 /**
431  * Close an open file.
432  *
433  * @param h file handle
434  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
435  */
436 int
437 GNUNET_DISK_file_close (struct GNUNET_DISK_FileHandle *h);
438
439
440 /**
441  * Get the handle to a particular pipe end
442  *
443  * @param p pipe
444  * @param n end to access
445  * @return handle for the respective end
446  */
447 const struct GNUNET_DISK_FileHandle *
448 GNUNET_DISK_pipe_handle (const struct GNUNET_DISK_PipeHandle *p,
449                          enum GNUNET_DISK_PipeEnd n);
450
451 /**
452  * Read the contents of a binary file into a buffer.
453  * @param h handle to an open file
454  * @param result the buffer to write the result to
455  * @param len the maximum number of bytes to read
456  * @return the number of bytes read on success, GNUNET_SYSERR on failure
457  */
458 ssize_t
459 GNUNET_DISK_file_read (const struct GNUNET_DISK_FileHandle *h, void *result,
460                        size_t len);
461
462 /**
463  * Read the contents of a binary file into a buffer.
464  * Guarantees not to block (returns GNUNET_SYSERR and sets errno to EAGAIN
465  * when no data can be read).
466  *
467  * @param h handle to an open file
468  * @param result the buffer to write the result to
469  * @param len the maximum number of bytes to read
470  * @return the number of bytes read on success, GNUNET_SYSERR on failure
471  */
472 ssize_t
473 GNUNET_DISK_file_read_non_blocking (const struct GNUNET_DISK_FileHandle * h,
474     void *result, size_t len);
475
476 /**
477  * Read the contents of a binary file into a buffer.
478  *
479  * @param fn file name
480  * @param result the buffer to write the result to
481  * @param len the maximum number of bytes to read
482  * @return number of bytes read, GNUNET_SYSERR on failure
483  */
484 ssize_t
485 GNUNET_DISK_fn_read (const char *fn, void *result, size_t len);
486
487
488 /**
489  * Write a buffer to a file.
490  *
491  * @param h handle to open file
492  * @param buffer the data to write
493  * @param n number of bytes to write
494  * @return number of bytes written on success, GNUNET_SYSERR on error
495  */
496 ssize_t
497 GNUNET_DISK_file_write (const struct GNUNET_DISK_FileHandle *h,
498                         const void *buffer, size_t n);
499
500
501 /**
502  * Write a buffer to a file, blocking, if necessary.
503  * @param h handle to open file
504  * @param buffer the data to write
505  * @param n number of bytes to write
506  * @return number of bytes written on success, GNUNET_SYSERR on error
507  */
508 ssize_t
509 GNUNET_DISK_file_write_blocking (const struct GNUNET_DISK_FileHandle * h,
510     const void *buffer, size_t n);
511
512 /**
513  * Write a buffer to a file.  If the file is longer than
514  * the given buffer size, it will be truncated.
515  *
516  * @param fn file name
517  * @param buffer the data to write
518  * @param n number of bytes to write
519  * @param mode file permissions
520  * @return number of bytes written on success, GNUNET_SYSERR on error
521  */
522 ssize_t
523 GNUNET_DISK_fn_write (const char *fn, const void *buffer, size_t n,
524                       enum GNUNET_DISK_AccessPermissions mode);
525
526
527 /**
528  * Copy a file.
529  *
530  * @param src file to copy
531  * @param dst destination file name
532  * @return GNUNET_OK on success, GNUNET_SYSERR on error
533  */
534 int
535 GNUNET_DISK_file_copy (const char *src, const char *dst);
536
537
538 /**
539  * Scan a directory for files.
540  *
541  * @param dirName the name of the directory
542  * @param callback the method to call for each file
543  * @param callback_cls closure for callback
544  * @return the number of files found, -1 on error
545  */
546 int
547 GNUNET_DISK_directory_scan (const char *dirName,
548                             GNUNET_FileNameCallback callback,
549                             void *callback_cls);
550
551
552 /**
553  * Opaque handle used for iterating over a directory.
554  */
555 struct GNUNET_DISK_DirectoryIterator;
556
557
558 /**
559  * Function called to iterate over a directory.
560  *
561  * @param cls closure
562  * @param di argument to pass to "GNUNET_DISK_directory_iterator_next" to
563  *           get called on the next entry (or finish cleanly);
564  *           NULL on error (will be the last call in that case)
565  * @param filename complete filename (absolute path)
566  * @param dirname directory name (absolute path)
567  */
568 typedef void (*GNUNET_DISK_DirectoryIteratorCallback) (void *cls,
569                                                        struct
570                                                        GNUNET_DISK_DirectoryIterator
571                                                        * di,
572                                                        const char *filename,
573                                                        const char *dirname);
574
575
576 /**
577  * This function must be called during the DiskIteratorCallback
578  * (exactly once) to schedule the task to process the next
579  * filename in the directory (if there is one).
580  *
581  * @param iter opaque handle for the iterator
582  * @param can set to GNUNET_YES to terminate the iteration early
583  * @return GNUNET_YES if iteration will continue,
584  *         GNUNET_NO if this was the last entry (and iteration is complete),
585  *         GNUNET_SYSERR if "can" was YES
586  */
587 int
588 GNUNET_DISK_directory_iterator_next (struct GNUNET_DISK_DirectoryIterator *iter,
589                                      int can);
590
591
592 /**
593  * Scan a directory for files using the scheduler to run a task for
594  * each entry.  The name of the directory must be expanded first (!).
595  * If a scheduler does not need to be used, GNUNET_DISK_directory_scan
596  * may provide a simpler API.
597  *
598  * @param prio priority to use
599  * @param dirName the name of the directory
600  * @param callback the method to call for each file
601  * @param callback_cls closure for callback
602  * @return GNUNET_YES if directory is not empty and 'callback'
603  *         will be called later, GNUNET_NO otherwise, GNUNET_SYSERR on error.
604  */
605 int
606 GNUNET_DISK_directory_iterator_start (enum GNUNET_SCHEDULER_Priority prio,
607                                       const char *dirName,
608                                       GNUNET_DISK_DirectoryIteratorCallback
609                                       callback, void *callback_cls);
610
611
612 /**
613  * Create the directory structure for storing
614  * a file.
615  *
616  * @param filename name of a file in the directory
617  * @returns GNUNET_OK on success, GNUNET_SYSERR on failure,
618  *          GNUNET_NO if directory exists but is not writeable
619  */
620 int
621 GNUNET_DISK_directory_create_for_file (const char *filename);
622
623
624 /**
625  * Test if "fil" is a directory that can be accessed.
626  * Will not print an error message if the directory
627  * does not exist.  Will log errors if GNUNET_SYSERR is
628  * returned.
629  *
630  * @param fil filename to test
631  * @return GNUNET_YES if yes, GNUNET_NO if does not exist, GNUNET_SYSERR
632  *   on any error and if exists but not directory
633  */
634 int
635 GNUNET_DISK_directory_test (const char *fil);
636
637
638 /**
639  * Remove all files in a directory (rm -rf). Call with
640  * caution.
641  *
642  * @param fileName the file to remove
643  * @return GNUNET_OK on success, GNUNET_SYSERR on error
644  */
645 int
646 GNUNET_DISK_directory_remove (const char *fileName);
647
648
649 /**
650  * Implementation of "mkdir -p"
651  *
652  * @param dir the directory to create
653  * @returns GNUNET_SYSERR on failure, GNUNET_OK otherwise
654  */
655 int
656 GNUNET_DISK_directory_create (const char *dir);
657
658
659 /**
660  * Lock a part of a file.
661  *
662  * @param fh file handle
663  * @param lockStart absolute position from where to lock
664  * @param lockEnd absolute position until where to lock
665  * @param excl GNUNET_YES for an exclusive lock
666  * @return GNUNET_OK on success, GNUNET_SYSERR on error
667  */
668 int
669 GNUNET_DISK_file_lock (struct GNUNET_DISK_FileHandle *fh, OFF_T lockStart,
670                        OFF_T lockEnd, int excl);
671
672
673 /**
674  * Unlock a part of a file
675  * @param fh file handle
676  * @param unlockStart absolute position from where to unlock
677  * @param unlockEnd absolute position until where to unlock
678  * @return GNUNET_OK on success, GNUNET_SYSERR on error
679  */
680 int
681 GNUNET_DISK_file_unlock (struct GNUNET_DISK_FileHandle *fh, OFF_T unlockStart,
682                          OFF_T unlockEnd);
683
684
685 /**
686  * @brief Removes special characters as ':' from a filename.
687  * @param fn the filename to canonicalize
688  */
689 void
690 GNUNET_DISK_filename_canonicalize (char *fn);
691
692
693 /**
694  * @brief Change owner of a file
695  * @param filename file to change
696  * @param user new owner of the file
697  * @return GNUNET_OK on success, GNUNET_SYSERR on failure
698  */
699 int
700 GNUNET_DISK_file_change_owner (const char *filename, const char *user);
701
702
703 /**
704  * Construct full path to a file inside of the private
705  * directory used by GNUnet.  Also creates the corresponding
706  * directory.  If the resulting name is supposed to be
707  * a directory, end the last argument in '/' (or pass
708  * DIR_SEPARATOR_STR as the last argument before NULL).
709  *
710  * @param cfg configuration to use
711  * @param serviceName name of the service asking
712  * @param ... is NULL-terminated list of
713  *                path components to append to the
714  *                private directory name.
715  * @return the constructed filename
716  */
717 char *
718 GNUNET_DISK_get_home_filename (const struct GNUNET_CONFIGURATION_Handle *cfg,
719                                const char *serviceName, ...);
720
721
722 /**
723  * Opaque handle for a memory-mapping operation.
724  */
725 struct GNUNET_DISK_MapHandle;
726
727 /**
728  * Map a file into memory
729  * @param h open file handle
730  * @param m handle to the new mapping (will be set)
731  * @param access access specification, GNUNET_DISK_MAP_TYPE_xxx
732  * @param len size of the mapping
733  * @return pointer to the mapped memory region, NULL on failure
734  */
735 void *
736 GNUNET_DISK_file_map (const struct GNUNET_DISK_FileHandle *h,
737                       struct GNUNET_DISK_MapHandle **m,
738                       enum GNUNET_DISK_MapType access, size_t len);
739
740 /**
741  * Unmap a file
742  *
743  * @param h mapping handle
744  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
745  */
746 int
747 GNUNET_DISK_file_unmap (struct GNUNET_DISK_MapHandle *h);
748
749 /**
750  * Write file changes to disk
751  * @param h handle to an open file
752  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
753  */
754 int
755 GNUNET_DISK_file_sync (const struct GNUNET_DISK_FileHandle *h);
756
757
758 #if 0                           /* keep Emacsens' auto-indent happy */
759 {
760 #endif
761 #ifdef __cplusplus
762 }
763 #endif
764
765
766 /* ifndef GNUNET_DISK_LIB_H */
767 #endif
768 /* end of gnunet_disk_lib.h */