ae9cdbbe95893af2f931bb4dd24d26508dd32941
[oweals/gnunet.git] / src / include / gnunet_disk_lib.h
1 /*
2      This file is part of GNUnet.
3      (C) 2001, 2002, 2003, 2004, 2005, 2006, 2009 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 2, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file include/gnunet_disk_lib.h
23  * @brief disk IO apis
24  */
25 #ifndef GNUNET_DISK_LIB_H
26 #define GNUNET_DISK_LIB_H
27
28 #if WINDOWS
29 #define OFF_T uint64_t
30 #else
31 #define OFF_T off_t
32 #endif
33
34 /**
35  * Handle used to manage a pipe.
36  */
37 struct GNUNET_DISK_PipeHandle;
38
39
40 enum GNUNET_FILE_Type
41 {
42   GNUNET_DISK_FILE, GNUNET_PIPE
43 };
44
45 /**
46  * Handle used to access files (and pipes).
47  */
48 struct GNUNET_DISK_FileHandle
49 {
50
51 #if WINDOWS
52   /**
53    * File handle under W32.
54    */
55   HANDLE h;
56
57   /**
58    * Type
59    */
60   enum GNUNET_FILE_Type type;
61
62   /**
63    * Structure for overlapped reading (for pipes)
64    */
65   OVERLAPPED *oOverlapRead;
66
67   /**
68    * Structure for overlapped writing (for pipes)
69    */
70   OVERLAPPED *oOverlapWrite;
71 #else
72
73   /**
74    * File handle on other OSes.
75    */
76   int fd;
77
78 #endif                          /*
79                                  */
80 };
81
82
83 /* we need size_t, and since it can be both unsigned int
84    or unsigned long long, this IS platform dependent;
85    but "stdlib.h" should be portable 'enough' to be
86    unconditionally available... */
87 #include <stdlib.h>
88 #include "gnunet_configuration_lib.h"
89 #include "gnunet_scheduler_lib.h"
90
91 #ifdef __cplusplus
92 extern "C"
93 {
94 #if 0                           /* keep Emacsens' auto-indent happy */
95 }
96 #endif
97 #endif
98
99
100 /**
101  * Specifies how a file should be opened.
102  */
103 enum GNUNET_DISK_OpenFlags
104 {
105
106     /**
107      * Open the file for reading
108      */
109   GNUNET_DISK_OPEN_READ = 1,
110
111     /**
112      * Open the file for writing
113      */
114   GNUNET_DISK_OPEN_WRITE = 2,
115
116     /**
117      * Open the file for both reading and writing
118      */
119   GNUNET_DISK_OPEN_READWRITE = 3,
120
121     /**
122      * Fail if file already exists
123      */
124   GNUNET_DISK_OPEN_FAILIFEXISTS = 4,
125
126     /**
127      * Truncate file if it exists
128      */
129   GNUNET_DISK_OPEN_TRUNCATE = 8,
130
131     /**
132      * Create file if it doesn't exist
133      */
134   GNUNET_DISK_OPEN_CREATE = 16,
135
136     /**
137      * Append to the file
138      */
139   GNUNET_DISK_OPEN_APPEND = 32
140 };
141
142 /**
143  * Specifies what type of memory map is desired.
144  */
145 enum GNUNET_DISK_MapType
146 {
147     /**
148      * Read-only memory map.
149      */
150   GNUNET_DISK_MAP_TYPE_READ = 1,
151
152     /**
153      * Write-able memory map.
154      */
155   GNUNET_DISK_MAP_TYPE_WRITE = 2,
156     /**
157      * Read-write memory map.
158      */
159   GNUNET_DISK_MAP_TYPE_READWRITE = 3
160 };
161
162
163 /**
164  * File access permissions, UNIX-style.
165  */
166 enum GNUNET_DISK_AccessPermissions
167 {
168     /**
169      * Nobody is allowed to do anything to the file.
170      */
171   GNUNET_DISK_PERM_NONE = 0,
172
173     /**
174      * Owner can read.
175      */
176   GNUNET_DISK_PERM_USER_READ = 1,
177
178     /**
179      * Owner can write.
180      */
181   GNUNET_DISK_PERM_USER_WRITE = 2,
182
183     /**
184      * Owner can execute.
185      */
186   GNUNET_DISK_PERM_USER_EXEC = 4,
187
188     /**
189      * Group can read.
190      */
191   GNUNET_DISK_PERM_GROUP_READ = 8,
192
193     /**
194      * Group can write.
195      */
196   GNUNET_DISK_PERM_GROUP_WRITE = 16,
197
198     /**
199      * Group can execute.
200      */
201   GNUNET_DISK_PERM_GROUP_EXEC = 32,
202
203     /**
204      * Everybody can read.
205      */
206   GNUNET_DISK_PERM_OTHER_READ = 64,
207
208     /**
209      * Everybody can write.
210      */
211   GNUNET_DISK_PERM_OTHER_WRITE = 128,
212
213     /**
214      * Everybody can execute.
215      */
216   GNUNET_DISK_PERM_OTHER_EXEC = 256
217 };
218
219
220 /**
221  * Constants for specifying how to seek.
222  */
223 enum GNUNET_DISK_Seek
224 {
225     /**
226      * Seek an absolute position (from the start of the file).
227      */
228   GNUNET_DISK_SEEK_SET,
229
230     /**
231      * Seek a relative position (from the current offset).
232      */
233   GNUNET_DISK_SEEK_CUR,
234
235     /**
236      * Seek an absolute position from the end of the file.
237      */
238   GNUNET_DISK_SEEK_END
239 };
240
241
242 /**
243  * Enumeration identifying the two ends of a pipe.
244  */
245 enum GNUNET_DISK_PipeEnd
246 {
247     /**
248      * The reading-end of a pipe.
249      */
250   GNUNET_DISK_PIPE_END_READ = 0,
251
252     /**
253      * The writing-end of a pipe.
254      */
255   GNUNET_DISK_PIPE_END_WRITE = 1
256 };
257
258
259 /**
260  * Get the number of blocks that are left on the partition that
261  * contains the given file (for normal users).
262  *
263  * @param part a file on the partition to check
264  * @return -1 on errors, otherwise the number of free blocks
265  */
266 long
267 GNUNET_DISK_get_blocks_available (const char *part);
268
269
270 /**
271  * Checks whether a handle is invalid
272  *
273  * @param h handle to check
274  * @return GNUNET_YES if invalid, GNUNET_NO if valid
275  */
276 int
277 GNUNET_DISK_handle_invalid (const struct GNUNET_DISK_FileHandle *h);
278
279
280 /**
281  * Check that fil corresponds to a filename
282  * (of a file that exists and that is not a directory).
283  *
284  * @param fil filename to check
285  * @return GNUNET_YES if yes, GNUNET_NO if not a file, GNUNET_SYSERR if something
286  * else (will print an error message in that case, too).
287  */
288 int
289 GNUNET_DISK_file_test (const char *fil);
290
291
292 /**
293  * Move the read/write pointer in a file
294  * @param h handle of an open file
295  * @param offset position to move to
296  * @param whence specification to which position the offset parameter relates to
297  * @return the new position on success, GNUNET_SYSERR otherwise
298  */
299 OFF_T
300 GNUNET_DISK_file_seek (const struct GNUNET_DISK_FileHandle *h, OFF_T offset,
301                        enum GNUNET_DISK_Seek whence);
302
303
304 /**
305  * Get the size of the file (or directory) of the given file (in
306  * bytes).
307  *
308  * @param filename name of the file or directory
309  * @param size set to the size of the file (or,
310  *             in the case of directories, the sum
311  *             of all sizes of files in the directory)
312  * @param includeSymLinks should symbolic links be
313  *        included?
314  * @param singleFileMode GNUNET_YES to only get size of one file
315  *        and return GNUNET_SYSERR for directories.
316  * @return GNUNET_SYSERR on error, GNUNET_OK on success
317  */
318 int
319 GNUNET_DISK_file_size (const char *filename, uint64_t * size,
320                        int includeSymLinks, int singleFileMode);
321
322
323 /**
324  * Obtain some unique identifiers for the given file
325  * that can be used to identify it in the local system.
326  * This function is used between GNUnet processes to
327  * quickly check if two files with the same absolute path
328  * are actually identical.  The two processes represent
329  * the same peer but may communicate over the network
330  * (and the file may be on an NFS volume).  This function
331  * may not be supported on all operating systems.
332  *
333  * @param filename name of the file
334  * @param dev set to the device ID
335  * @param ino set to the inode ID
336  * @return GNUNET_OK on success
337  */
338 int
339 GNUNET_DISK_file_get_identifiers (const char *filename, uint64_t * dev,
340                                   uint64_t * ino);
341
342
343 /**
344  * Create an (empty) temporary file on disk.  If the given name is not
345  * an absolute path, the current 'TMPDIR' will be prepended.  In any case,
346  * 6 random characters will be appended to the name to create a unique
347  * filename.
348  *
349  * @param t component to use for the name;
350  *        does NOT contain "XXXXXX" or "/tmp/".
351  * @return NULL on error, otherwise name of fresh
352  *         file on disk in directory for temporary files
353  */
354 char *
355 GNUNET_DISK_mktemp (const char *t);
356
357
358 /**
359  * Create an (empty) temporary file on disk.  If the given name is not
360  * an absolute path, the current 'TMPDIR' will be prepended.  In any case,
361  * 6 random characters will be appended to the name to create a unique
362  * filename.
363  *
364  * @param t component to use for the name;
365  *        does NOT contain "XXXXXX" or "/tmp/".
366  * @return NULL on error, otherwise name of fresh
367  *         file on disk in directory for temporary files
368  */
369 char *
370 GNUNET_DISK_mkdtemp (const char *t);
371
372
373 /**
374  * Open a file.  Note that the access permissions will only be
375  * used if a new file is created and if the underlying operating
376  * system supports the given permissions.
377  *
378  * @param fn file name to be opened
379  * @param flags opening flags, a combination of GNUNET_DISK_OPEN_xxx bit flags
380  * @param perm permissions for the newly created file, use
381  *             GNUNET_DISK_PERM_NONE if a file could not be created by this
382  *             call (because of flags)
383  * @return IO handle on success, NULL on error
384  */
385 struct GNUNET_DISK_FileHandle *
386 GNUNET_DISK_file_open (const char *fn, enum GNUNET_DISK_OpenFlags flags,
387                        enum GNUNET_DISK_AccessPermissions perm);
388
389
390 /**
391  * Get the size of an open file.
392  *
393  * @param fh open file handle
394  * @param size where to write size of the file
395  * @return GNUNET_OK on success, GNUNET_SYSERR on error
396  */
397 int
398 GNUNET_DISK_file_handle_size (struct GNUNET_DISK_FileHandle *fh,
399                               OFF_T *size);
400
401
402 /**
403  * Creates an interprocess channel
404  *
405  * @param blocking_read creates an asynchronous pipe for reading if set to GNUNET_NO
406  * @param blocking_write creates an asynchronous pipe for writing if set to GNUNET_NO
407  * @param inherit_read 1 to make read handle inheritable, 0 otherwise (NT only)
408  * @param inherit_write 1 to make write handle inheritable, 0 otherwise (NT only)
409  * @return handle to the new pipe, NULL on error
410  */
411 struct GNUNET_DISK_PipeHandle *
412 GNUNET_DISK_pipe (int blocking_read, int blocking_write, int inherit_read, int inherit_write);
413
414
415 /**
416  * Creates a pipe object from a couple of file descriptors.
417  * Useful for wrapping existing pipe FDs.
418  *
419  * @param blocking_read creates an asynchronous pipe for reading if set to GNUNET_NO
420  * @param blocking_write creates an asynchronous pipe for writing if set to GNUNET_NO
421  * @param fd an array of two fd values. One of them may be -1 for read-only or write-only pipes
422  *
423  * @return handle to the new pipe, NULL on error
424  */
425 struct GNUNET_DISK_PipeHandle *
426 GNUNET_DISK_pipe_from_fd (int blocking_read, int blocking_write, int fd[2]);
427
428 /**
429  * Closes an interprocess channel
430  * @param p pipe
431  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
432  */
433 int
434 GNUNET_DISK_pipe_close (struct GNUNET_DISK_PipeHandle *p);
435
436 /**
437  * Closes one half of an interprocess channel
438  *
439  * @param p pipe to close end of
440  * @param end which end of the pipe to close
441  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
442  */
443 int
444 GNUNET_DISK_pipe_close_end (struct GNUNET_DISK_PipeHandle *p,
445                             enum GNUNET_DISK_PipeEnd end);
446
447 /**
448  * Close an open file.
449  *
450  * @param h file handle
451  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
452  */
453 int
454 GNUNET_DISK_file_close (struct GNUNET_DISK_FileHandle *h);
455
456
457 /**
458  * Get the handle to a particular pipe end
459  *
460  * @param p pipe
461  * @param n end to access
462  * @return handle for the respective end
463  */
464 const struct GNUNET_DISK_FileHandle *
465 GNUNET_DISK_pipe_handle (const struct GNUNET_DISK_PipeHandle *p,
466                          enum GNUNET_DISK_PipeEnd n);
467
468 /**
469  * Read the contents of a binary file into a buffer.
470  * @param h handle to an open file
471  * @param result the buffer to write the result to
472  * @param len the maximum number of bytes to read
473  * @return the number of bytes read on success, GNUNET_SYSERR on failure
474  */
475 ssize_t
476 GNUNET_DISK_file_read (const struct GNUNET_DISK_FileHandle *h, void *result,
477                        size_t len);
478
479 /**
480  * Read the contents of a binary file into a buffer.
481  * Guarantees not to block (returns GNUNET_SYSERR and sets errno to EAGAIN
482  * when no data can be read).
483  *
484  * @param h handle to an open file
485  * @param result the buffer to write the result to
486  * @param len the maximum number of bytes to read
487  * @return the number of bytes read on success, GNUNET_SYSERR on failure
488  */
489 ssize_t
490 GNUNET_DISK_file_read_non_blocking (const struct GNUNET_DISK_FileHandle * h,
491     void *result, size_t len);
492
493 /**
494  * Read the contents of a binary file into a buffer.
495  *
496  * @param fn file name
497  * @param result the buffer to write the result to
498  * @param len the maximum number of bytes to read
499  * @return number of bytes read, GNUNET_SYSERR on failure
500  */
501 ssize_t
502 GNUNET_DISK_fn_read (const char *fn, void *result, size_t len);
503
504
505 /**
506  * Write a buffer to a file.
507  *
508  * @param h handle to open file
509  * @param buffer the data to write
510  * @param n number of bytes to write
511  * @return number of bytes written on success, GNUNET_SYSERR on error
512  */
513 ssize_t
514 GNUNET_DISK_file_write (const struct GNUNET_DISK_FileHandle *h,
515                         const void *buffer, size_t n);
516
517
518 /**
519  * Write a buffer to a file, blocking, if necessary.
520  * @param h handle to open file
521  * @param buffer the data to write
522  * @param n number of bytes to write
523  * @return number of bytes written on success, GNUNET_SYSERR on error
524  */
525 ssize_t
526 GNUNET_DISK_file_write_blocking (const struct GNUNET_DISK_FileHandle * h,
527     const void *buffer, size_t n);
528
529 /**
530  * Write a buffer to a file.  If the file is longer than
531  * the given buffer size, it will be truncated.
532  *
533  * @param fn file name
534  * @param buffer the data to write
535  * @param n number of bytes to write
536  * @param mode file permissions
537  * @return number of bytes written on success, GNUNET_SYSERR on error
538  */
539 ssize_t
540 GNUNET_DISK_fn_write (const char *fn, const void *buffer, size_t n,
541                       enum GNUNET_DISK_AccessPermissions mode);
542
543
544 /**
545  * Copy a file.
546  *
547  * @param src file to copy
548  * @param dst destination file name
549  * @return GNUNET_OK on success, GNUNET_SYSERR on error
550  */
551 int
552 GNUNET_DISK_file_copy (const char *src, const char *dst);
553
554
555 /**
556  * Scan a directory for files.
557  *
558  * @param dirName the name of the directory
559  * @param callback the method to call for each file
560  * @param callback_cls closure for callback
561  * @return the number of files found, -1 on error
562  */
563 int
564 GNUNET_DISK_directory_scan (const char *dirName,
565                             GNUNET_FileNameCallback callback,
566                             void *callback_cls);
567
568
569 /**
570  * Opaque handle used for iterating over a directory.
571  */
572 struct GNUNET_DISK_DirectoryIterator;
573
574
575 /**
576  * Function called to iterate over a directory.
577  *
578  * @param cls closure
579  * @param di argument to pass to "GNUNET_DISK_directory_iterator_next" to
580  *           get called on the next entry (or finish cleanly);
581  *           NULL on error (will be the last call in that case)
582  * @param filename complete filename (absolute path)
583  * @param dirname directory name (absolute path)
584  */
585 typedef void (*GNUNET_DISK_DirectoryIteratorCallback) (void *cls,
586                                                        struct
587                                                        GNUNET_DISK_DirectoryIterator
588                                                        * di,
589                                                        const char *filename,
590                                                        const char *dirname);
591
592
593 /**
594  * This function must be called during the DiskIteratorCallback
595  * (exactly once) to schedule the task to process the next
596  * filename in the directory (if there is one).
597  *
598  * @param iter opaque handle for the iterator
599  * @param can set to GNUNET_YES to terminate the iteration early
600  * @return GNUNET_YES if iteration will continue,
601  *         GNUNET_NO if this was the last entry (and iteration is complete),
602  *         GNUNET_SYSERR if "can" was YES
603  */
604 int
605 GNUNET_DISK_directory_iterator_next (struct GNUNET_DISK_DirectoryIterator *iter,
606                                      int can);
607
608
609 /**
610  * Scan a directory for files using the scheduler to run a task for
611  * each entry.  The name of the directory must be expanded first (!).
612  * If a scheduler does not need to be used, GNUNET_DISK_directory_scan
613  * may provide a simpler API.
614  *
615  * @param prio priority to use
616  * @param dirName the name of the directory
617  * @param callback the method to call for each file
618  * @param callback_cls closure for callback
619  * @return GNUNET_YES if directory is not empty and 'callback'
620  *         will be called later, GNUNET_NO otherwise, GNUNET_SYSERR on error.
621  */
622 int
623 GNUNET_DISK_directory_iterator_start (enum GNUNET_SCHEDULER_Priority prio,
624                                       const char *dirName,
625                                       GNUNET_DISK_DirectoryIteratorCallback
626                                       callback, void *callback_cls);
627
628
629 /**
630  * Create the directory structure for storing
631  * a file.
632  *
633  * @param filename name of a file in the directory
634  * @returns GNUNET_OK on success, GNUNET_SYSERR on failure,
635  *          GNUNET_NO if directory exists but is not writeable
636  */
637 int
638 GNUNET_DISK_directory_create_for_file (const char *filename);
639
640
641 /**
642  * Test if "fil" is a directory that can be accessed.
643  * Will not print an error message if the directory
644  * does not exist.  Will log errors if GNUNET_SYSERR is
645  * returned.
646  *
647  * @param fil filename to test
648  * @return GNUNET_YES if yes, GNUNET_NO if does not exist, GNUNET_SYSERR
649  *   on any error and if exists but not directory
650  */
651 int
652 GNUNET_DISK_directory_test (const char *fil);
653
654
655 /**
656  * Remove all files in a directory (rm -rf). Call with
657  * caution.
658  *
659  * @param fileName the file to remove
660  * @return GNUNET_OK on success, GNUNET_SYSERR on error
661  */
662 int
663 GNUNET_DISK_directory_remove (const char *fileName);
664
665
666 /**
667  * Implementation of "mkdir -p"
668  *
669  * @param dir the directory to create
670  * @returns GNUNET_SYSERR on failure, GNUNET_OK otherwise
671  */
672 int
673 GNUNET_DISK_directory_create (const char *dir);
674
675
676 /**
677  * Lock a part of a file.
678  *
679  * @param fh file handle
680  * @param lockStart absolute position from where to lock
681  * @param lockEnd absolute position until where to lock
682  * @param excl GNUNET_YES for an exclusive lock
683  * @return GNUNET_OK on success, GNUNET_SYSERR on error
684  */
685 int
686 GNUNET_DISK_file_lock (struct GNUNET_DISK_FileHandle *fh, OFF_T lockStart,
687                        OFF_T lockEnd, int excl);
688
689
690 /**
691  * Unlock a part of a file
692  * @param fh file handle
693  * @param unlockStart absolute position from where to unlock
694  * @param unlockEnd absolute position until where to unlock
695  * @return GNUNET_OK on success, GNUNET_SYSERR on error
696  */
697 int
698 GNUNET_DISK_file_unlock (struct GNUNET_DISK_FileHandle *fh, OFF_T unlockStart,
699                          OFF_T unlockEnd);
700
701
702 /**
703  * @brief Removes special characters as ':' from a filename.
704  * @param fn the filename to canonicalize
705  */
706 void
707 GNUNET_DISK_filename_canonicalize (char *fn);
708
709
710 /**
711  * @brief Change owner of a file
712  * @param filename file to change
713  * @param user new owner of the file
714  * @return GNUNET_OK on success, GNUNET_SYSERR on failure
715  */
716 int
717 GNUNET_DISK_file_change_owner (const char *filename, const char *user);
718
719
720 /**
721  * Construct full path to a file inside of the private
722  * directory used by GNUnet.  Also creates the corresponding
723  * directory.  If the resulting name is supposed to be
724  * a directory, end the last argument in '/' (or pass
725  * DIR_SEPARATOR_STR as the last argument before NULL).
726  *
727  * @param cfg configuration to use
728  * @param serviceName name of the service asking
729  * @param ... is NULL-terminated list of
730  *                path components to append to the
731  *                private directory name.
732  * @return the constructed filename
733  */
734 char *
735 GNUNET_DISK_get_home_filename (const struct GNUNET_CONFIGURATION_Handle *cfg,
736                                const char *serviceName, ...);
737
738
739 /**
740  * Opaque handle for a memory-mapping operation.
741  */
742 struct GNUNET_DISK_MapHandle;
743
744 /**
745  * Map a file into memory
746  * @param h open file handle
747  * @param m handle to the new mapping (will be set)
748  * @param access access specification, GNUNET_DISK_MAP_TYPE_xxx
749  * @param len size of the mapping
750  * @return pointer to the mapped memory region, NULL on failure
751  */
752 void *
753 GNUNET_DISK_file_map (const struct GNUNET_DISK_FileHandle *h,
754                       struct GNUNET_DISK_MapHandle **m,
755                       enum GNUNET_DISK_MapType access, size_t len);
756
757 /**
758  * Unmap a file
759  *
760  * @param h mapping handle
761  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
762  */
763 int
764 GNUNET_DISK_file_unmap (struct GNUNET_DISK_MapHandle *h);
765
766 /**
767  * Write file changes to disk
768  * @param h handle to an open file
769  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
770  */
771 int
772 GNUNET_DISK_file_sync (const struct GNUNET_DISK_FileHandle *h);
773
774
775 #if 0                           /* keep Emacsens' auto-indent happy */
776 {
777 #endif
778 #ifdef __cplusplus
779 }
780 #endif
781
782
783 /* ifndef GNUNET_DISK_LIB_H */
784 #endif
785 /* end of gnunet_disk_lib.h */