- fixed string to address parsing
[oweals/gnunet.git] / src / include / gnunet_disk_lib.h
1 /*
2      This file is part of GNUnet.
3      (C) 2001, 2002, 2003, 2004, 2005, 2006, 2009 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 2, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file include/gnunet_disk_lib.h
23  * @brief disk IO apis
24  */
25 #ifndef GNUNET_DISK_LIB_H
26 #define GNUNET_DISK_LIB_H
27
28 #if WINDOWS
29 #define OFF_T uint64_t
30 #else
31 #define OFF_T off_t
32 #endif
33
34 /**
35  * Handle used to manage a pipe.
36  */
37 struct GNUNET_DISK_PipeHandle;
38
39
40 enum GNUNET_FILE_Type
41 {
42   GNUNET_DISK_FILE, GNUNET_PIPE
43 };
44
45 /**
46  * Handle used to access files (and pipes).
47  */
48 struct GNUNET_DISK_FileHandle
49 {
50
51 #if WINDOWS
52   /**
53    * File handle under W32.
54    */
55   HANDLE h;
56
57   /**
58    * Type
59    */
60   enum GNUNET_FILE_Type type;
61
62   /**
63    * Structure for overlapped reading (for pipes)
64    */
65   OVERLAPPED *oOverlapRead;
66
67   /**
68    * Structure for overlapped writing (for pipes)
69    */
70   OVERLAPPED *oOverlapWrite;
71 #else
72
73   /**
74    * File handle on other OSes.
75    */
76   int fd;
77
78 #endif                          /*
79                                  */
80 };
81
82
83 /* we need size_t, and since it can be both unsigned int
84    or unsigned long long, this IS platform dependent;
85    but "stdlib.h" should be portable 'enough' to be
86    unconditionally available... */
87 #include <stdlib.h>
88 #include "gnunet_configuration_lib.h"
89 #include "gnunet_scheduler_lib.h"
90
91 #ifdef __cplusplus
92 extern "C"
93 {
94 #if 0                           /* keep Emacsens' auto-indent happy */
95 }
96 #endif
97 #endif
98
99
100 /**
101  * Specifies how a file should be opened.
102  */
103 enum GNUNET_DISK_OpenFlags
104 {
105
106     /**
107      * Open the file for reading
108      */
109   GNUNET_DISK_OPEN_READ = 1,
110
111     /**
112      * Open the file for writing
113      */
114   GNUNET_DISK_OPEN_WRITE = 2,
115
116     /**
117      * Open the file for both reading and writing
118      */
119   GNUNET_DISK_OPEN_READWRITE = 3,
120
121     /**
122      * Fail if file already exists
123      */
124   GNUNET_DISK_OPEN_FAILIFEXISTS = 4,
125
126     /**
127      * Truncate file if it exists
128      */
129   GNUNET_DISK_OPEN_TRUNCATE = 8,
130
131     /**
132      * Create file if it doesn't exist
133      */
134   GNUNET_DISK_OPEN_CREATE = 16,
135
136     /**
137      * Append to the file
138      */
139   GNUNET_DISK_OPEN_APPEND = 32
140 };
141
142 /**
143  * Specifies what type of memory map is desired.
144  */
145 enum GNUNET_DISK_MapType
146 {
147     /**
148      * Read-only memory map.
149      */
150   GNUNET_DISK_MAP_TYPE_READ = 1,
151
152     /**
153      * Write-able memory map.
154      */
155   GNUNET_DISK_MAP_TYPE_WRITE = 2,
156     /**
157      * Read-write memory map.
158      */
159   GNUNET_DISK_MAP_TYPE_READWRITE = 3
160 };
161
162
163 /**
164  * File access permissions, UNIX-style.
165  */
166 enum GNUNET_DISK_AccessPermissions
167 {
168     /**
169      * Nobody is allowed to do anything to the file.
170      */
171   GNUNET_DISK_PERM_NONE = 0,
172
173     /**
174      * Owner can read.
175      */
176   GNUNET_DISK_PERM_USER_READ = 1,
177
178     /**
179      * Owner can write.
180      */
181   GNUNET_DISK_PERM_USER_WRITE = 2,
182
183     /**
184      * Owner can execute.
185      */
186   GNUNET_DISK_PERM_USER_EXEC = 4,
187
188     /**
189      * Group can read.
190      */
191   GNUNET_DISK_PERM_GROUP_READ = 8,
192
193     /**
194      * Group can write.
195      */
196   GNUNET_DISK_PERM_GROUP_WRITE = 16,
197
198     /**
199      * Group can execute.
200      */
201   GNUNET_DISK_PERM_GROUP_EXEC = 32,
202
203     /**
204      * Everybody can read.
205      */
206   GNUNET_DISK_PERM_OTHER_READ = 64,
207
208     /**
209      * Everybody can write.
210      */
211   GNUNET_DISK_PERM_OTHER_WRITE = 128,
212
213     /**
214      * Everybody can execute.
215      */
216   GNUNET_DISK_PERM_OTHER_EXEC = 256
217 };
218
219
220 /**
221  * Constants for specifying how to seek.
222  */
223 enum GNUNET_DISK_Seek
224 {
225     /**
226      * Seek an absolute position (from the start of the file).
227      */
228   GNUNET_DISK_SEEK_SET,
229
230     /**
231      * Seek a relative position (from the current offset).
232      */
233   GNUNET_DISK_SEEK_CUR,
234
235     /**
236      * Seek an absolute position from the end of the file.
237      */
238   GNUNET_DISK_SEEK_END
239 };
240
241
242 /**
243  * Enumeration identifying the two ends of a pipe.
244  */
245 enum GNUNET_DISK_PipeEnd
246 {
247     /**
248      * The reading-end of a pipe.
249      */
250   GNUNET_DISK_PIPE_END_READ = 0,
251
252     /**
253      * The writing-end of a pipe.
254      */
255   GNUNET_DISK_PIPE_END_WRITE = 1
256 };
257
258
259 /**
260  * Get the number of blocks that are left on the partition that
261  * contains the given file (for normal users).
262  *
263  * @param part a file on the partition to check
264  * @return -1 on errors, otherwise the number of free blocks
265  */
266 long
267 GNUNET_DISK_get_blocks_available (const char *part);
268
269
270 /**
271  * Checks whether a handle is invalid
272  *
273  * @param h handle to check
274  * @return GNUNET_YES if invalid, GNUNET_NO if valid
275  */
276 int
277 GNUNET_DISK_handle_invalid (const struct GNUNET_DISK_FileHandle *h);
278
279
280 /**
281  * Check that fil corresponds to a filename
282  * (of a file that exists and that is not a directory).
283  *
284  * @param fil filename to check
285  * @return GNUNET_YES if yes, GNUNET_NO if not a file, GNUNET_SYSERR if something
286  * else (will print an error message in that case, too).
287  */
288 int
289 GNUNET_DISK_file_test (const char *fil);
290
291
292 /**
293  * Move the read/write pointer in a file
294  * @param h handle of an open file
295  * @param offset position to move to
296  * @param whence specification to which position the offset parameter relates to
297  * @return the new position on success, GNUNET_SYSERR otherwise
298  */
299 OFF_T
300 GNUNET_DISK_file_seek (const struct GNUNET_DISK_FileHandle *h, OFF_T offset,
301                        enum GNUNET_DISK_Seek whence);
302
303
304 /**
305  * Get the size of the file (or directory) of the given file (in
306  * bytes).
307  *
308  * @param filename name of the file or directory
309  * @param size set to the size of the file (or,
310  *             in the case of directories, the sum
311  *             of all sizes of files in the directory)
312  * @param includeSymLinks should symbolic links be
313  *        included?
314  * @param singleFileMode GNUNET_YES to only get size of one file
315  *        and return GNUNET_SYSERR for directories.
316  * @return GNUNET_SYSERR on error, GNUNET_OK on success
317  */
318 int
319 GNUNET_DISK_file_size (const char *filename, uint64_t * size,
320                        int includeSymLinks, int singleFileMode);
321
322
323 /**
324  * Obtain some unique identifiers for the given file
325  * that can be used to identify it in the local system.
326  * This function is used between GNUnet processes to
327  * quickly check if two files with the same absolute path
328  * are actually identical.  The two processes represent
329  * the same peer but may communicate over the network
330  * (and the file may be on an NFS volume).  This function
331  * may not be supported on all operating systems.
332  *
333  * @param filename name of the file
334  * @param dev set to the device ID
335  * @param ino set to the inode ID
336  * @return GNUNET_OK on success
337  */
338 int
339 GNUNET_DISK_file_get_identifiers (const char *filename, uint64_t * dev,
340                                   uint64_t * ino);
341
342
343 /**
344  * Create an (empty) temporary file on disk.  If the given name is not
345  * an absolute path, the current 'TMPDIR' will be prepended.  In any case,
346  * 6 random characters will be appended to the name to create a unique
347  * filename.
348  *
349  * @param t component to use for the name;
350  *        does NOT contain "XXXXXX" or "/tmp/".
351  * @return NULL on error, otherwise name of fresh
352  *         file on disk in directory for temporary files
353  */
354 char *
355 GNUNET_DISK_mktemp (const char *t);
356
357
358 /**
359  * Open a file.  Note that the access permissions will only be
360  * used if a new file is created and if the underlying operating
361  * system supports the given permissions.
362  *
363  * @param fn file name to be opened
364  * @param flags opening flags, a combination of GNUNET_DISK_OPEN_xxx bit flags
365  * @param perm permissions for the newly created file, use
366  *             GNUNET_DISK_PERM_NONE if a file could not be created by this
367  *             call (because of flags)
368  * @return IO handle on success, NULL on error
369  */
370 struct GNUNET_DISK_FileHandle *
371 GNUNET_DISK_file_open (const char *fn, enum GNUNET_DISK_OpenFlags flags,
372                        enum GNUNET_DISK_AccessPermissions perm);
373
374
375 /**
376  * Get the size of an open file.
377  *
378  * @param fh open file handle
379  * @param size where to write size of the file
380  * @return GNUNET_OK on success, GNUNET_SYSERR on error
381  */
382 int
383 GNUNET_DISK_file_handle_size (struct GNUNET_DISK_FileHandle *fh,
384                               OFF_T *size);
385
386
387 /**
388  * Creates an interprocess channel
389  *
390  * @param blocking_read creates an asynchronous pipe for reading if set to GNUNET_NO
391  * @param blocking_write creates an asynchronous pipe for writing if set to GNUNET_NO
392  * @param inherit_read 1 to make read handle inheritable, 0 otherwise (NT only)
393  * @param inherit_write 1 to make write handle inheritable, 0 otherwise (NT only)
394  * @return handle to the new pipe, NULL on error
395  */
396 struct GNUNET_DISK_PipeHandle *
397 GNUNET_DISK_pipe (int blocking_read, int blocking_write, int inherit_read, int inherit_write);
398
399
400 /**
401  * Creates a pipe object from a couple of file descriptors.
402  * Useful for wrapping existing pipe FDs.
403  *
404  * @param blocking_read creates an asynchronous pipe for reading if set to GNUNET_NO
405  * @param blocking_write creates an asynchronous pipe for writing if set to GNUNET_NO
406  * @param fd an array of two fd values. One of them may be -1 for read-only or write-only pipes
407  *
408  * @return handle to the new pipe, NULL on error
409  */
410 struct GNUNET_DISK_PipeHandle *
411 GNUNET_DISK_pipe_from_fd (int blocking_read, int blocking_write, int fd[2]);
412
413 /**
414  * Closes an interprocess channel
415  * @param p pipe
416  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
417  */
418 int
419 GNUNET_DISK_pipe_close (struct GNUNET_DISK_PipeHandle *p);
420
421 /**
422  * Closes one half of an interprocess channel
423  *
424  * @param p pipe to close end of
425  * @param end which end of the pipe to close
426  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
427  */
428 int
429 GNUNET_DISK_pipe_close_end (struct GNUNET_DISK_PipeHandle *p,
430                             enum GNUNET_DISK_PipeEnd end);
431
432 /**
433  * Close an open file.
434  *
435  * @param h file handle
436  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
437  */
438 int
439 GNUNET_DISK_file_close (struct GNUNET_DISK_FileHandle *h);
440
441
442 /**
443  * Get the handle to a particular pipe end
444  *
445  * @param p pipe
446  * @param n end to access
447  * @return handle for the respective end
448  */
449 const struct GNUNET_DISK_FileHandle *
450 GNUNET_DISK_pipe_handle (const struct GNUNET_DISK_PipeHandle *p,
451                          enum GNUNET_DISK_PipeEnd n);
452
453 /**
454  * Read the contents of a binary file into a buffer.
455  * @param h handle to an open file
456  * @param result the buffer to write the result to
457  * @param len the maximum number of bytes to read
458  * @return the number of bytes read on success, GNUNET_SYSERR on failure
459  */
460 ssize_t
461 GNUNET_DISK_file_read (const struct GNUNET_DISK_FileHandle *h, void *result,
462                        size_t len);
463
464 /**
465  * Read the contents of a binary file into a buffer.
466  * Guarantees not to block (returns GNUNET_SYSERR and sets errno to EAGAIN
467  * when no data can be read).
468  *
469  * @param h handle to an open file
470  * @param result the buffer to write the result to
471  * @param len the maximum number of bytes to read
472  * @return the number of bytes read on success, GNUNET_SYSERR on failure
473  */
474 ssize_t
475 GNUNET_DISK_file_read_non_blocking (const struct GNUNET_DISK_FileHandle * h,
476     void *result, size_t len);
477
478 /**
479  * Read the contents of a binary file into a buffer.
480  *
481  * @param fn file name
482  * @param result the buffer to write the result to
483  * @param len the maximum number of bytes to read
484  * @return number of bytes read, GNUNET_SYSERR on failure
485  */
486 ssize_t
487 GNUNET_DISK_fn_read (const char *fn, void *result, size_t len);
488
489
490 /**
491  * Write a buffer to a file.
492  *
493  * @param h handle to open file
494  * @param buffer the data to write
495  * @param n number of bytes to write
496  * @return number of bytes written on success, GNUNET_SYSERR on error
497  */
498 ssize_t
499 GNUNET_DISK_file_write (const struct GNUNET_DISK_FileHandle *h,
500                         const void *buffer, size_t n);
501
502
503 /**
504  * Write a buffer to a file, blocking, if necessary.
505  * @param h handle to open file
506  * @param buffer the data to write
507  * @param n number of bytes to write
508  * @return number of bytes written on success, GNUNET_SYSERR on error
509  */
510 ssize_t
511 GNUNET_DISK_file_write_blocking (const struct GNUNET_DISK_FileHandle * h,
512     const void *buffer, size_t n);
513
514 /**
515  * Write a buffer to a file.  If the file is longer than
516  * the given buffer size, it will be truncated.
517  *
518  * @param fn file name
519  * @param buffer the data to write
520  * @param n number of bytes to write
521  * @param mode file permissions
522  * @return number of bytes written on success, GNUNET_SYSERR on error
523  */
524 ssize_t
525 GNUNET_DISK_fn_write (const char *fn, const void *buffer, size_t n,
526                       enum GNUNET_DISK_AccessPermissions mode);
527
528
529 /**
530  * Copy a file.
531  *
532  * @param src file to copy
533  * @param dst destination file name
534  * @return GNUNET_OK on success, GNUNET_SYSERR on error
535  */
536 int
537 GNUNET_DISK_file_copy (const char *src, const char *dst);
538
539
540 /**
541  * Scan a directory for files.
542  *
543  * @param dirName the name of the directory
544  * @param callback the method to call for each file
545  * @param callback_cls closure for callback
546  * @return the number of files found, -1 on error
547  */
548 int
549 GNUNET_DISK_directory_scan (const char *dirName,
550                             GNUNET_FileNameCallback callback,
551                             void *callback_cls);
552
553
554 /**
555  * Opaque handle used for iterating over a directory.
556  */
557 struct GNUNET_DISK_DirectoryIterator;
558
559
560 /**
561  * Function called to iterate over a directory.
562  *
563  * @param cls closure
564  * @param di argument to pass to "GNUNET_DISK_directory_iterator_next" to
565  *           get called on the next entry (or finish cleanly);
566  *           NULL on error (will be the last call in that case)
567  * @param filename complete filename (absolute path)
568  * @param dirname directory name (absolute path)
569  */
570 typedef void (*GNUNET_DISK_DirectoryIteratorCallback) (void *cls,
571                                                        struct
572                                                        GNUNET_DISK_DirectoryIterator
573                                                        * di,
574                                                        const char *filename,
575                                                        const char *dirname);
576
577
578 /**
579  * This function must be called during the DiskIteratorCallback
580  * (exactly once) to schedule the task to process the next
581  * filename in the directory (if there is one).
582  *
583  * @param iter opaque handle for the iterator
584  * @param can set to GNUNET_YES to terminate the iteration early
585  * @return GNUNET_YES if iteration will continue,
586  *         GNUNET_NO if this was the last entry (and iteration is complete),
587  *         GNUNET_SYSERR if "can" was YES
588  */
589 int
590 GNUNET_DISK_directory_iterator_next (struct GNUNET_DISK_DirectoryIterator *iter,
591                                      int can);
592
593
594 /**
595  * Scan a directory for files using the scheduler to run a task for
596  * each entry.  The name of the directory must be expanded first (!).
597  * If a scheduler does not need to be used, GNUNET_DISK_directory_scan
598  * may provide a simpler API.
599  *
600  * @param prio priority to use
601  * @param dirName the name of the directory
602  * @param callback the method to call for each file
603  * @param callback_cls closure for callback
604  * @return GNUNET_YES if directory is not empty and 'callback'
605  *         will be called later, GNUNET_NO otherwise, GNUNET_SYSERR on error.
606  */
607 int
608 GNUNET_DISK_directory_iterator_start (enum GNUNET_SCHEDULER_Priority prio,
609                                       const char *dirName,
610                                       GNUNET_DISK_DirectoryIteratorCallback
611                                       callback, void *callback_cls);
612
613
614 /**
615  * Create the directory structure for storing
616  * a file.
617  *
618  * @param filename name of a file in the directory
619  * @returns GNUNET_OK on success, GNUNET_SYSERR on failure,
620  *          GNUNET_NO if directory exists but is not writeable
621  */
622 int
623 GNUNET_DISK_directory_create_for_file (const char *filename);
624
625
626 /**
627  * Test if "fil" is a directory that can be accessed.
628  * Will not print an error message if the directory
629  * does not exist.  Will log errors if GNUNET_SYSERR is
630  * returned.
631  *
632  * @param fil filename to test
633  * @return GNUNET_YES if yes, GNUNET_NO if does not exist, GNUNET_SYSERR
634  *   on any error and if exists but not directory
635  */
636 int
637 GNUNET_DISK_directory_test (const char *fil);
638
639
640 /**
641  * Remove all files in a directory (rm -rf). Call with
642  * caution.
643  *
644  * @param fileName the file to remove
645  * @return GNUNET_OK on success, GNUNET_SYSERR on error
646  */
647 int
648 GNUNET_DISK_directory_remove (const char *fileName);
649
650
651 /**
652  * Implementation of "mkdir -p"
653  *
654  * @param dir the directory to create
655  * @returns GNUNET_SYSERR on failure, GNUNET_OK otherwise
656  */
657 int
658 GNUNET_DISK_directory_create (const char *dir);
659
660
661 /**
662  * Lock a part of a file.
663  *
664  * @param fh file handle
665  * @param lockStart absolute position from where to lock
666  * @param lockEnd absolute position until where to lock
667  * @param excl GNUNET_YES for an exclusive lock
668  * @return GNUNET_OK on success, GNUNET_SYSERR on error
669  */
670 int
671 GNUNET_DISK_file_lock (struct GNUNET_DISK_FileHandle *fh, OFF_T lockStart,
672                        OFF_T lockEnd, int excl);
673
674
675 /**
676  * Unlock a part of a file
677  * @param fh file handle
678  * @param unlockStart absolute position from where to unlock
679  * @param unlockEnd absolute position until where to unlock
680  * @return GNUNET_OK on success, GNUNET_SYSERR on error
681  */
682 int
683 GNUNET_DISK_file_unlock (struct GNUNET_DISK_FileHandle *fh, OFF_T unlockStart,
684                          OFF_T unlockEnd);
685
686
687 /**
688  * @brief Removes special characters as ':' from a filename.
689  * @param fn the filename to canonicalize
690  */
691 void
692 GNUNET_DISK_filename_canonicalize (char *fn);
693
694
695 /**
696  * @brief Change owner of a file
697  * @param filename file to change
698  * @param user new owner of the file
699  * @return GNUNET_OK on success, GNUNET_SYSERR on failure
700  */
701 int
702 GNUNET_DISK_file_change_owner (const char *filename, const char *user);
703
704
705 /**
706  * Construct full path to a file inside of the private
707  * directory used by GNUnet.  Also creates the corresponding
708  * directory.  If the resulting name is supposed to be
709  * a directory, end the last argument in '/' (or pass
710  * DIR_SEPARATOR_STR as the last argument before NULL).
711  *
712  * @param cfg configuration to use
713  * @param serviceName name of the service asking
714  * @param ... is NULL-terminated list of
715  *                path components to append to the
716  *                private directory name.
717  * @return the constructed filename
718  */
719 char *
720 GNUNET_DISK_get_home_filename (const struct GNUNET_CONFIGURATION_Handle *cfg,
721                                const char *serviceName, ...);
722
723
724 /**
725  * Opaque handle for a memory-mapping operation.
726  */
727 struct GNUNET_DISK_MapHandle;
728
729 /**
730  * Map a file into memory
731  * @param h open file handle
732  * @param m handle to the new mapping (will be set)
733  * @param access access specification, GNUNET_DISK_MAP_TYPE_xxx
734  * @param len size of the mapping
735  * @return pointer to the mapped memory region, NULL on failure
736  */
737 void *
738 GNUNET_DISK_file_map (const struct GNUNET_DISK_FileHandle *h,
739                       struct GNUNET_DISK_MapHandle **m,
740                       enum GNUNET_DISK_MapType access, size_t len);
741
742 /**
743  * Unmap a file
744  *
745  * @param h mapping handle
746  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
747  */
748 int
749 GNUNET_DISK_file_unmap (struct GNUNET_DISK_MapHandle *h);
750
751 /**
752  * Write file changes to disk
753  * @param h handle to an open file
754  * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
755  */
756 int
757 GNUNET_DISK_file_sync (const struct GNUNET_DISK_FileHandle *h);
758
759
760 #if 0                           /* keep Emacsens' auto-indent happy */
761 {
762 #endif
763 #ifdef __cplusplus
764 }
765 #endif
766
767
768 /* ifndef GNUNET_DISK_LIB_H */
769 #endif
770 /* end of gnunet_disk_lib.h */