doc/man/gnunet-publish.1

   1 .\" This file is part of GNUnet.
   2 .\" Copyright (C) 2001-2019 GNUnet e.V.
   3 .\"
   4 .\" Permission is granted to copy, distribute and/or modify this document
   5 .\" under the terms of the GNU Free Documentation License, Version 1.3 or
   6 .\" any later version published by the Free Software Foundation; with no
   7 .\" Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts.  A
   8 .\" copy of the license is included in the file
   9 .\" FDL-1.3.
  10 .\"
  11 .\" A copy of the license is also available from the Free Software
  12 .\" Foundation Web site at http://www.gnu.org/licenses/fdl.html}.
  13 .\"
  14 .\" Alternately, this document is also available under the General
  15 .\" Public License, version 3 or later, as published by the Free Software
  16 .\" Foundation.  A copy of the license is included in the file
  17 .\" GPL3.
  18 .\"
  19 .\" A copy of the license is also available from the Free Software
  20 .\" Foundation Web site at http://www.gnu.org/licenses/gpl.html
  21 .\"
  22 .\" SPDX-License-Identifier: GPL3.0-or-later OR FDL1.3-or-later
  23 .\"
  24 .Dd November 16, 2015
  25 .Dt GNUNET-PUBLISH 1
  26 .Os
  27 .Sh NAME
  28 .Nm gnunet-publish
  29 .Nd a command line interface for publishing new content into GNUnet
  30 .Sh SYNOPSIS
  31 .Nm
  32 .Op Fl a Ar LEVEL | Fl -anonymity= Ns Ar LEVEL
  33 .Op Fl c Ar FILENAME | Fl -config= Ns Ar FILENAME
  34 .Op Fl D | -disable-extractor
  35 .Op Fl E | -enable-creation-time
  36 .Op Fl e | -extract
  37 .Op Fl h | -help
  38 .Op Fl k Ar KEYWORD | Fl -key= Ns Ar KEYWORD
  39 .Op Fl L Ar LOGLEVEL | Fl -loglevel= Ns Ar LOGLEVEL
  40 .Op Fl m Ar TYPE:VALUE | Fl -meta= Ns Ar TYPE:VALUE
  41 .Op Fl n | -noindex
  42 .Op Fl N Ar ID | Fl -next= Ns Ar ID
  43 .Op Fl p Ar PRIORITY | Fl -prio= Ns Ar PRIORITY
  44 .Op Fl P Ar NAME | Fl -pseudonym= Ns Ar NAME
  45 .Op Fl r Ar LEVEL | Fl -replication= Ns Ar LEVEL
  46 .Op Fl s | -simulate-only
  47 .Op Fl t Ar ID | Fl -this= Ns Ar ID
  48 .Op Fl u Ar URI | Fl -uri= Ns Ar URI
  49 .Op Fl v | -version
  50 .Op Fl V | -verbose
  51 .Ao Ar FILENAME Ac
  52 .Sh DESCRIPTION
  53 In order to share files with other GNUnet users, the files must first be made available to GNUnet.
  54 GNUnet does not automatically share all files from a certain directory (however, you can do this with
  55 .Xr gnunet-auto-share 1 Ns ).
  56 In fact, even files that are downloaded are not automatically shared.
  57 .Pp
  58 In order to start sharing files, the files must be added either using gnunet-publish or a graphical interface such as
  59 .Xr gnunet-fs-gtk 1 .
  60 The command line tool gnunet-publish is more useful if many files are supposed to be added.
  61 gnunet-publish can automatically publish batches of files, recursively publish directories, create directories that can be browsed within GNUnet and publish file lists in a namespace.
  62 When run on a directory, gnunet-publish will always recursively publish all of the files in the directory.
  63 .Pp
  64 gnunet-publish can automatically extract keywords from the files that are shared.
  65 Users that want to download files from GNUnet use keywords to search for the appropriate content.
  66 You can disable keyword extraction with the
  67 .Fl D
  68 option.
  69 You can manually add keywords using the
  70 .Fl k
  71 option.
  72 The keywords are case-sensitive.
  73 .Pp
  74 In addition to searching for files by keyword, GNUnet allows organizing files into directories.
  75 With directories, the user only needs to find the directory in order to be able to download any of the files listed in the directory.
  76 Directories can contain pointers to other directories.
  77 .Pp
  78 With gnunet-publish, it is easy to create new directories simultaneously when adding the files.
  79 Simply pass the name of a directory instead of a file.
  80 .Pp
  81 Since keywords can be spammed (any user can add any content under any keyword), GNUnet supports namespaces.
  82 A namespace is a subset of the searchspace into which only the holder of a certain pseudonym can add content.
  83 Any GNUnet user can create any number of pseudonyms using
  84 .Xr gnunet-pseudonym 1 .
  85 Pseudonyms are stored in the user's GNUnet directory.
  86 While pseudonyms are locally identified with an arbitrary string that the user selects when the pseudonym is created, the namespace is globally known only under the hash of the public key of the pseudonym.
  87 Since only the owner of the pseudonym can add content to the namespace, it is impossible for other users to pollute the namespace.
  88 gnunet-publish automatically publishes the top-directory (or the only file if only one file is specified) into the namespace if a pseudonym is specified.
  89 .Pp
  90 It is possible to update content in GNUnet if that content was placed and obtained from a particular namespace.
  91 Updates are only possible for content in namespaces since this is the only way to assure that a malicious party can not supply counterfeited updates.
  92 Note that an update with GNUnet does not make the old content unavailable, GNUnet merely allows the publisher to point users to more recent versions.
  93 You can use the
  94 .Fl N
  95 option to specify the future identifier of an update.
  96 When using this option, a GNUnet client that finds the current
  97 .Pq Fl t
  98 identifier will automatically begin a search for the update
  99 .Pq Fl N
 100 identifier.
 101 If you later publish an update under the
 102 .Pq Fl N
 103 identifier, both results will be given to the user.
 104 .Pp
 105 You can use automatic meta-data extraction (based on libextractor) or the command-line option
 106 .Fl m
 107 to specify meta-data.
 108 For the
 109 .Fl m
 110 option you need to use the form keyword-type:value.
 111 For example, use "-m os:Linux" to specify that the operating system is Linux.
 112 Common meta-data types are "author", "title", "mimetype", "filename", "language", "subject" and "keywords".
 113 A full list can be obtained from the extract tool using the option
 114 .Fl -list .
 115 The meta-data is used to help users in searching for files on the network.
 116 The keywords are case-sensitive.
 117 .Pp
 118 GNUnet supports two styles of publishing files on the network.
 119 Publishing a file means that a copy of the file is made in the local (!) database of the node.
 120 Indexing a file means that an index is added to the local (!) database with symbolic links to the file itself.
 121 The links will use the SHA-512 hash of the entire file as the filename.
 122 Indexing is generally significantly more efficient and the default choice.
 123 However, indexing only works if the indexed file can be read (using the same absolute path) by gnunet-service-fs.
 124 If this is not the case, indexing will fail (and gnunet-publish will automatically revert to publishing instead).
 125 Regardless of which method is used to publish the file, the file will be slowly (depending on how often it is requested and on how much bandwidth is available) dispersed into the network.
 126 If you publish or index a file and then leave the network, it will almost always NOT be available anymore.
 127 .Pp
 128 The options are as follows:
 129 .Bl -tag -width indent
 130 .It Fl a Ar LEVEL | Fl -anonymity= Ns Ar LEVEL
 131 This option can be used to specify additional anonymity constraints.
 132 The default is 1.
 133 If set to 0, GNUnet will publish the file non-anonymously and in fact sign the advertisement for the file using your peer's private key.
 134 This will allow other users to download the file as fast as possible, including using non-anonymous methods (discovery via DHT and CADET transfer).
 135 If you set it to 1 (default), you use the standard anonymous routing algorithm (which does not explicitly leak your identity).
 136 However, a powerful adversary may still be able to perform traffic analysis (statistics) to over time discovery your identity.
 137 You can gain better privacy by specifying a higher level of anonymity (using values above 1).
 138 This tells FS that it must hide your own requests in equivalent-looking cover traffic.
 139 This should confound an adversaries traffic analysis, increasing the time and effort it would take to discover your identity.
 140 However, it also can significantly reduce performance, as your requests will be delayed until sufficient cover traffic is available.
 141 The specific numeric value (for anonymity levels above 1) is simple:
 142 Given an anonymity level L (above 1), each request FS makes on your behalf must be hidden in L-1 equivalent requests of cover traffic (traffic your peer routes for others) in the same time-period.
 143 The time-period is twice the average delay by which GNUnet artificially delays traffic.
 144 Note that regardless of the anonymity level you choose, peers that cache content in the network always use anonymity level 1.
 145 .It Fl c Ar FILENAME | Fl -config= Ns Ar FILENAME
 146 Use alternate config file FILENAME.
 147 If this option is not specified, the default is
 148 .Pa ~/.config/gnunet.conf .
 149 .It Fl D | -disable-extractor
 150 Disable use of GNU libextractor for finding additional keywords and metadata.
 151 .It Fl E | -enable-creation-time
 152 Enable use of creation time timestamp in metadata.
 153 Setting this information will leak information about the time at which a file was made available.
 154 .It Fl e | -extract
 155 Print the list of keywords that will be used for each file given the current options.
 156 Do not perform any indexing or publishing.
 157 .It Fl h | -help
 158 Print the help page.
 159 .It Fl k Ar KEYWORD | Fl -key= Ns Ar KEYWORD
 160 Additional key to index the content with (to add multiple keys, specify multiple times).
 161 Each additional key is case-sensitive.
 162 Can be specified multiple times.
 163 The keyword is only applied to the top-level file or directory.
 164 .It Fl L Ar LOGLEVEL | Fl -loglevel= Ns Ar LOGLEVEL
 165 Change the loglevel.
 166 Possible values for LOGLEVEL are ERROR, WARNING, INFO and DEBUG.
 167 .It Fl m Ar TYPE:VALUE | Fl -meta= Ns Ar TYPE:VALUE
 168 For the main file (or directory), set the metadata of the given TYPE to the given VALUE.
 169 Note that this will not add the respective VALUE to the set of keywords under which the file can be found.
 170 .It Fl n | -noindex
 171 Executive summary: You probably don't need it.
 172 Do not index, full publishing.
 173 Note that directories, information for keyword search, namespace search and indexing data are always published (even without this option).
 174 With this option, every block of the actual files is stored in encrypted form in the block database of the local peer.
 175 While this adds security if the local node is compromised (the adversary snags your machine), it is significantly less efficient compared to on-demand encryption and is definitely not recommended for large files.
 176 .It Fl N Ar ID | Fl -next= Ns Ar ID
 177 Specifies the next identifier of a future version of the file to be published under the same pseudonym.
 178 This option is only valid together with the
 179 .Fl P
 180 option.
 181 This option can be used to specify what the identifier of an updated version will look like.
 182 Note that specifying
 183 .Fl i
 184 and
 185 .Fl N
 186 without
 187 .Fl t
 188 is not allowed.
 189 .It Fl p Ar PRIORITY | Fl -prio= Ns Ar PRIORITY
 190 Executive summary: You probably don't need it.
 191 Set the priority of the published content (default: 365).
 192 If the local database is full, GNUnet will discard the content with the lowest ranking.
 193 Note that ranks change over time depending on popularity.
 194 The default should be high enough to preserve the locally published content in favor of content that migrates from other peers.
 195 .It Fl P Ar NAME | Fl -pseudonym= Ns Ar NAME
 196 For the top-level directory or file, places the file into the namespace identified by the pseudonym NAME.
 197 NAME must be a valid pseudonym managed by
 198 .Xr gnunet-identity 1 .
 199 .It Fl r Ar LEVEL | Fl -replication= Ns Ar LEVEL
 200 Set the desired replication level.
 201 If CONTENT_PUSHING is set to YES, GNUnet will push each block (for the file) LEVEL times to other peers before doing normal "random" replication of all content.
 202 This option can be used to push some content out into the network harder.
 203 Note that pushing content LEVEL times into the network does not guarantee that there will actually be LEVEL replicas.
 204 .It Fl s | -simulate-only
 205 When this option is used, gnunet-publish will not actually publish the file but just simulate what would be done.
 206 This can be used to compute the GNUnet URI for a file without actually sharing it.
 207 .It Fl t Ar ID | Fl -this= Ns Ar ID
 208 Specifies the identifier under which the file is to be published under a pseudonym.
 209 This option is only valid together with the
 210 .Fl P
 211 option.
 212 .It Fl u Ar URI | Fl -uri= Ns Ar URI
 213 This option can be used to specify the URI of a file instead of a filename (this is the only case where the otherwise mandatory filename argument must be omitted).
 214 Instead of publishing a file or directory and using the corresponding URI, gnunet-publish will use this URI and perform the selected namespace or keyword operations.
 215 This can be used to add additional keywords to a file that has already been shared or to add files to a namespace for which the URI is known but the content is not locally available.
 216 .It Fl v | -version
 217 Print the version number.
 218 .It Fl V | -verbose
 219 Be verbose.
 220 Using this option causes gnunet-publish to print progress information and at the end the file identification that can be used to download the file from GNUnet.
 221 .El
 222 .Sh EXAMPLES
 223 .Ss BASIC EXAMPLES
 224 Index a file
 225 .Pa COPYING :
 226 .Pp
 227 .Dl gnunet-publish COPYING
 228 .Pp
 229 Publish a file
 230 .Pa COPYING :
 231 .Pp
 232 .Dl gnunet-publish -n COPYING
 233 .Pp
 234 Index a file
 235 .Pa COPYING
 236 with the keywords
 237 .Ar gpl
 238 and
 239 .Ar test :
 240 .Pp
 241 .Dl gnunet-publish -k gpl -k test COPYING
 242 .Pp
 243 Index a file
 244 .Pa COPYING
 245 with description
 246 .Ar "GNU License" ,
 247 mime-type
 248 .Ar "text/plain"
 249 and keywords
 250 .Ar gpl
 251 and
 252 .Ar test:
 253 .Pp
 254 .Dl gnunet-publish -m "description:GNU License" -k gpl -k test -m "mimetype:text/plain" COPYING
 255 .Ss USING DIRECTORIES
 256 Index the files
 257 .Pa COPYING
 258 and
 259 .Pa AUTHORS
 260 with keyword
 261 .Ar test
 262 and build a directory containing the two files.
 263 Make the directory itself available under keyword
 264 .Ar gnu
 265 and disable keyword extraction using libextractor:
 266 .Pp
 267 .Dl mkdir gnu ; mv COPYING AUTHORS gnu/ ; gnunet-publish -k test -k gnu -D gnu/
 268 .Pp
 269 Neatly publish an image gallery in
 270 .Pa kittendir/
 271 and its subdirs with keyword
 272 .Ar kittens
 273 for the directory but no keywords for the individual files or subdirs
 274 .Pq Fl n .
 275 Force description for all files.
 276 .Pp
 277 .Dl gnunet-publish -n -m "description:Kitten collection" -k kittens kittendir/
 278 .Ss SECURE PUBLISHING WITH NAMESPACES
 279 Publish file COPYING with pseudonym RIAA-2
 280 .Pq Fl P
 281 and with identifier \fBgpl\fR
 282 .Pq Fl t
 283 and no updates.
 284 .Pp
 285 .Dl gnunet-publish -P RIAA-2 -t gpl COPYING
 286 .Pp
 287 Recursively index
 288 .Pa /home/ogg
 289 and build a matching directory structure.
 290 Publish the top-level directory into the namespace under the pseudonym
 291 .Ar RIAA-2
 292 .Pq Fl P
 293 under identifier
 294 .Ar 'MUSIC'
 295 .Pq Fl t
 296 and promise to provide an update with identifier
 297 .Ar 'VIDEOS'
 298 .Pq Fl N :
 299 .Pp
 300 .Dl gnunet-publish -P RIAA-2 -t MUSIC -N VIDEOS /home/ogg
 301 .Pp
 302 Recursively publish
 303 .Pq Fl n
 304 /var/lib/mysql and build a matching directory structure, but disable the use of libextractor to extract keywords
 305 .Pq Fl n .
 306 Print the file identifiers
 307 .Pq Fl V
 308 that can be used to retrieve the files.
 309 This will store a copy of the MySQL database in GNUnet but without adding any keywords to search for it.
 310 Thus only people that have been told the secret file identifiers printed with the
 311 .Fl V
 312 option can retrieve the (secret?) files:
 313 .Pp
 314 .Dl gnunet-publish -nV /var/lib/mysql
 315 .Pp
 316 Create a namespace entry 'root' in namespace MPAA-1 and announce that the next update will be called 'next':
 317 .Pp
 318 .Dl gnunet-publish -P MPAA-1 -t root -N next noise.mp3
 319 .Pp
 320 Update the previous entry, do not allow any future updates:
 321 .Pp
 322 .Dl gnunet-publish -P MPAA-1 -t next noise_updated.mp3
 323 .Sh FILES
 324 .Pa ~/.config/gnunet.conf
 325 GNUnet configuration file
 326 .Sh SEE ALSO
 327 .Xr extract 1 ,
 328 .Xr gnunet-auto-share 1 ,
 329 .Xr gnunet-download 1 ,
 330 .Xr gnunet-fs-gtk 1 ,
 331 .Xr gnunet-identity 1 ,
 332 .Xr gnunet-search 1 ,
 333 .Xr gnunet.conf 5
 334 .sp
 335 The full documentation for gnunet is maintained as a Texinfo manual.
 336 If the
 337 .Xr info 1
 338 and gnunet programs are properly installed at your site, the command
 339 .Pp
 340 .Dl info gnunet
 341 .Pp
 342 should give you access to the complete handbook,
 343 .Pp
 344 .Dl info gnunet-c-tutorial
 345 .Pp
 346 will give you access to a tutorial for developers.
 347 .sp
 348 Depending on your installation, this information is also available in
 349 .Xr gnunet 7 and
 350 .Xr gnunet-c-tutorial 7 .
 351 .\".Sh HISTORY
 352 .\".Sh AUTHORS
 353 .Sh BUGS
 354 Report bugs by using
 355 .Lk https://bugs.gnunet.org
 356 or by sending electronic mail to
 357 .Aq Mt gnunet-developers@gnu.org .