wget: factor out progress bar code
[oweals/busybox.git] / util-linux / mkfs_ext2.c
index be9e36332bd899fa5669a49f8bd0cd5e52a41387..8b435c12041e0ff14397febb88a32df6a9217a6d 100644 (file)
 #include "libbb.h"
 #include <linux/fs.h>
 #include <linux/ext2_fs.h>
-#include <sys/user.h> /* PAGE_SIZE */
-#ifndef PAGE_SIZE
-# define PAGE_SIZE 4096
-#endif
 #include "volume_id/volume_id_internal.h"
 
 #define        ENABLE_FEATURE_MKFS_EXT2_RESERVED_GDT 0
-#define        ENABLE_FEATURE_MKFS_EXT2_DIR_INDEX 1
+#define        ENABLE_FEATURE_MKFS_EXT2_DIR_INDEX    1
 
 // from e2fsprogs
 #define s_reserved_gdt_blocks s_padding1
 #define s_mkfs_time           s_reserved[0]
 #define s_flags               s_reserved[22]
-#define EXT2_HASH_HALF_MD4     1
-#define EXT2_FLAGS_SIGNED_HASH 0x0001
 
-// whiteout: for writable overlays
-//#define LINUX_S_IFWHT                  0160000
-//#define EXT2_FEATURE_INCOMPAT_WHITEOUT 0x0020
+#define EXT2_HASH_HALF_MD4       1
+#define EXT2_FLAGS_SIGNED_HASH   0x0001
+#define EXT2_FLAGS_UNSIGNED_HASH 0x0002
 
 // storage helpers
 char BUG_wrong_field_size(void);
@@ -120,23 +114,52 @@ static uint32_t has_super(uint32_t x)
        }
 }
 
-/* Standard mke2fs 1.41.9:
- * Usage: mke2fs [-c|-l filename] [-b block-size] [-f fragment-size]
- *     [-i bytes-per-inode] [-I inode-size] [-J journal-options]
- *     [-G meta group size] [-N number-of-inodes]
- *     [-m reserved-blocks-percentage] [-o creator-os]
- *     [-g blocks-per-group] [-L volume-label] [-M last-mounted-directory]
- *     [-O feature[,...]] [-r fs-revision] [-E extended-option[,...]]
- *     [-T fs-type] [-U UUID] [-jnqvFSV] device [blocks-count]
-*/
-// N.B. not commented below options are taken and silently ignored
+#define fd 3   /* predefined output descriptor */
+
+static void PUT(uint64_t off, void *buf, uint32_t size)
+{
+//     bb_info_msg("PUT[%llu]:[%u]", off, size);
+       xlseek(fd, off, SEEK_SET);
+       xwrite(fd, buf, size);
+}
+
+// 128 and 256-byte inodes:
+// 128-byte inode is described by struct ext2_inode.
+// 256-byte one just has these fields appended:
+//      __u16   i_extra_isize;
+//      __u16   i_pad1;
+//      __u32   i_ctime_extra;  /* extra Change time (nsec << 2 | epoch) */
+//      __u32   i_mtime_extra;  /* extra Modification time (nsec << 2 | epoch) */
+//      __u32   i_atime_extra;  /* extra Access time (nsec << 2 | epoch) */
+//      __u32   i_crtime;       /* File creation time */
+//      __u32   i_crtime_extra; /* extra File creation time (nsec << 2 | epoch)*/
+//      __u32   i_version_hi;   /* high 32 bits for 64-bit version */
+// the rest is padding.
+//
+// linux/ext2_fs.h has "#define i_size_high i_dir_acl" which suggests that even
+// 128-byte inode is capable of describing large files (i_dir_acl is meaningful
+// only for directories, which never need i_size_high).
+//
+// Standard mke2fs creates a filesystem with 256-byte inodes if it is
+// bigger than 0.5GB. So far, we do not do this.
+
+// Standard mke2fs 1.41.9:
+// Usage: mke2fs [-c|-l filename] [-b block-size] [-f fragment-size]
+//     [-i bytes-per-inode] [-I inode-size] [-J journal-options]
+//     [-G meta group size] [-N number-of-inodes]
+//     [-m reserved-blocks-percentage] [-o creator-os]
+//     [-g blocks-per-group] [-L volume-label] [-M last-mounted-directory]
+//     [-O feature[,...]] [-r fs-revision] [-E extended-option[,...]]
+//     [-T fs-type] [-U UUID] [-jnqvFSV] device [blocks-count]
+//
+// Options not commented below are taken but silently ignored:
 enum {
        OPT_c = 1 << 0,
        OPT_l = 1 << 1,
        OPT_b = 1 << 2,         // block size, in bytes
        OPT_f = 1 << 3,
        OPT_i = 1 << 4,         // bytes per inode
-       OPT_I = 1 << 5,
+       OPT_I = 1 << 5,         // custom inode size, in bytes
        OPT_J = 1 << 6,
        OPT_G = 1 << 7,
        OPT_N = 1 << 8,
@@ -159,21 +182,13 @@ enum {
        //OPT_V = 1 << 25,      // -V version. bbox applets don't support that
 };
 
-#define fd 3   /* predefined output descriptor */
-
-static void PUT(uint64_t off, void *buf, uint32_t size)
-{
-//     bb_info_msg("PUT[%llu]:[%u]", off, size);
-       xlseek(fd, off, SEEK_SET);
-       xwrite(fd, buf, size);
-}
-
 int mkfs_ext2_main(int argc, char **argv) MAIN_EXTERNALLY_VISIBLE;
 int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
 {
        unsigned i, pos, n;
        unsigned bs, bpi;
        unsigned blocksize, blocksize_log2;
+       unsigned inodesize, user_inodesize;
        unsigned reserved_percent = 5;
        unsigned long long kilobytes;
        uint32_t nblocks, nblocks_full;
@@ -186,7 +201,6 @@ int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
        uint32_t inode_table_blocks;
        uint32_t lost_and_found_blocks;
        time_t timestamp;
-       unsigned opts;
        const char *label = "";
        struct stat st;
        struct ext2_super_block *sb; // superblock
@@ -195,16 +209,18 @@ int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
        struct ext2_dir *dir;
        uint8_t *buf;
 
+       // using global "option_mask32" instead of local "opts":
+       // we are register starved here
        opt_complementary = "-1:b+:m+:i+";
-       opts = getopt32(argv, "cl:b:f:i:I:J:G:N:m:o:g:L:M:O:r:E:T:U:jnqvFS",
-               NULL, &bs, NULL, &bpi, NULL, NULL, NULL, NULL,
+       /*opts =*/ getopt32(argv, "cl:b:f:i:I:J:G:N:m:o:g:L:M:O:r:E:T:U:jnqvFS",
+               NULL, &bs, NULL, &bpi, &user_inodesize, NULL, NULL, NULL,
                &reserved_percent, NULL, NULL, &label, NULL, NULL, NULL, NULL, NULL, NULL);
        argv += optind; // argv[0] -- device
 
        // check the device is a block device
        xmove_fd(xopen(argv[0], O_WRONLY), fd);
        fstat(fd, &st);
-       if (!S_ISBLK(st.st_mode) && !(opts & OPT_F))
+       if (!S_ISBLK(st.st_mode) && !(option_mask32 & OPT_F))
                bb_error_msg_and_die("not a block device");
 
        // check if it is mounted
@@ -216,6 +232,14 @@ int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
        // open the device, get size in kbytes
        if (argv[1]) {
                kilobytes = xatoull(argv[1]);
+               // seek past end fails on block devices but works on files
+               if (lseek(fd, kilobytes * 1024 - 1, SEEK_SET) != (off_t)-1) {
+                       if (!(option_mask32 & OPT_n))
+                               xwrite(fd, "", 1); // file grows if needed
+               }
+               //else {
+               //      bb_error_msg("warning, block device is smaller");
+               //}
        } else {
                kilobytes = (uoff_t)xlseek(fd, 0, SEEK_END) / 1024;
        }
@@ -225,14 +249,18 @@ int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
                bytes_per_inode = 4096;
        if (kilobytes < 3*1024)
                bytes_per_inode = 8192;
-       if (opts & OPT_i)
+       if (option_mask32 & OPT_i)
                bytes_per_inode = bpi;
 
-       // Determine block size
+       // Determine block size and inode size
        // block size is a multiple of 1024
+       // inode size is a multiple of 128
        blocksize = 1024;
-       if (kilobytes >= 512*1024) // mke2fs 1.41.9 compat
+       inodesize = sizeof(struct ext2_inode); // 128
+       if (kilobytes >= 512*1024) { // mke2fs 1.41.9 compat
                blocksize = 4096;
+               inodesize = 256;
+       }
        if (EXT2_MAX_BLOCK_SIZE > 4096) {
                // kilobytes >> 22 == size in 4gigabyte chunks.
                // if size >= 16k gigs, blocksize must be increased.
@@ -240,7 +268,7 @@ int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
                while ((kilobytes >> 22) >= blocksize)
                        blocksize *= 2;
        }
-       if (opts & OPT_b)
+       if (option_mask32 & OPT_b)
                blocksize = bs;
        if (blocksize < EXT2_MIN_BLOCK_SIZE
         || blocksize > EXT2_MAX_BLOCK_SIZE
@@ -248,6 +276,18 @@ int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
        ) {
                bb_error_msg_and_die("blocksize %u is bad", blocksize);
        }
+       // Do we have custom inode size?
+       if (option_mask32 & OPT_I) {
+               if (user_inodesize < sizeof(*inode)
+                || user_inodesize > blocksize
+                || (user_inodesize & (user_inodesize - 1)) // not power of 2
+               ) {
+                       bb_error_msg("-%c is bad", 'I');
+               } else {
+                       inodesize = user_inodesize;
+               }
+       }
+
        if ((int32_t)bytes_per_inode < blocksize)
                bb_error_msg_and_die("-%c is bad", 'i');
        // number of bits in one block, i.e. 8*blocksize
@@ -261,9 +301,6 @@ int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
        if (nblocks != kilobytes)
                bb_error_msg_and_die("block count doesn't fit in 32 bits");
 #define kilobytes kilobytes_unused_after_this
-//compat problem
-//     if (blocksize < PAGE_SIZE)
-//             nblocks &= ~((PAGE_SIZE >> blocksize_log2)-1);
        // Experimentally, standard mke2fs won't work on images smaller than 60k
        if (nblocks < 60)
                bb_error_msg_and_die("need >= 60 blocks");
@@ -309,24 +346,23 @@ int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
 
        {
                // N.B. e2fsprogs does as follows!
-               // ninodes is the total number of inodes (files) in the file system
-               uint32_t ninodes = ((uint64_t) nblocks_full * blocksize) / bytes_per_inode;
                uint32_t overhead, remainder;
+               // ninodes is the max number of inodes in this filesystem
+               uint32_t ninodes = ((uint64_t) nblocks_full * blocksize) / bytes_per_inode;
                if (ninodes < EXT2_GOOD_OLD_FIRST_INO+1)
                        ninodes = EXT2_GOOD_OLD_FIRST_INO+1;
                inodes_per_group = div_roundup(ninodes, ngroups);
                // minimum number because the first EXT2_GOOD_OLD_FIRST_INO-1 are reserved
                if (inodes_per_group < 16)
                        inodes_per_group = 16;
-
-               // a block group can have no more than 8*blocksize inodes
+               // a block group can't have more inodes than blocks
                if (inodes_per_group > blocks_per_group)
                        inodes_per_group = blocks_per_group;
                // adjust inodes per group so they completely fill the inode table blocks in the descriptor
-               inodes_per_group = (div_roundup(inodes_per_group * sizeof(*inode), blocksize) * blocksize) / sizeof(*inode);
+               inodes_per_group = (div_roundup(inodes_per_group * inodesize, blocksize) * blocksize) / inodesize;
                // make sure the number of inodes per group is a multiple of 8
                inodes_per_group &= ~7;
-               inode_table_blocks = div_roundup(inodes_per_group * sizeof(*inode), blocksize);
+               inode_table_blocks = div_roundup(inodes_per_group * inodesize, blocksize);
 
                // to be useful, lost+found should occupy at least 2 blocks (but not exceeding 16*1024 bytes),
                // and at most EXT2_NDIR_BLOCKS. So reserve these blocks right now
@@ -345,6 +381,7 @@ int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
                ////) {
                ////    bb_error_msg_and_die("way small device");
                ////}
+
                // Standard mke2fs uses 50. Looks like a bug in our calculation
                // of "remainder" or "overhead" - we don't match standard mke2fs
                // when we transition from one group to two groups
@@ -377,7 +414,7 @@ int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
                , inodes_per_group * ngroups, nblocks
                , nreserved, reserved_percent
                , first_block
-               , group_desc_blocks * (blocksize / sizeof(*gd)) * blocks_per_group
+               , group_desc_blocks * (blocksize / (unsigned)sizeof(*gd)) * blocks_per_group
                , ngroups
                , blocks_per_group, blocks_per_group
                , inodes_per_group
@@ -396,7 +433,7 @@ int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
        }
        bb_putchar('\n');
 
-       if (opts & OPT_n) {
+       if (option_mask32 & OPT_n) {
                if (ENABLE_FEATURE_CLEAN_UP)
                        close(fd);
                return EXIT_SUCCESS;
@@ -412,9 +449,12 @@ int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
 
        // fill the superblock
        sb = xzalloc(1024);
-       STORE_LE(sb->s_rev_level, 1); // revision 1 filesystem
+       STORE_LE(sb->s_rev_level, EXT2_DYNAMIC_REV); // revision 1 filesystem
        STORE_LE(sb->s_magic, EXT2_SUPER_MAGIC);
-       STORE_LE(sb->s_inode_size, sizeof(*inode));
+       STORE_LE(sb->s_inode_size, inodesize);
+       // set "Required extra isize" and "Desired extra isize" fields to 28
+       if (inodesize != sizeof(*inode))
+               STORE_LE(sb->s_reserved[21], 0x001C001C);
        STORE_LE(sb->s_first_ino, EXT2_GOOD_OLD_FIRST_INO);
        STORE_LE(sb->s_log_block_size, blocksize_log2 - EXT2_MIN_BLOCK_LOG_SIZE);
        STORE_LE(sb->s_log_frag_size, blocksize_log2 - EXT2_MIN_BLOCK_LOG_SIZE);
@@ -437,19 +477,22 @@ int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
        STORE_LE(sb->s_mkfs_time, timestamp);
        STORE_LE(sb->s_wtime, timestamp);
        STORE_LE(sb->s_lastcheck, timestamp);
-       // misc
+       // misc. Values are chosen to match mke2fs 1.41.9
        STORE_LE(sb->s_state, 1); // TODO: what's 1?
        STORE_LE(sb->s_creator_os, EXT2_OS_LINUX);
        STORE_LE(sb->s_checkinterval, 24*60*60 * 180); // 180 days
        STORE_LE(sb->s_errors, EXT2_ERRORS_DEFAULT);
+       // mke2fs 1.41.9 also sets EXT3_FEATURE_COMPAT_RESIZE_INODE
+       // and if >= 0.5GB, EXT3_FEATURE_RO_COMPAT_LARGE_FILE.
+       // we use values which match "mke2fs -O ^resize_inode":
+       // in this case 1.41.9 never sets EXT3_FEATURE_RO_COMPAT_LARGE_FILE.
        STORE_LE(sb->s_feature_compat, EXT2_FEATURE_COMPAT_SUPP
                | (EXT2_FEATURE_COMPAT_RESIZE_INO * ENABLE_FEATURE_MKFS_EXT2_RESERVED_GDT)
                | (EXT2_FEATURE_COMPAT_DIR_INDEX * ENABLE_FEATURE_MKFS_EXT2_DIR_INDEX)
        );
-       // e2fsck from 1.41.9 doesn't like EXT2_FEATURE_INCOMPAT_WHITEOUT
-       STORE_LE(sb->s_feature_incompat, EXT2_FEATURE_INCOMPAT_FILETYPE);// | EXT2_FEATURE_INCOMPAT_WHITEOUT;
+       STORE_LE(sb->s_feature_incompat, EXT2_FEATURE_INCOMPAT_FILETYPE);
        STORE_LE(sb->s_feature_ro_compat, EXT2_FEATURE_RO_COMPAT_SPARSE_SUPER);
-       STORE_LE(sb->s_flags, EXT2_FLAGS_SIGNED_HASH * ENABLE_FEATURE_MKFS_EXT2_DIR_INDEX);
+       STORE_LE(sb->s_flags, EXT2_FLAGS_UNSIGNED_HASH * ENABLE_FEATURE_MKFS_EXT2_DIR_INDEX);
        generate_uuid(sb->s_uuid);
        if (ENABLE_FEATURE_MKFS_EXT2_DIR_INDEX) {
                STORE_LE(sb->s_def_hash_version, EXT2_HASH_HALF_MD4);
@@ -564,8 +607,8 @@ int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
        // dump root dir inode
        STORE_LE(inode->i_links_count, 3); // "/.", "/..", "/lost+found/.." point to this inode
        STORE_LE(inode->i_block[0], FETCH_LE32(gd[0].bg_inode_table) + inode_table_blocks);
-       PUT(((uint64_t)FETCH_LE32(gd[0].bg_inode_table) * blocksize) + (EXT2_ROOT_INO-1) * sizeof(*inode),
-                               buf, sizeof(*inode));
+       PUT(((uint64_t)FETCH_LE32(gd[0].bg_inode_table) * blocksize) + (EXT2_ROOT_INO-1) * inodesize,
+                               buf, inodesize);
 
        // dump lost+found dir inode
        STORE_LE(inode->i_links_count, 2); // both "/lost+found" and "/lost+found/." point to this inode
@@ -575,19 +618,20 @@ int mkfs_ext2_main(int argc UNUSED_PARAM, char **argv)
        for (i = 0; i < lost_and_found_blocks; ++i)
                STORE_LE(inode->i_block[i], i + n); // use next block
 //bb_info_msg("LAST BLOCK USED[%u]", i + n);
-       PUT(((uint64_t)FETCH_LE32(gd[0].bg_inode_table) * blocksize) + (EXT2_GOOD_OLD_FIRST_INO-1) * sizeof(*inode),
-                               buf, sizeof(*inode));
+       PUT(((uint64_t)FETCH_LE32(gd[0].bg_inode_table) * blocksize) + (EXT2_GOOD_OLD_FIRST_INO-1) * inodesize,
+                               buf, inodesize);
 
-       // zero the blocks for "/lost+found"
+       // dump directories
        memset(buf, 0, blocksize);
+       dir = (struct ext2_dir *)buf;
+
+       // dump 2nd+ blocks of "/lost+found"
+       STORE_LE(dir->rec_len1, blocksize); // e2fsck 1.41.4 compat (1.41.9 does not need this)
        for (i = 1; i < lost_and_found_blocks; ++i)
                PUT((uint64_t)(FETCH_LE32(gd[0].bg_inode_table) + inode_table_blocks + 1+i) * blocksize,
                                buf, blocksize);
 
-       // dump directories
-       dir = (struct ext2_dir *)buf;
-
-       // dump lost+found dir block
+       // dump 1st block of "/lost+found"
        STORE_LE(dir->inode1, EXT2_GOOD_OLD_FIRST_INO);
        STORE_LE(dir->rec_len1, 12);
        STORE_LE(dir->name_len1, 1);