server/tests/cli/prune-storage.ts

   1 /* eslint-disable @typescript-eslint/no-unused-expressions,@typescript-eslint/require-await */
   2
   3 import 'mocha'
   4 import * as chai from 'chai'
   5 import { waitJobs } from '../../../shared/extra-utils/server/jobs'
   6 import {
   7   buildServerDirectory,
   8   cleanupTests,
   9   createVideoPlaylist,
  10   doubleFollow,
  11   execCLI,
  12   flushAndRunMultipleServers,
  13   getAccount,
  14   getEnvCli,
  15   makeGetRequest,
  16   ServerInfo,
  17   setAccessTokensToServers,
  18   setDefaultVideoChannel,
  19   updateMyAvatar,
  20   uploadVideo,
  21   wait
  22 } from '../../../shared/extra-utils'
  23 import { Account, VideoPlaylistPrivacy } from '../../../shared/models'
  24 import { createFile, readdir } from 'fs-extra'
  25 import { v4 as uuidv4 } from 'uuid'
  26 import { join } from 'path'
  27
  28 const expect = chai.expect
  29
  30 async function countFiles (internalServerNumber: number, directory: string) {
  31   const files = await readdir(buildServerDirectory(internalServerNumber, directory))
  32
  33   return files.length
  34 }
  35
  36 async function assertNotExists (internalServerNumber: number, directory: string, substring: string) {
  37   const files = await readdir(buildServerDirectory(internalServerNumber, directory))
  38
  39   for (const f of files) {
  40     expect(f).to.not.contain(substring)
  41   }
  42 }
  43
  44 async function assertCountAreOkay (servers: ServerInfo[]) {
  45   for (const server of servers) {
  46     const videosCount = await countFiles(server.internalServerNumber, 'videos')
  47     expect(videosCount).to.equal(8)
  48
  49     const torrentsCount = await countFiles(server.internalServerNumber, 'torrents')
  50     expect(torrentsCount).to.equal(16)
  51
  52     const previewsCount = await countFiles(server.internalServerNumber, 'previews')
  53     expect(previewsCount).to.equal(2)
  54
  55     const thumbnailsCount = await countFiles(server.internalServerNumber, 'thumbnails')
  56     expect(thumbnailsCount).to.equal(6)
  57
  58     const avatarsCount = await countFiles(server.internalServerNumber, 'avatars')
  59     expect(avatarsCount).to.equal(2)
  60   }
  61 }
  62
  63 describe('Test prune storage scripts', function () {
  64   let servers: ServerInfo[]
  65   const badNames: { [directory: string]: string[] } = {}
  66
  67   before(async function () {
  68     this.timeout(120000)
  69
  70     servers = await flushAndRunMultipleServers(2, { transcoding: { enabled: true } })
  71     await setAccessTokensToServers(servers)
  72     await setDefaultVideoChannel(servers)
  73
  74     for (const server of servers) {
  75       await uploadVideo(server.url, server.accessToken, { name: 'video 1' })
  76       await uploadVideo(server.url, server.accessToken, { name: 'video 2' })
  77
  78       await updateMyAvatar({ url: server.url, accessToken: server.accessToken, fixture: 'avatar.png' })
  79
  80       await createVideoPlaylist({
  81         url: server.url,
  82         token: server.accessToken,
  83         playlistAttrs: {
  84           displayName: 'playlist',
  85           privacy: VideoPlaylistPrivacy.PUBLIC,
  86           videoChannelId: server.videoChannel.id,
  87           thumbnailfile: 'thumbnail.jpg'
  88         }
  89       })
  90     }
  91
  92     await doubleFollow(servers[0], servers[1])
  93
  94     // Lazy load the remote avatar
  95     {
  96       const res = await getAccount(servers[0].url, 'root@localhost:' + servers[1].port)
  97       const account: Account = res.body
  98       await makeGetRequest({
  99         url: servers[0].url,
 100         path: account.avatar.path,
 101         statusCodeExpected: 200
 102       })
 103     }
 104
 105     {
 106       const res = await getAccount(servers[1].url, 'root@localhost:' + servers[0].port)
 107       const account: Account = res.body
 108       await makeGetRequest({
 109         url: servers[1].url,
 110         path: account.avatar.path,
 111         statusCodeExpected: 200
 112       })
 113     }
 114
 115     await wait(1000)
 116
 117     await waitJobs(servers)
 118   })
 119
 120   it('Should have the files on the disk', async function () {
 121     await assertCountAreOkay(servers)
 122   })
 123
 124   it('Should create some dirty files', async function () {
 125     for (let i = 0; i < 2; i++) {
 126       {
 127         const base = buildServerDirectory(servers[0].internalServerNumber, 'videos')
 128
 129         const n1 = uuidv4() + '.mp4'
 130         const n2 = uuidv4() + '.webm'
 131
 132         await createFile(join(base, n1))
 133         await createFile(join(base, n2))
 134
 135         badNames['videos'] = [ n1, n2 ]
 136       }
 137
 138       {
 139         const base = buildServerDirectory(servers[0].internalServerNumber, 'torrents')
 140
 141         const n1 = uuidv4() + '-240.torrent'
 142         const n2 = uuidv4() + '-480.torrent'
 143
 144         await createFile(join(base, n1))
 145         await createFile(join(base, n2))
 146
 147         badNames['torrents'] = [ n1, n2 ]
 148       }
 149
 150       {
 151         const base = buildServerDirectory(servers[0].internalServerNumber, 'thumbnails')
 152
 153         const n1 = uuidv4() + '.jpg'
 154         const n2 = uuidv4() + '.jpg'
 155
 156         await createFile(join(base, n1))
 157         await createFile(join(base, n2))
 158
 159         badNames['thumbnails'] = [ n1, n2 ]
 160       }
 161
 162       {
 163         const base = buildServerDirectory(servers[0].internalServerNumber, 'previews')
 164
 165         const n1 = uuidv4() + '.jpg'
 166         const n2 = uuidv4() + '.jpg'
 167
 168         await createFile(join(base, n1))
 169         await createFile(join(base, n2))
 170
 171         badNames['previews'] = [ n1, n2 ]
 172       }
 173
 174       {
 175         const base = buildServerDirectory(servers[0].internalServerNumber, 'avatars')
 176
 177         const n1 = uuidv4() + '.png'
 178         const n2 = uuidv4() + '.jpg'
 179
 180         await createFile(join(base, n1))
 181         await createFile(join(base, n2))
 182
 183         badNames['avatars'] = [ n1, n2 ]
 184       }
 185     }
 186   })
 187
 188   it('Should run prune storage', async function () {
 189     this.timeout(30000)
 190
 191     const env = getEnvCli(servers[0])
 192     await execCLI(`echo y | ${env} npm run prune-storage`)
 193   })
 194
 195   it('Should have removed files', async function () {
 196     await assertCountAreOkay(servers)
 197
 198     for (const directory of Object.keys(badNames)) {
 199       for (const name of badNames[directory]) {
 200         await assertNotExists(servers[0].internalServerNumber, directory, name)
 201       }
 202     }
 203   })
 204
 205   after(async function () {
 206     await cleanupTests(servers)
 207   })
 208 })