server/initializers/database.ts

   1 import { join } from 'path'
   2 import { flattenDepth } from 'lodash'
   3 require('pg').defaults.parseInt8 = true // Avoid BIGINT to be converted to string
   4 import * as Sequelize from 'sequelize'
   5 import { AvatarModel } from '../models/avatar'
   6
   7 import { CONFIG } from './constants'
   8 // Do not use barrel, we need to load database first
   9 import { logger } from '../helpers/logger'
  10 import { isTestInstance, readdirPromise } from '../helpers/core-utils'
  11
  12 import { VideoModel } from './../models/video/video-interface'
  13 import { VideoTagModel } from './../models/video/video-tag-interface'
  14 import { BlacklistedVideoModel } from './../models/video/video-blacklist-interface'
  15 import { VideoFileModel } from './../models/video/video-file-interface'
  16 import { VideoAbuseModel } from './../models/video/video-abuse-interface'
  17 import { VideoChannelModel } from './../models/video/video-channel-interface'
  18 import { UserModel } from '../models/account/user-interface'
  19 import { AccountVideoRateModel } from '../models/account/account-video-rate-interface'
  20 import { AccountFollowModel } from '../models/account/account-follow-interface'
  21 import { TagModel } from './../models/video/tag-interface'
  22 import { ServerModel } from '../models/server/server-interface'
  23 import { OAuthTokenModel } from './../models/oauth/oauth-token-interface'
  24 import { OAuthClientModel } from './../models/oauth/oauth-client-interface'
  25 import { JobModel } from './../models/job/job-interface'
  26 import { AccountModel } from './../models/account/account-interface'
  27 import { ApplicationModel } from './../models/application/application-interface'
  28 import { VideoChannelShareModel } from '../models/video/video-channel-share-interface'
  29 import { VideoShareModel } from '../models/video/video-share-interface'
  30
  31 const dbname = CONFIG.DATABASE.DBNAME
  32 const username = CONFIG.DATABASE.USERNAME
  33 const password = CONFIG.DATABASE.PASSWORD
  34
  35 export type PeerTubeDatabase = {
  36   sequelize?: Sequelize.Sequelize,
  37   init?: (silent: boolean) => Promise<void>,
  38
  39   Application?: ApplicationModel,
  40   Avatar?: AvatarModel,
  41   Account?: AccountModel,
  42   Job?: JobModel,
  43   OAuthClient?: OAuthClientModel,
  44   OAuthToken?: OAuthTokenModel,
  45   Server?: ServerModel,
  46   Tag?: TagModel,
  47   AccountVideoRate?: AccountVideoRateModel,
  48   AccountFollow?: AccountFollowModel,
  49   User?: UserModel,
  50   VideoAbuse?: VideoAbuseModel,
  51   VideoChannel?: VideoChannelModel,
  52   VideoChannelShare?: VideoChannelShareModel,
  53   VideoShare?: VideoShareModel,
  54   VideoFile?: VideoFileModel,
  55   BlacklistedVideo?: BlacklistedVideoModel,
  56   VideoTag?: VideoTagModel,
  57   Video?: VideoModel
  58 }
  59
  60 const database: PeerTubeDatabase = {}
  61
  62 const sequelize = new Sequelize(dbname, username, password, {
  63   dialect: 'postgres',
  64   host: CONFIG.DATABASE.HOSTNAME,
  65   port: CONFIG.DATABASE.PORT,
  66   benchmark: isTestInstance(),
  67   isolationLevel: Sequelize.Transaction.ISOLATION_LEVELS.SERIALIZABLE,
  68   operatorsAliases: false,
  69
  70   logging: (message: string, benchmark: number) => {
  71     if (process.env.NODE_DB_LOG === 'false') return
  72
  73     let newMessage = message
  74     if (isTestInstance() === true && benchmark !== undefined) {
  75       newMessage += ' | ' + benchmark + 'ms'
  76     }
  77
  78     logger.debug(newMessage)
  79   }
  80 })
  81
  82 database.sequelize = sequelize
  83
  84 database.init = async (silent: boolean) => {
  85   const modelDirectory = join(__dirname, '..', 'models')
  86
  87   const filePaths = await getModelFiles(modelDirectory)
  88
  89   for (const filePath of filePaths) {
  90     try {
  91       const model = sequelize.import(filePath)
  92
  93       database[model['name']] = model
  94     } catch (err) {
  95       logger.error('Cannot import database model %s.', filePath, err)
  96       process.exit(0)
  97     }
  98   }
  99
 100   for (const modelName of Object.keys(database)) {
 101     if ('associate' in database[modelName]) {
 102       try {
 103         database[modelName].associate(database)
 104       } catch (err) {
 105         logger.error('Cannot associate model %s.', modelName, err)
 106         process.exit(0)
 107       }
 108     }
 109   }
 110
 111   if (!silent) logger.info('Database %s is ready.', dbname)
 112
 113   return
 114 }
 115
 116 // ---------------------------------------------------------------------------
 117
 118 export {
 119   database
 120 }
 121
 122 // ---------------------------------------------------------------------------
 123
 124 async function getModelFiles (modelDirectory: string) {
 125   const files = await readdirPromise(modelDirectory)
 126   const directories = files.filter(directory => {
 127     // Find directories
 128     if (
 129       directory.endsWith('.js.map') ||
 130       directory === 'index.js' || directory === 'index.ts' ||
 131       directory === 'utils.js' || directory === 'utils.ts'
 132     ) return false
 133
 134     return true
 135   })
 136
 137   const tasks: Promise<any>[] = []
 138
 139   // For each directory we read it and append model in the modelFilePaths array
 140   for (const directory of directories) {
 141     const modelDirectoryPath = join(modelDirectory, directory)
 142
 143     const promise = readdirPromise(modelDirectoryPath)
 144       .then(files => {
 145         const filteredFiles = files
 146           .filter(file => {
 147             if (
 148               file === 'index.js' || file === 'index.ts' ||
 149               file === 'utils.js' || file === 'utils.ts' ||
 150               file.endsWith('-interface.js') || file.endsWith('-interface.ts') ||
 151               file.endsWith('.js.map')
 152             ) return false
 153
 154             return true
 155           })
 156           .map(file => join(modelDirectoryPath, file))
 157
 158         return filteredFiles
 159       })
 160
 161     tasks.push(promise)
 162   }
 163
 164   const filteredFilesArray: string[][] = await Promise.all(tasks)
 165   return flattenDepth<string>(filteredFilesArray, 1)
 166 }