server/helpers/requests.ts

   1 import * as Bluebird from 'bluebird'
   2 import { createWriteStream, remove } from 'fs-extra'
   3 import * as request from 'request'
   4 import { ACTIVITY_PUB, WEBSERVER } from '../initializers/constants'
   5 import { processImage } from './image-utils'
   6 import { join } from 'path'
   7 import { logger } from './logger'
   8 import { CONFIG } from '../initializers/config'
   9
  10 const packageJSON = require('../../../package.json')
  11
  12 function doRequest <T> (
  13   requestOptions: request.CoreOptions & request.UriOptions & { activityPub?: boolean },
  14   bodyKBLimit = 1000 // 1MB
  15 ): Bluebird<{ response: request.RequestResponse, body: T }> {
  16   if (!(requestOptions.headers)) requestOptions.headers = {}
  17   requestOptions.headers['User-Agent'] = getUserAgent()
  18
  19   if (requestOptions.activityPub === true) {
  20     requestOptions.headers['accept'] = ACTIVITY_PUB.ACCEPT_HEADER
  21   }
  22
  23   return new Bluebird<{ response: request.RequestResponse, body: T }>((res, rej) => {
  24     request(requestOptions, (err, response, body) => err ? rej(err) : res({ response, body }))
  25       .on('data', onRequestDataLengthCheck(bodyKBLimit))
  26   })
  27 }
  28
  29 function doRequestAndSaveToFile (
  30   requestOptions: request.CoreOptions & request.UriOptions,
  31   destPath: string,
  32   bodyKBLimit = 10000 // 10MB
  33 ) {
  34   if (!requestOptions.headers) requestOptions.headers = {}
  35   requestOptions.headers['User-Agent'] = getUserAgent()
  36
  37   return new Bluebird<void>((res, rej) => {
  38     const file = createWriteStream(destPath)
  39     file.on('finish', () => res())
  40
  41     request(requestOptions)
  42       .on('data', onRequestDataLengthCheck(bodyKBLimit))
  43       .on('error', err => {
  44         file.close()
  45
  46         remove(destPath)
  47           .catch(err => logger.error('Cannot remove %s after request failure.', destPath, { err }))
  48
  49         return rej(err)
  50       })
  51       .pipe(file)
  52   })
  53 }
  54
  55 async function downloadImage (url: string, destDir: string, destName: string, size: { width: number, height: number }) {
  56   const tmpPath = join(CONFIG.STORAGE.TMP_DIR, 'pending-' + destName)
  57   await doRequestAndSaveToFile({ method: 'GET', uri: url }, tmpPath)
  58
  59   const destPath = join(destDir, destName)
  60
  61   try {
  62     await processImage(tmpPath, destPath, size)
  63   } catch (err) {
  64     await remove(tmpPath)
  65
  66     throw err
  67   }
  68 }
  69
  70 function getUserAgent () {
  71   return `PeerTube/${packageJSON.version} (+${WEBSERVER.URL})`
  72 }
  73
  74 // ---------------------------------------------------------------------------
  75
  76 export {
  77   doRequest,
  78   doRequestAndSaveToFile,
  79   downloadImage
  80 }
  81
  82 // ---------------------------------------------------------------------------
  83
  84 // Thanks to https://github.com/request/request/issues/2470#issuecomment-268929907 <3
  85 function onRequestDataLengthCheck (bodyKBLimit: number) {
  86   let bufferLength = 0
  87   const bytesLimit = bodyKBLimit * 1000
  88
  89   return function (chunk) {
  90     bufferLength += chunk.length
  91     if (bufferLength > bytesLimit) {
  92       this.abort()
  93
  94       const error = new Error(`Response was too large - aborted after ${bytesLimit} bytes.`)
  95       this.emit('error', error)
  96     }
  97   }
  98 }