pulling in nginx config
[oweals/karmaworld.git] / fabfile.py
index 22fcf5271d69d785e48d2bdbd95230f52c0fc463..41ac5a9750b45e550474cceb2d5e91cbb9fbecda 100644 (file)
@@ -3,16 +3,23 @@
     Finals Club (c) 2013"""
 
 import os
+import ConfigParser
 
-from fabric.api import cd, env, lcd, prefix, run, task, local, settings
-from fabvenv import virtualenv
+from fabric.api import cd, env, lcd, prefix, run, sudo, task, local, settings
+from fabric.contrib import files
 
 ######### GLOBAL
+env.user = 'vagrant'
+env.group = 'vagrant'
 env.proj_repo = 'git@github.com:FinalsClub/karmaworld.git'
-
+env.repo_root = '~/karmaworld'
+env.proj_root = '/var/www/karmaworld'
+env.branch = 'prod'
+env.code_root = env.proj_root
+env.env_root = env.proj_root
+env.supervisor_conf = '{0}/confs/{1}/supervisord.conf'.format(env.code_root, env.branch)
 
 ######## Define host(s)
-@task
 def here():
     """
     Connection information for the local machine
@@ -21,7 +28,6 @@ def here():
         prefixed_command = '/bin/bash -l -i -c "%s"' % command
         return local(prefixed_command)
 
-    env.run = _custom_local
     # This is required for the same reason as above
     env.proj_root = '/var/www/karmaworld'
     env.cd = lcd
@@ -44,14 +50,13 @@ def prod():
     env.reqs = 'reqs/prod.txt'
     env.confs = 'confs/prod/'
     env.branch = 'beta'
-    env.run = virtenv_exec
     env.gunicorn_addr = '127.0.0.1:8000'
 
 ####### Define beta host
 @task
 def beta():
-    """                                                                                                                                                                 
-    Connection Information for beta machine                                                                                                                       
+    """
+    Connection Information for beta machine
     """
 
     env.user = 'djkarma'
@@ -60,25 +65,31 @@ def beta():
     env.reqs = 'reqs/prod.txt'
     env.confs = 'confs/prod/'
     env.branch = 'beta'
-    env.run = virtenv_exec
 
 ######## Run Commands in Virutal Environment
+def virtenv_path():
+    """
+    Builds the virtualenv path.
+    """
+    # not much here now, but maybe useful later.
+    return env.env_root
+
 def virtenv_exec(command):
-        """
-       Execute command in Virtualenv
-       """
+    """
+    Execute command in Virtualenv
+    """
 
-        with virtualenv('%s/%s' % (env.proj_root, env.branch)):
-                run('%s' % (command))
+    path = virtenv_path()
+    with prefix('source {0}/bin/activate'.format(path)):
+        run(command)
 
 ######## Sync database
 @task
 def syncdb():
-       """
-       Sync Database
-       """
-
-       env.run('%s/manage.py syncdb --migrate' % env.proj_root )
+    """
+    Sync Database
+    """
+    virtenv_exec('{0}/manage.py syncdb --migrate'.format(env.code_root))
 
 
 ####### Collect Static Files
@@ -88,7 +99,7 @@ def collect_static():
        Collect static files (if AWS config. present, push to S3)
        """
 
-       env.run('%s/manage.py collectstatic --noinput' % env.proj_root )        
+       virtenv_exec('%s/manage.py collectstatic --noinput' % env.code_root )   
 
 ####### Run Dev Server
 @task
@@ -97,25 +108,31 @@ def dev_server():
        Runs the built-in django webserver
        """
 
-       env.run('%s/manage.py runserver' % env.proj_root)       
+       virtenv_exec('%s/manage.py runserver' % env.code_root)  
 
 ####### Create Virtual Environment
+
 @task
-def make_virtualenv():
-       """
-       Create our Virtualenv in $SRC_ROOT
-       """
+def link_code():
+    """
+    Link the karmaworld repo into the appropriate production location
+    """
+    if not files.exists(env.code_root):
+        run('ln -s {0} {1}'.format(env.repo_root, env.code_root))
 
-       run('virtualenv %s/%s' % (env.proj_root, env.branch))
-       env.run('pip install -r %s/reqs/%s.txt' % (env.proj_root, env.branch) )
+@task
+def make_virtualenv():
+    """
+    Create our Virtualenv
+    """
+    run('virtualenv {0}'.format(virtenv_path()))
 
 @task
 def start_supervisord():
     """
     Starts supervisord
     """
-    config_file = '/var/www/karmaworld/confs/prod/supervisord.conf'
-    env.run('supervisord -c %s' % config_file)
+    virtenv_exec('supervisord -c {0}'.format(env.supervisor_conf))
 
 
 @task
@@ -123,8 +140,7 @@ def stop_supervisord():
     """
     Restarts supervisord
     """
-    config_file = '/var/www/karmaworld/confs/prod/supervisord.conf'
-    env.run('supervisorctl -c %s shutdown' % config_file)
+    virtenv_exec('supervisorctl -c {0} shutdown'.format(env.supervisor_conf))
 
 
 @task
@@ -142,8 +158,7 @@ def supervisorctl(action, process):
     defined in supervisord.conf and the action that should
     be performed on it: start|stop|restart.
     """
-    supervisor_conf = '/var/www/karmaworld/confs/prod/supervisord.conf'
-    env.run('supervisorctl -c %s %s %s' % (supervisor_conf, action, process))
+    virtenv_exec('supervisorctl -c {0} {1} {2}'.format(env.supervisor_conf, action, process))
 
 
 @task
@@ -197,28 +212,67 @@ def restart_gunicorn():
 ####### Update Requirements
 @task
 def update_reqs():
-       env.run('pip install -r reqs/prod.txt')
+    virtenv_exec('pip install -r {0}/reqs/{1}.txt'.format(env.repo_root, env.branch))
 
 ####### Pull new code
 @task
 def update_code():
-       env.run('cd %s; git pull' % env.proj_root )
+    virtenv_exec('cd %s; git pull' % env.proj_root )
 
-@task
 def backup():
     """
     Create backup using bup
     """
+    pass
+
+@task
+def file_setup():
+    """
+    Deploy expected files and directories from non-apt system services.
+    """
+    ini_parser = ConfigParser.SafeConfigParser()
+    if not ini_parser.read(env.supervisor_conf):
+      raise Exception("Could not parse INI file {0}".format(env.supervisor_conf))
+    for section, option in (('supervisord','logfile'),
+                            ('supervisord','pidfile'),
+                            ('unix_http_server','file'),
+                            ('program:celeryd','stdout_logfile')):
+      filepath = ini_parser.get(section, option)
+      # generate file's directory structure if needed
+      run('mkdir -p {0}'.format(os.path.split(filepath)[0]))
+      # touch a file and change ownership if needed
+      if 'log' in option and not files.exists(filepath):
+          sudo('touch {0}'.format(filepath))
+          sudo('chown {0}:{1} {2}'.format(env.user, env.group, filepath))
+
+@task
+def check_secrets():
+    """
+    Ensure secret files exist for syncdb to run.
+    """
+
+    secrets_path = env.code_root + '/karmaworld/secret'
+    secrets_files = ('filepicker.py', 'static_s3.py', 'db_settings.py')
+
+    errors = []
+    for sfile in secrets_files:
+        ffile = os.path.sep.join((secrets_path,sfile))
+        if not files.exists(ffile):
+            errors.append('{0} missing. Please add and try again.'.format(ffile))
+    if errors:
+        raise Exception('\n'.join(errors))
+
 @task
 def first_deploy():
-    
     """
     Sets up and deploys the project for the first time.
     """
+    link_code()
     make_virtualenv()
+    file_setup()
+    check_secrets()
     update_reqs()
     syncdb()
-    manage_static()
     start_supervisord()