karmaworld/apps/notes/migrations/0021_get_html_from_s3.py

   1 # -*- coding: utf-8 -*-
   2 from south.utils import datetime_utils as datetime
   3 from south.db import db
   4 from south.v2 import DataMigration
   5 from django.db import models
   6 from django.core.files.storage import default_storage
   7 import requests
   8
   9 class Migration(DataMigration):
  10
  11     def forwards(self, orm):
  12         "Write your forwards methods here."
  13         # Note: Don't use "from appname.models import ModelName".
  14         # Use orm.ModelName to refer to models in this application,
  15         # and orm['appname.ModelName'] for models in other applications.
  16
  17         # keep score
  18         good = []
  19         bad = []
  20
  21         # find each Note without an html field, download its S3 html, and
  22         # store it in the local database.
  23         for note in orm['notes.Note'].objects.filter(notemarkdown__html__isnull=True):
  24             # download the s3 content
  25             html = ''
  26             # copy/pasted from model code for Note.get_relative_s3_path
  27             note_s3_path = 'html/{0}.html'.format(note.slug)
  28             key = default_storage.bucket.get_key(note_s3_path)
  29             if key:
  30                 html = key.read()
  31
  32             if not html:
  33                 bad.append(note.slug)
  34                 continue
  35             else:
  36                 good.append(note.slug)
  37
  38             # store the html in the corresponding NoteMarkdown object
  39             nmd = orm['notes.NoteMarkdown'].objects.get_or_create(note=note)[0]
  40             nmd.html = html
  41             nmd.save()
  42
  43         # Display the score
  44         print "Migrated {0} notes and failed to migrate {1} notes.".format(
  45           len(good), len(bad))
  46
  47         print "Failed list:"
  48         for slug in bad:
  49             print slug
  50
  51     def backwards(self, orm):
  52         "Write your backwards methods here."
  53
  54     models = {
  55         u'auth.group': {
  56             'Meta': {'object_name': 'Group'},
  57             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
  58             'name': ('django.db.models.fields.CharField', [], {'unique': 'True', 'max_length': '80'}),
  59             'permissions': ('django.db.models.fields.related.ManyToManyField', [], {'to': u"orm['auth.Permission']", 'symmetrical': 'False', 'blank': 'True'})
  60         },
  61         u'auth.permission': {
  62             'Meta': {'ordering': "(u'content_type__app_label', u'content_type__model', u'codename')", 'unique_together': "((u'content_type', u'codename'),)", 'object_name': 'Permission'},
  63             'codename': ('django.db.models.fields.CharField', [], {'max_length': '100'}),
  64             'content_type': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['contenttypes.ContentType']"}),
  65             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
  66             'name': ('django.db.models.fields.CharField', [], {'max_length': '50'})
  67         },
  68         u'auth.user': {
  69             'Meta': {'object_name': 'User'},
  70             'date_joined': ('django.db.models.fields.DateTimeField', [], {'default': 'datetime.datetime.now'}),
  71             'email': ('django.db.models.fields.EmailField', [], {'max_length': '75', 'blank': 'True'}),
  72             'first_name': ('django.db.models.fields.CharField', [], {'max_length': '30', 'blank': 'True'}),
  73             'groups': ('django.db.models.fields.related.ManyToManyField', [], {'to': u"orm['auth.Group']", 'symmetrical': 'False', 'blank': 'True'}),
  74             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
  75             'is_active': ('django.db.models.fields.BooleanField', [], {'default': 'True'}),
  76             'is_staff': ('django.db.models.fields.BooleanField', [], {'default': 'False'}),
  77             'is_superuser': ('django.db.models.fields.BooleanField', [], {'default': 'False'}),
  78             'last_login': ('django.db.models.fields.DateTimeField', [], {'default': 'datetime.datetime.now'}),
  79             'last_name': ('django.db.models.fields.CharField', [], {'max_length': '30', 'blank': 'True'}),
  80             'password': ('django.db.models.fields.CharField', [], {'max_length': '128'}),
  81             'user_permissions': ('django.db.models.fields.related.ManyToManyField', [], {'to': u"orm['auth.Permission']", 'symmetrical': 'False', 'blank': 'True'}),
  82             'username': ('django.db.models.fields.CharField', [], {'unique': 'True', 'max_length': '30'})
  83         },
  84         u'contenttypes.contenttype': {
  85             'Meta': {'ordering': "('name',)", 'unique_together': "(('app_label', 'model'),)", 'object_name': 'ContentType', 'db_table': "'django_content_type'"},
  86             'app_label': ('django.db.models.fields.CharField', [], {'max_length': '100'}),
  87             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
  88             'model': ('django.db.models.fields.CharField', [], {'max_length': '100'}),
  89             'name': ('django.db.models.fields.CharField', [], {'max_length': '100'})
  90         },
  91         u'courses.course': {
  92             'Meta': {'ordering': "['-file_count', 'school', 'name']", 'unique_together': "(('name', 'school'),)", 'object_name': 'Course'},
  93             'created_at': ('django.db.models.fields.DateTimeField', [], {'auto_now_add': 'True', 'blank': 'True'}),
  94             'department': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['courses.Department']", 'null': 'True', 'blank': 'True'}),
  95             'desc': ('django.db.models.fields.TextField', [], {'max_length': '511', 'null': 'True', 'blank': 'True'}),
  96             'file_count': ('django.db.models.fields.IntegerField', [], {'default': '0'}),
  97             'flags': ('django.db.models.fields.IntegerField', [], {'default': '0'}),
  98             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
  99             'instructor_email': ('django.db.models.fields.EmailField', [], {'max_length': '75', 'null': 'True', 'blank': 'True'}),
 100             'instructor_name': ('django.db.models.fields.CharField', [], {'max_length': '255', 'null': 'True', 'blank': 'True'}),
 101             'name': ('django.db.models.fields.CharField', [], {'max_length': '255'}),
 102             'professor': ('django.db.models.fields.related.ManyToManyField', [], {'symmetrical': 'False', 'to': u"orm['courses.Professor']", 'null': 'True', 'blank': 'True'}),
 103             'school': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['courses.School']", 'null': 'True', 'blank': 'True'}),
 104             'slug': ('django.db.models.fields.SlugField', [], {'max_length': '150', 'null': 'True'}),
 105             'thank_count': ('django.db.models.fields.IntegerField', [], {'default': '0'}),
 106             'updated_at': ('django.db.models.fields.DateTimeField', [], {'default': 'datetime.datetime.utcnow'}),
 107             'url': ('django.db.models.fields.URLField', [], {'max_length': '511', 'null': 'True', 'blank': 'True'})
 108         },
 109         u'courses.department': {
 110             'Meta': {'unique_together': "(('name', 'school'),)", 'object_name': 'Department'},
 111             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 112             'name': ('django.db.models.fields.CharField', [], {'max_length': '255'}),
 113             'school': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['courses.School']"}),
 114             'slug': ('django.db.models.fields.SlugField', [], {'max_length': '150', 'null': 'True'}),
 115             'url': ('django.db.models.fields.URLField', [], {'max_length': '511', 'null': 'True', 'blank': 'True'})
 116         },
 117         u'courses.professor': {
 118             'Meta': {'unique_together': "(('name', 'email'),)", 'object_name': 'Professor'},
 119             'email': ('django.db.models.fields.EmailField', [], {'max_length': '75', 'null': 'True', 'blank': 'True'}),
 120             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 121             'name': ('django.db.models.fields.CharField', [], {'max_length': '255'})
 122         },
 123         u'courses.school': {
 124             'Meta': {'ordering': "['-file_count', '-priority', 'name']", 'object_name': 'School'},
 125             'alias': ('django.db.models.fields.CharField', [], {'max_length': '255', 'null': 'True', 'blank': 'True'}),
 126             'facebook_id': ('django.db.models.fields.BigIntegerField', [], {'null': 'True', 'blank': 'True'}),
 127             'file_count': ('django.db.models.fields.IntegerField', [], {'default': '0'}),
 128             'hashtag': ('django.db.models.fields.CharField', [], {'max_length': '16', 'unique': 'True', 'null': 'True', 'blank': 'True'}),
 129             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 130             'location': ('django.db.models.fields.CharField', [], {'max_length': '255', 'null': 'True', 'blank': 'True'}),
 131             'name': ('django.db.models.fields.CharField', [], {'max_length': '255'}),
 132             'priority': ('django.db.models.fields.BooleanField', [], {'default': 'False'}),
 133             'slug': ('django.db.models.fields.SlugField', [], {'max_length': '150', 'null': 'True'}),
 134             'url': ('django.db.models.fields.URLField', [], {'max_length': '511', 'blank': 'True'}),
 135             'usde_id': ('django.db.models.fields.BigIntegerField', [], {'unique': 'True', 'null': 'True', 'blank': 'True'})
 136         },
 137         u'licenses.license': {
 138             'Meta': {'object_name': 'License'},
 139             'html': ('django.db.models.fields.TextField', [], {}),
 140             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 141             'name': ('django.db.models.fields.CharField', [], {'unique': 'True', 'max_length': '80'})
 142         },
 143         u'notes.note': {
 144             'Meta': {'ordering': "['-uploaded_at']", 'unique_together': "(('fp_file', 'upstream_link'),)", 'object_name': 'Note'},
 145             'category': ('django.db.models.fields.CharField', [], {'max_length': '50', 'null': 'True', 'blank': 'True'}),
 146             'course': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['courses.Course']"}),
 147             'flags': ('django.db.models.fields.IntegerField', [], {'default': '0'}),
 148             'fp_file': ('django_filepicker.models.FPFileField', [], {'max_length': '100', 'null': 'True', 'blank': 'True'}),
 149             'gdrive_url': ('django.db.models.fields.URLField', [], {'max_length': '1024', 'unique': 'True', 'null': 'True', 'blank': 'True'}),
 150             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 151             'ip': ('django.db.models.fields.GenericIPAddressField', [], {'max_length': '39', 'null': 'True', 'blank': 'True'}),
 152             'is_hidden': ('django.db.models.fields.BooleanField', [], {'default': 'False'}),
 153             'license': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['licenses.License']", 'null': 'True', 'blank': 'True'}),
 154             'mimetype': ('django.db.models.fields.CharField', [], {'max_length': '255', 'null': 'True', 'blank': 'True'}),
 155             'name': ('django.db.models.fields.CharField', [], {'max_length': '255', 'null': 'True', 'blank': 'True'}),
 156             'slug': ('django.db.models.fields.SlugField', [], {'unique': 'True', 'max_length': '255'}),
 157             'text': ('django.db.models.fields.TextField', [], {'null': 'True', 'blank': 'True'}),
 158             'thanks': ('django.db.models.fields.PositiveIntegerField', [], {'default': '0'}),
 159             'tweeted': ('django.db.models.fields.BooleanField', [], {'default': 'False'}),
 160             'uploaded_at': ('django.db.models.fields.DateTimeField', [], {'default': 'datetime.datetime.utcnow', 'null': 'True'}),
 161             'upstream_link': ('django.db.models.fields.URLField', [], {'max_length': '1024', 'unique': 'True', 'null': 'True', 'blank': 'True'}),
 162             'user': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['auth.User']", 'null': 'True', 'on_delete': 'models.SET_NULL', 'blank': 'True'})
 163         },
 164         u'notes.notemarkdown': {
 165             'Meta': {'object_name': 'NoteMarkdown'},
 166             'html': ('django.db.models.fields.TextField', [], {'null': 'True', 'blank': 'True'}),
 167             'markdown': ('django.db.models.fields.TextField', [], {'null': 'True', 'blank': 'True'}),
 168             'note': ('django.db.models.fields.related.OneToOneField', [], {'to': u"orm['notes.Note']", 'unique': 'True', 'primary_key': 'True'})
 169         },
 170         u'notes.useruploadmapping': {
 171             'Meta': {'unique_together': "(('user', 'fp_file'),)", 'object_name': 'UserUploadMapping'},
 172             'fp_file': ('django.db.models.fields.CharField', [], {'max_length': '255'}),
 173             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 174             'user': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['auth.User']"})
 175         },
 176         u'taggit.tag': {
 177             'Meta': {'object_name': 'Tag'},
 178             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 179             'name': ('django.db.models.fields.CharField', [], {'unique': 'True', 'max_length': '100'}),
 180             'slug': ('django.db.models.fields.SlugField', [], {'unique': 'True', 'max_length': '100'})
 181         },
 182         u'taggit.taggeditem': {
 183             'Meta': {'object_name': 'TaggedItem'},
 184             'content_type': ('django.db.models.fields.related.ForeignKey', [], {'related_name': "u'taggit_taggeditem_tagged_items'", 'to': u"orm['contenttypes.ContentType']"}),
 185             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 186             'object_id': ('django.db.models.fields.IntegerField', [], {'db_index': 'True'}),
 187             'tag': ('django.db.models.fields.related.ForeignKey', [], {'related_name': "u'taggit_taggeditem_items'", 'to': u"orm['taggit.Tag']"})
 188         }
 189     }
 190
 191     complete_apps = ['notes']
 192     symmetrical = True