karmaworld/apps/notes/migrations/0020_markdown_to_html.py

   1 # -*- coding: utf-8 -*-
   2 from south.utils import datetime_utils as datetime
   3 from south.db import db
   4 from south.v2 import DataMigration
   5 from django.db import models
   6
   7 import re
   8 import markdown
   9 from notes import sanitizer
  10
  11 class Migration(DataMigration):
  12
  13     def forwards(self, orm):
  14         "Write your forwards methods here."
  15         # Note: Don't use "from appname.models import ModelName".
  16         # Use orm.ModelName to refer to models in this application,
  17         # and orm['appname.ModelName'] for models in other applications.
  18
  19         # find URLs in markdown tags
  20         expr = re.compile('\[(.*)\]\(([^)]+)\)')
  21         # find whitespace
  22         whitespace = re.compile('[\s]+')
  23         # remove all whitespace found in second group of a regex result
  24         def remove_whitespace_from_tag(match):
  25             parms = list(match.groups())
  26             parms[1] = whitespace.sub('', parms[1])
  27             return u'[{0}]({1})'.format(*parms)
  28
  29         # filter non-empty markdown fields into the html field
  30         for notemarkdown in orm['notes.NoteMarkdown'].objects.exclude(markdown=""):
  31             # find markdown link tags and remove all whitespace from the URLs.
  32             # https://github.com/FinalsClub/karmaworld/issues/404
  33             md = expr.sub(remove_whitespace_from_tag, notemarkdown.markdown)
  34             # convert markdown to HTML
  35             md = markdown.markdown(md)
  36             # cleanup converted HTML
  37             notemarkdown.html = sanitizer.sanitize_html_to_editable(md)
  38             notemarkdown.save()
  39
  40     def backwards(self, orm):
  41         "Write your backwards methods here."
  42
  43     models = {
  44         u'auth.group': {
  45             'Meta': {'object_name': 'Group'},
  46             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
  47             'name': ('django.db.models.fields.CharField', [], {'unique': 'True', 'max_length': '80'}),
  48             'permissions': ('django.db.models.fields.related.ManyToManyField', [], {'to': u"orm['auth.Permission']", 'symmetrical': 'False', 'blank': 'True'})
  49         },
  50         u'auth.permission': {
  51             'Meta': {'ordering': "(u'content_type__app_label', u'content_type__model', u'codename')", 'unique_together': "((u'content_type', u'codename'),)", 'object_name': 'Permission'},
  52             'codename': ('django.db.models.fields.CharField', [], {'max_length': '100'}),
  53             'content_type': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['contenttypes.ContentType']"}),
  54             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
  55             'name': ('django.db.models.fields.CharField', [], {'max_length': '50'})
  56         },
  57         u'auth.user': {
  58             'Meta': {'object_name': 'User'},
  59             'date_joined': ('django.db.models.fields.DateTimeField', [], {'default': 'datetime.datetime.now'}),
  60             'email': ('django.db.models.fields.EmailField', [], {'max_length': '75', 'blank': 'True'}),
  61             'first_name': ('django.db.models.fields.CharField', [], {'max_length': '30', 'blank': 'True'}),
  62             'groups': ('django.db.models.fields.related.ManyToManyField', [], {'to': u"orm['auth.Group']", 'symmetrical': 'False', 'blank': 'True'}),
  63             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
  64             'is_active': ('django.db.models.fields.BooleanField', [], {'default': 'True'}),
  65             'is_staff': ('django.db.models.fields.BooleanField', [], {'default': 'False'}),
  66             'is_superuser': ('django.db.models.fields.BooleanField', [], {'default': 'False'}),
  67             'last_login': ('django.db.models.fields.DateTimeField', [], {'default': 'datetime.datetime.now'}),
  68             'last_name': ('django.db.models.fields.CharField', [], {'max_length': '30', 'blank': 'True'}),
  69             'password': ('django.db.models.fields.CharField', [], {'max_length': '128'}),
  70             'user_permissions': ('django.db.models.fields.related.ManyToManyField', [], {'to': u"orm['auth.Permission']", 'symmetrical': 'False', 'blank': 'True'}),
  71             'username': ('django.db.models.fields.CharField', [], {'unique': 'True', 'max_length': '30'})
  72         },
  73         u'contenttypes.contenttype': {
  74             'Meta': {'ordering': "('name',)", 'unique_together': "(('app_label', 'model'),)", 'object_name': 'ContentType', 'db_table': "'django_content_type'"},
  75             'app_label': ('django.db.models.fields.CharField', [], {'max_length': '100'}),
  76             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
  77             'model': ('django.db.models.fields.CharField', [], {'max_length': '100'}),
  78             'name': ('django.db.models.fields.CharField', [], {'max_length': '100'})
  79         },
  80         u'courses.course': {
  81             'Meta': {'ordering': "['-file_count', 'school', 'name']", 'unique_together': "(('name', 'school'),)", 'object_name': 'Course'},
  82             'created_at': ('django.db.models.fields.DateTimeField', [], {'auto_now_add': 'True', 'blank': 'True'}),
  83             'department': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['courses.Department']", 'null': 'True', 'blank': 'True'}),
  84             'desc': ('django.db.models.fields.TextField', [], {'max_length': '511', 'null': 'True', 'blank': 'True'}),
  85             'file_count': ('django.db.models.fields.IntegerField', [], {'default': '0'}),
  86             'flags': ('django.db.models.fields.IntegerField', [], {'default': '0'}),
  87             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
  88             'instructor_email': ('django.db.models.fields.EmailField', [], {'max_length': '75', 'null': 'True', 'blank': 'True'}),
  89             'instructor_name': ('django.db.models.fields.CharField', [], {'max_length': '255', 'null': 'True', 'blank': 'True'}),
  90             'name': ('django.db.models.fields.CharField', [], {'max_length': '255'}),
  91             'professor': ('django.db.models.fields.related.ManyToManyField', [], {'symmetrical': 'False', 'to': u"orm['courses.Professor']", 'null': 'True', 'blank': 'True'}),
  92             'school': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['courses.School']", 'null': 'True', 'blank': 'True'}),
  93             'slug': ('django.db.models.fields.SlugField', [], {'max_length': '150', 'null': 'True'}),
  94             'thank_count': ('django.db.models.fields.IntegerField', [], {'default': '0'}),
  95             'updated_at': ('django.db.models.fields.DateTimeField', [], {'default': 'datetime.datetime.utcnow'}),
  96             'url': ('django.db.models.fields.URLField', [], {'max_length': '511', 'null': 'True', 'blank': 'True'})
  97         },
  98         u'courses.department': {
  99             'Meta': {'unique_together': "(('name', 'school'),)", 'object_name': 'Department'},
 100             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 101             'name': ('django.db.models.fields.CharField', [], {'max_length': '255'}),
 102             'school': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['courses.School']"}),
 103             'slug': ('django.db.models.fields.SlugField', [], {'max_length': '150', 'null': 'True'}),
 104             'url': ('django.db.models.fields.URLField', [], {'max_length': '511', 'null': 'True', 'blank': 'True'})
 105         },
 106         u'courses.professor': {
 107             'Meta': {'unique_together': "(('name', 'email'),)", 'object_name': 'Professor'},
 108             'email': ('django.db.models.fields.EmailField', [], {'max_length': '75', 'null': 'True', 'blank': 'True'}),
 109             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 110             'name': ('django.db.models.fields.CharField', [], {'max_length': '255'})
 111         },
 112         u'courses.school': {
 113             'Meta': {'ordering': "['-file_count', '-priority', 'name']", 'object_name': 'School'},
 114             'alias': ('django.db.models.fields.CharField', [], {'max_length': '255', 'null': 'True', 'blank': 'True'}),
 115             'facebook_id': ('django.db.models.fields.BigIntegerField', [], {'null': 'True', 'blank': 'True'}),
 116             'file_count': ('django.db.models.fields.IntegerField', [], {'default': '0'}),
 117             'hashtag': ('django.db.models.fields.CharField', [], {'max_length': '16', 'unique': 'True', 'null': 'True', 'blank': 'True'}),
 118             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 119             'location': ('django.db.models.fields.CharField', [], {'max_length': '255', 'null': 'True', 'blank': 'True'}),
 120             'name': ('django.db.models.fields.CharField', [], {'max_length': '255'}),
 121             'priority': ('django.db.models.fields.BooleanField', [], {'default': 'False'}),
 122             'slug': ('django.db.models.fields.SlugField', [], {'max_length': '150', 'null': 'True'}),
 123             'url': ('django.db.models.fields.URLField', [], {'max_length': '511', 'blank': 'True'}),
 124             'usde_id': ('django.db.models.fields.BigIntegerField', [], {'unique': 'True', 'null': 'True', 'blank': 'True'})
 125         },
 126         u'licenses.license': {
 127             'Meta': {'object_name': 'License'},
 128             'html': ('django.db.models.fields.TextField', [], {}),
 129             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 130             'name': ('django.db.models.fields.CharField', [], {'unique': 'True', 'max_length': '80'})
 131         },
 132         u'notes.note': {
 133             'Meta': {'ordering': "['-uploaded_at']", 'unique_together': "(('fp_file', 'upstream_link'),)", 'object_name': 'Note'},
 134             'category': ('django.db.models.fields.CharField', [], {'max_length': '50', 'null': 'True', 'blank': 'True'}),
 135             'course': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['courses.Course']"}),
 136             'flags': ('django.db.models.fields.IntegerField', [], {'default': '0'}),
 137             'fp_file': ('django_filepicker.models.FPFileField', [], {'max_length': '100', 'null': 'True', 'blank': 'True'}),
 138             'gdrive_url': ('django.db.models.fields.URLField', [], {'max_length': '1024', 'unique': 'True', 'null': 'True', 'blank': 'True'}),
 139             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 140             'ip': ('django.db.models.fields.GenericIPAddressField', [], {'max_length': '39', 'null': 'True', 'blank': 'True'}),
 141             'is_hidden': ('django.db.models.fields.BooleanField', [], {'default': 'False'}),
 142             'license': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['licenses.License']", 'null': 'True', 'blank': 'True'}),
 143             'mimetype': ('django.db.models.fields.CharField', [], {'max_length': '255', 'null': 'True', 'blank': 'True'}),
 144             'name': ('django.db.models.fields.CharField', [], {'max_length': '255', 'null': 'True', 'blank': 'True'}),
 145             'slug': ('django.db.models.fields.SlugField', [], {'unique': 'True', 'max_length': '255'}),
 146             'text': ('django.db.models.fields.TextField', [], {'null': 'True', 'blank': 'True'}),
 147             'thanks': ('django.db.models.fields.PositiveIntegerField', [], {'default': '0'}),
 148             'tweeted': ('django.db.models.fields.BooleanField', [], {'default': 'False'}),
 149             'uploaded_at': ('django.db.models.fields.DateTimeField', [], {'default': 'datetime.datetime.utcnow', 'null': 'True'}),
 150             'upstream_link': ('django.db.models.fields.URLField', [], {'max_length': '1024', 'unique': 'True', 'null': 'True', 'blank': 'True'}),
 151             'user': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['auth.User']", 'null': 'True', 'on_delete': 'models.SET_NULL', 'blank': 'True'})
 152         },
 153         u'notes.notemarkdown': {
 154             'Meta': {'object_name': 'NoteMarkdown'},
 155             'html': ('django.db.models.fields.TextField', [], {'null': 'True', 'blank': 'True'}),
 156             'markdown': ('django.db.models.fields.TextField', [], {'null': 'True', 'blank': 'True'}),
 157             'note': ('django.db.models.fields.related.OneToOneField', [], {'to': u"orm['notes.Note']", 'unique': 'True', 'primary_key': 'True'})
 158         },
 159         u'notes.useruploadmapping': {
 160             'Meta': {'unique_together': "(('user', 'fp_file'),)", 'object_name': 'UserUploadMapping'},
 161             'fp_file': ('django.db.models.fields.CharField', [], {'max_length': '255'}),
 162             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 163             'user': ('django.db.models.fields.related.ForeignKey', [], {'to': u"orm['auth.User']"})
 164         },
 165         u'taggit.tag': {
 166             'Meta': {'object_name': 'Tag'},
 167             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 168             'name': ('django.db.models.fields.CharField', [], {'unique': 'True', 'max_length': '100'}),
 169             'slug': ('django.db.models.fields.SlugField', [], {'unique': 'True', 'max_length': '100'})
 170         },
 171         u'taggit.taggeditem': {
 172             'Meta': {'object_name': 'TaggedItem'},
 173             'content_type': ('django.db.models.fields.related.ForeignKey', [], {'related_name': "u'taggit_taggeditem_tagged_items'", 'to': u"orm['contenttypes.ContentType']"}),
 174             u'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 175             'object_id': ('django.db.models.fields.IntegerField', [], {'db_index': 'True'}),
 176             'tag': ('django.db.models.fields.related.ForeignKey', [], {'related_name': "u'taggit_taggeditem_items'", 'to': u"orm['taggit.Tag']"})
 177         }
 178     }
 179
 180     complete_apps = ['notes']
 181     symmetrical = True