iput(inode);
 }
 
-static void fsnotify_get_sb_watchers(struct fsnotify_mark_connector *conn)
+/*
+ * Grab or drop watched objects reference depending on whether the connector
+ * is attached and has any marks attached.
+ */
+static void fsnotify_update_sb_watchers(struct super_block *sb,
+                                       struct fsnotify_mark_connector *conn)
 {
-       struct super_block *sb = fsnotify_connector_sb(conn);
+       bool is_watched = conn->flags & FSNOTIFY_CONN_FLAG_IS_WATCHED;
+       bool has_marks = conn->obj && !hlist_empty(&conn->list);
 
-       if (sb)
+       if (has_marks && !is_watched) {
+               conn->flags |= FSNOTIFY_CONN_FLAG_IS_WATCHED;
                fsnotify_get_sb_watched_objects(sb);
-}
-
-static void fsnotify_put_sb_watchers(struct fsnotify_mark_connector *conn)
-{
-       struct super_block *sb = fsnotify_connector_sb(conn);
-
-       if (sb)
+       } else if (!has_marks && is_watched) {
+               conn->flags &= ~FSNOTIFY_CONN_FLAG_IS_WATCHED;
                fsnotify_put_sb_watched_objects(sb);
+       }
 }
 
 /*
                                        unsigned int *type)
 {
        fsnotify_connp_t *connp = fsnotify_object_connp(conn->obj, conn->type);
+       struct super_block *sb = fsnotify_connector_sb(conn);
        struct inode *inode = NULL;
 
        *type = conn->type;
                fsnotify_conn_sb(conn)->s_fsnotify_mask = 0;
        }
 
-       fsnotify_put_sb_watchers(conn);
        rcu_assign_pointer(*connp, NULL);
        conn->obj = NULL;
        conn->type = FSNOTIFY_OBJ_TYPE_DETACHED;
+       fsnotify_update_sb_watchers(sb, conn);
 
        return inode;
 }
                objp = fsnotify_detach_connector_from_object(conn, &type);
                free_conn = true;
        } else {
+               struct super_block *sb = fsnotify_connector_sb(conn);
+
+               /* Update watched objects after detaching mark */
+               if (sb)
+                       fsnotify_update_sb_watchers(sb, conn);
                objp = __fsnotify_recalc_mask(conn);
                type = conn->type;
        }
        if (cmpxchg(connp, NULL, conn)) {
                /* Someone else created list structure for us */
                kmem_cache_free(fsnotify_mark_connector_cachep, conn);
-               return 0;
        }
-
-       fsnotify_get_sb_watchers(conn);
        return 0;
 }
 
 static int fsnotify_add_mark_list(struct fsnotify_mark *mark, void *obj,
                                  unsigned int obj_type, int add_flags)
 {
+       struct super_block *sb = fsnotify_object_sb(obj, obj_type);
        struct fsnotify_mark *lmark, *last = NULL;
        struct fsnotify_mark_connector *conn;
        fsnotify_connp_t *connp;
        /* mark should be the last entry.  last is the current last entry */
        hlist_add_behind_rcu(&mark->obj_list, &last->obj_list);
 added:
+       fsnotify_update_sb_watchers(sb, conn);
        /*
         * Since connector is attached to object using cmpxchg() we are
         * guaranteed that connector initialization is fully visible by anyone