clean.c - assorted tidy-ups

Change some magic constants into named constants, and
improves some comments.

Signed-off-by: NeilBrown <neilb@suse.de>

Check if dirblock can be orphan before making it one.

Only certain sorts of deletions can make a directory block
into and orphan - check them out before committing resources.

Signed-off-by: NeilBrown <neilb@suse.de>

flush orphans when renaming to empty directory just like rmdir

Signed-off-by: NeilBrown <neilb@suse.de>

Cleaner: add a memory barrier to ensure we see i_size promptly.

There is a possible race that we need a barrier to protect against.
I think... or hope.

Signed-off-by: NeilBrown <neilb@suse.de>

Cleaner: remove pointless signed compare.

bcnt can never be negative, so don't pretend.

Signed-off-by: NeilBrown <neilb@suse.de>

Allow cleaner to skip new filesystems.

If we can tell the a subset-filesystem is too new to
match what we find in the write-cluster, we can skip it
quickly.

Signed-off-by: NeilBrown <neilb@suse.de>

When cleaner finds a block beyond EOF, ignore whole descriptor.

All other blocks in descriptor must also be beyond EOF,
so ignore them all at once.

Signed-off-by: NeilBrown <neilb@suse.de>

Update trunc_gen whenever we truncate a file to zero.

That allows some minor optimisations in the cleaner to work.

Signed-off-by: NeilBrown <neilb@suse.de>

cleaner_parse: use truncate number to avoid looking at old inodes.

That is why we have the truncnumber in the cluster head after all.

Signed-off-by: NeilBrown <neilb@suse.de>

Allow cleaner_parse to request multiple inodes at once.

Currently cleaner_parse stops when it hits an inode that it cannot
load immediately.  This reduced the opportunities for parallelism.

Instream allow up to 16 -EAGAINs from inode lookups.
This requires that we mark headers for inodes which failed, and
always start again from the beginning of the cluster head.
We already reduce the bcnt to 0, so for inodes that can be
found, we won't lookup the blocks twice.

Signed-off-by: NeilBrown <neilb@suse.de>

Refactor try_clean

It is a very big function - change it to 3 moderate sized functions.

Signed-off-by: NeilBrown <neilb@suse.de>

Give to_clean.ss a meaningful name.

It is a flag set when we have a valid segment address.

Signed-off-by: NeilBrown <neilb@suse.de>

Keep track of 'seq' number in cleaner

When reading cluster-heads, track the seq number, both for validation
and, later, for optimisation.

Signed-off-by: NeilBrown <neilb@suse.de>

README update

Clean up interaction between cleaner and checkpoint.

If a checkpoint is wanted, the cleaner shouldn't start any more work.
If the cleaner or segscan is active a checkpoint cannot start, but
when they complete they should wake the checkpoint process.

Signed-off-by: NeilBrown <neilb@suse.de>

Release stray B_Async blocks if we find them.

There could still be some stray index blocks...
maybe fix that later.

Signed-off-by: NeilBrown <neilb@suse.de>

Combine cleaning and orphan list_heads.

A datablock is very rarely both an orphan and requiring cleaning, so
having two list_heads is a waste.

If is an orphan it will have full parent linkage and addresses already
so it will be handled promptly and removed from the cleaning list.

So arrange that if a block wants to be both, it is preferentially on
the cleaning list, and when removed from the cleaning list is gets
added back to the pending_orphan list in case it needs processing.

Note that only directory and inode blocks can ever be orphans so some
optimisation of spinlocks is possible.

Signed-off-by: NeilBrown <neilb@suse.de>

Change when orphan blocks are refcounted.

Count when while B_Orphan is set, rather than while on a list.

This gives us some freedom to do different things with the list,
and ensures that we never lose the flag by the block disappearing.

Signed-off-by: NeilBrown <neilb@suse.de>

Use a new flag to identify blocks being processed by the cleaner.

This will help future patch which will unify cleaning and orphans
list_heads, and make is clear when a refcount is being help.

Signed-off-by: NeilBrown <neilb@suse.de>

Apply single-exit pattern in try_clean

This removes a lot of duplications

Signed-off-by: NeilBrown <neilb@suse.de>

Implement youth decay.

 - After a checkpoint, check if we are close enough to the end
   of youth space to need a decay.
 - when we record a new youth number, un-decay it if the block hasn't
   been decayed yet (and convert endian properly)
 - Change scan_seg to updates free_block/free_dev atomically in just
   one place, and do a block worth of decay at that point.
   As part of this, the youth block is only released at one place now.

Signed-off-by: NeilBrown <neilb@suse.de>

Use the right value of creation_age of subsets.

It should be cluster seq number.  This never wraps and
is used to compare against write cluster to trim searches of new
filesets early.

Signed-off-by: NeilBrown <neilb@suse.de>

Ensure lafs_orphan_release doesn't block too much

Make sure orphan->i_mutex isn't held for long
periods, and ensure that orphan_abort doesn't block in
erase_dblock.

Signed-off-by: NeilBrown <neilb@suse.de>

README update

Tune checkpoint freq by segments, not blocks.

If nothing else does, we should force a checkpoint
every few segments rather than every so-many blocks.

Signed-off-by: NeilBrown <neilb@suse.de>

Separate thread management from the cleaning.

The thread does a lot more than just 'clean' so don't call it the
'cleaner' any more - just the 'thread' or 'lafsd'.

Signed-off-by: NeilBrown <neilb@suse.de>

roll: don't update index if block address hasn't changed.

This is quite possible if the block was pushed out in the previous
phase, and could save some work

Signed-off-by: NeilBrown <neilb@suse.de>

Create a backing_dev_info for a lafs filesystem.

As a lafs filesystem can span multiple devices, we need our own
bdi to handle congestion notification and unplugging.

Signed-off-by: NeilBrown <neilb@suse.de>

Give subset objects their own operations

And make sure they 'stat' like the sort of directory
that can be used to create them.

Signed-off-by: NeilBrown <neilb@suse.de>

Add missing set_anon_super for subset mounts

oops - missed that.

Signed-off-by: NeilBrown <neilb@suse.de>

Add test code for subset mounts.

Signed-off-by: NeilBrown <neilb@suse.de>

Maybe add a bug-on in dirty_dblock

I think we want this bug_on, but it doesn't quite work
yet - leave it as a reminder of '15ca/' in README

Signed-off-by: NeilBrown <neilb@suse.de>

Better handling of changing a Directory into an InodeFile

- actually change the type !!!
- make sure the on-disk block gets a proper index update.

Note that the checkpointing before creating things in the FS is
important for this to be correct.

Signed-off-by: NeilBrown <neilb@suse.de>

Various fixes for lafs_get_subset

- make sure root directory is created if it doesn't exist
- also create inode usage map.
- hold a ref on the inode while the fs is mounted.
- free the sb_key at unmount.
- set s_bdi from the prime_sb

lafs_get_subset: balance locks properly

We drop the mutex outside the 'if' so we must take it outside
the 'if' too - which is safer as well.

Signed-off-by: NeilBrown <neilb@suse.de>

Fix lafs_put_super for subset mounts.

- we still need a checkpoint - though not a final one - to ensure
  that all dirty blocks from the fileset are written.

- We it isn't the root for a snapshot, we don't want to put
  to root inode - the root inode will be in the main filesystem,
  not in this one.

Signed-off-by: NeilBrown <neilb@suse.de>

Improve lafs_iget_fs

Allow getting inodes in other filesystem.

This isn't quite perfect yet though.

Signed-off-by: NeilBrown <neilb@suse.de>

Set PinPending in flush_data_to_inode.

Should always have this set when we pin a block.
It keeps the block pinned until it is dirtied.
As lafs_pin_block does a refile at the end, it can drop the Pinned
state as soon as it is set.

Signed-off-by: NeilBrown <neilb@suse.de>

iget_my_inode - fix for case of ino == NULL

igrab doesn't handle NULL inodes, so we must.

Signed-off-by: NeilBrown <neilb@suse.de>

lafs_write_end: set new file size correctly.

We were setting the size to the start of the write, not the end!!

Signed-off-by: NeilBrown <neilb@suse.de>

Discard filesys field from lafs_inode

i_sb can be used just as well.

Signed-off-by: NeilBrown <neilb@suse.de>

Change filesys arg of lafs_new_inode to struct super_block

It is more direct in most cases to use a super_block rather
than a filesys inode.

Signed-off-by: NeilBrown <neilb@suse.de>

Make lafs_new_inode work when given an explicit inode number.

In this case imni->mb isn't set, so we have to cope with that.

Signed-off-by: NeilBrown <neilb@suse.de>

Choose_free_inum: never return number below 16

They are for internal use.

Also fix a missing B_PinPending setting.

Signed-off-by: NeilBrown <neilb@suse.de>

Add 'filesys' arg to lafs_new_inode

This allows it to be called with dir == NULL - when creating an inode
that isn't in a directory.

Signed-off-by: NeilBrown <neilb@suse.de>

Make dir arg to lafs_new_inode optional.

After all, some inodes will be created without a directory (root and
other special inodes).

Make inodbp optional too.

Signed-off-by: NeilBrown <neilb@suse.de>

Revise handling of filesystem inconsistency: nlink == 0

Our handling wasn't really correct, and made the less-safe
assumption.
So change it to simply increment the linkcount.

Signed-off-by: NeilBrown <neilb@suse.de>

checkpoint must wait for both dblock and iblock of root to change phase.

Only waiting for iblock isn't enough - dblock might still be in the
old phase, which gets rather confusing.

Signed-off-by: NeilBrown <neilb@suse.de>

Unpin data blocks from previous phase before allowing them to be dirty.

While checkpointing will unpin PinPending blocks, it might not
manage to do it before the block gets Dirtied again.
So before we Pin the block - which is a required precursor to dirtying
them, unpin the block.

Signed-off-by: NeilBrown <neilb@suse.de>

Be more careful about waking cleaner in cluster_end_io.

If done was set as well as wake, we didn't wake the cleaner
so *FlushNeeded wouldn't necessarily be effective.

Signed-off-by: NeilBrown <neilb@suse.de>

Don't release an orphan just because an inode cannot be found.

This is over-reacting.  We could be between last_iput and setting
I_Delete for example, so orphan_release would be premature and wrong.

Signed-off-by: NeilBrown <neilb@suse.de>

README update

Use async erase_block in inode orphan handling

otherwise we could deadlock.

Signed-off-by: NeilBrown <neilb@suse.de>

Add tracing for when we actually wait for writeback.

This helps track deadlock bugs, just like the similar code
in lafs_iolock_block.

Signed-off-by: NeilBrown <neilb@suse.de>

rcu locking protection for ->my_inode

We use rcu to free inodes, and use rcu locking to protect
access to ->my_inode.

Part of this required that once I_Deleting is set it stays set,
so remove the pointless clearing of it.

Signed-off-by: NeilBrown <neilb@suse.de>

Use lafs_iget_fs rather than multiple get_blocks in orphan lookup.

When compacting the orphan table so so changing the orphan
slot for a block, use lafs_iget_fs to help find the orphan block.
This avoids allocating blocks if the inodes exist (which they
should).

Signed-off-by: NeilBrown <neilb@suse.de>

hold ref to inode for directory orphans.

When we directory block is an orphan, make sure we hold
a reference on the inode so it cannot disappear on us.

Signed-off-by: NeilBrown <neilb@suse.de>

Hold ref on inode while truncating.

If I_Trunc is set and I_Deleting is not, then we hold a
reference to the inode and must drop it when clearing I_Trunc.

This ensure that delete_inode won't get called while truncate
is happening, and the inode won't otherwise disappear.

Signed-off-by: NeilBrown <neilb@suse.de>

Hold ref on inode during orphan handling.

Orphan handling will shortly drop references to the inode controlling
the orphan block.  As run_orphans needs to drop the mutex at the end
it needs to hold another reference too.

If I_Deleting is set, then the db effectively owns a reference,
so no further igrab is needed, nor will it work.

Signed-off-by: NeilBrown <neilb@suse.de>

wait more effectively for truncate to progress.

The times that we wait for truncate to progress, we hold
i_mutex, so truncate cannot progress.
So if there is a need to wait, we need to call the orphan
handler directly.

Signed-off-by: NeilBrown <neilb@suse.de>

Break linkage between inode and dblock at earliest opportunity.

clear_inode is the first chance to break this linkage,
so do it there.
It is still possible for lafs_iget to get a new inode before
clear_inode has completed, so we need to do the same
test/clear in lafs_iget if b->my_inode is found to be non-NULL;

Signed-off-by: NeilBrown <neilb@suse.de>

Remove some dead code.

This used to play with WritePhase, but as we don't do that
any more, the whole thing can go.

Signed-off-by: NeilBrown <neilb@suse.de>

Don't clear PinPending without a good reason.

This definitely is wrong.  If an inode change is waiting for
previous-phase data to be written, we don't want to lose
the PinPending.

Signed-off-by: NeilBrown <neilb@suse.de>

Make sure we do a cluster-flush when SecondFlushNeeded

Also if FlushNeeded - normally this isn't needed as clhead won't be
empty, but there is room for races to make that not so - this is
safer.

So only test the FlushNeeded flags and ChecpointEnd for cnum==0,
ignore for the cleaner clusters.

Signed-off-by: NeilBrown <neilb@suse.de>

Tidy up choose_free_inum a bit.

The exact semantics of *bp and when refs were held were
a little confusing.

So only set *bp on function-exit while holding a ref on im,
and if the is set on function entry, drop the ref on it and on im.

Signed-off-by: NeilBrown <neilb@suse.de>

Remove repeated pin_dblock

inode_map_new_pin already pins this, so don't do it again.

Signed-off-by: NeilBrown <neilb@suse.de>

Special files should appear to have a link-count > 0

otherwise they might get deleted when we put them for
the last time, which would be bad.

Signed-off-by: NeilBrown <neilb@suse.de>

cleaner: don't iput while still holding a ref to a block.

As the block->inode ref isn't counted, this isn't really safe.
The inode could disappear and the block might not get killed
when the address-space is truncated.

Signed-off-by: NeilBrown <neilb@suse.de>

lafs_get_block: fix mem leak on error path.

forget to put the page...

Signed-off-by: NeilBrown <neilb@suse.de>

Hold ref to inode-map inode while allocating inode.

The block doesn't explicitly reference the inode, so we need
to hold a reference as long as we reference a block in the file.

Signed-off-by: NeilBrown <neilb@suse.de>

refcount the prime_sb so fs doesn't disappear.

use prime_sb->s_active to refcount the main fs when a snapshot
or subset is mounted, so the fs doesn't disappear on us.

Signed-off-by: NeilBrown <neilb@suse.de>

Define filesystem type for sub-fileset filesystems

This also allows a sub-fileset to be created by
mounting an empty perm==0 directory as though it were
a sub-fileset already.

Signed-off-by: NeilBrown <neilb@suse.de>

Improve choice of superblock at mount.

Identify superblock by uuid, and ensure that it is unique
when mounting a new LaFS.

Signed-off-by: NeilBrown <neilb@suse.de>

New mount infrastructure for snapshot.

Using the new s_sb_info structure, we add a snapshot number
so we can uniquely identify a snapshot from the superblock and
the 'sget' can be used to find an existing or new superblock.

If it is new, set it up properly as before.

No need to fiddle with 'primary_sb' - we have a ref into it from the
path lookup so it cannot go away, and it shouldn't really matter if it
does.

Signed-off-by: NeilBrown <neilb@suse.de>

Change s_fs_info to point to root inode and fs

We create a new data structure containing the 'fs' and the root inode
of a filesystem, and store this in the superblock.
This allows each access to that root in iget, which previously was
impossible in general.

Signed-off-by: NeilBrown <neilb@suse.de>

Use inline to map sb to fs

because we are about to make the conversion slightly
more complex

Signed-off-by: NeilBrown <neilb@suse.de>

Discard per-device superblocks

There is no real value in the per-device superblocks.
Just open the device for exclusive access.

This loses the debatable possibility of just using mount
to add devices to an array - that should be remount anyway.

Signed-off-by: NeilBrown <neilb@suse.de>

Use anon super for prime_sb

This is cleaner.

also clean up failure path for lafs_load

Signed-off-by: NeilBrown <neilb@suse.de>

Store blocksize directly in struct fs

That saves a lot of dereferences through prime_sb

Signed-off-by: NeilBrown <neilb@suse.de>

Better cleaner flushing

better comment needed

Remove pointless code duplication in refile.

Just get fs from inode once.

Signed-off-by: NeilBrown <neilb@suse.de>

Separate setting of PinPending out

We want PinPending set whenever a transaction might be in progress to
ensure that write_page doesn't flush the block early, or that the
cleaner doesn't clean the block in the middle.

We also want the block be completely written if a write has already
been scheduled.

So:
  - set PinPending - after getting an IOlock and ensure the block is
     not in writeback.   This is set before the checkpoint lock is
     taken.
  - Once we have checkpoint lock and call pin_dblock, wait for
    writeout to complete again.  This can only be in writeout
    if the block is being written to the previous phase, and it
    is safe to wait for that inside the checkpoint lock.

Signed-off-by: NeilBrown <neilb@suse.de>

Discard WritePhase and phase wait

They didn't really work - we will achieve the same result
a different way

Signed-off-by: NeilBrown <neilb@suse.de>

write_begin and sync_page fixes.

1/ write_begin needs to drop the page lock and failure,
  and generally clean up properly.
2/ sync_page does not need to 'get_block' as a pointer is
  readily available - so just use that with appropriate locking.

Signed-off-by: NeilBrown <neilb@suse.de>

Forward port to 2.6.34

Also convert to using kvm for testing - much faster.

Signed-off-by: NeilBrown <neilb@suse.de>

README update

README update

Use write_begin/write_end in place of prepare/commit

As this is the 'new way' and need for upgrading the base kernel.

Signed-off-by: NeilBrown <neilb@suse.de>

Add export operations for NFS export.

Signed-off-by: NeilBrown <neilb@suse.de>

Handle fsync of inodes correctly

get rid of lafs_write_inode as it doesn't do the right thing.
Instead, create updates for inode changes only when
fsync is called on an inode.  The only other time we
flush out an inode is 'sync()' which does a checkpoint
so achieves the same with not updates in clusters.

Signed-off-by: NeilBrown <neilb@suse.de>

Implement readpages

Also allow readpage (and readpages) to make a single
bio rather than lots of small ones.

Signed-off-by: NeilBrown <neilb@suse.de>

Build larger bios when writing to cluster

We don't submit a bio until a new block doesn't fit, or until
we get to the end of a cluster and request a flush.

Signed-off-by: NeilBrown <neilb@suse.de>

Fix up writeout and flushing.

writepage should never flush.

sync_page should, if any block is dirty

cluster_flush should tell the backing dev to start writing

write_block and related functions don't need or use 'dev' arg.

Signed-off-by: NeilBrown <neilb@suse.de>

Some updates to rules.doc

Too asleep to do much more

Signed-off-by: NeilBrown <neilb@suse.de>

Remove some FIXME comments that are outdated.

These are no longer relevant.

Also update README with lots of FIXME notes
and fix some white-space issues.

Signed-off-by: NeilBrown <neilb@suse.de>

Fix (Again) handling of new segment for final cluster

There were other things that were being missed when
allocating the final cluster.  So change code to take the
same path and make exceptions only where exceptions are clearly
needed.

Signed-off-by: NeilBrown <neilb@suse.de>

Make sure last segment allocated is properly registered in table

otherwise bad things happen when we try to de-register it.

Signed-off-by: NeilBrown <neilb@suse.de>

Better status handling for orphan handlers.

- let them return -ENOMEM resulting in a retry 'soon'.
- let them return -ERESTARTSYS resulting in immediate retry
- general tidy up

This fixes a bug where inode_orphan_handle would do part of
the work and not schedule any more.

Signed-off-by: NeilBrown <neilb@suse.de>

Make sure orphans gets run promptly.

Whenever we add an orphan to the list, ask the
cleaner thread to have a look at it.

Signed-off-by: NeilBrown <neilb@suse.de>

Reinstitute a BUG_ON in checkpoint_unlock_wait and doco it.

When waiting for the checkpoint to pass, we need to have triggered
a checkpoint to start somehow.

Signed-off-by: NeilBrown <neilb@suse.de>