#include "segment.h"
  #include <trace/events/f2fs.h>
  
-       const int uptodate = test_bit(BIO_UPTODATE, &bio->bi_flags);
-       struct bio_vec *bvec = bio->bi_io_vec + bio->bi_vcnt - 1;
 +static void f2fs_read_end_io(struct bio *bio, int err)
 +{
-       do {
++      struct bio_vec *bvec;
++      int i;
 +
-               if (--bvec >= bio->bi_io_vec)
-                       prefetchw(&bvec->bv_page->flags);
- 
-               if (unlikely(!uptodate)) {
++      bio_for_each_segment_all(bvec, bio, i) {
 +              struct page *page = bvec->bv_page;
 +
-               } else {
-                       SetPageUptodate(page);
++              if (!err) {
++                      SetPageUptodate(page);
++              } else {
 +                      ClearPageUptodate(page);
 +                      SetPageError(page);
-       } while (bvec >= bio->bi_io_vec);
- 
 +              }
 +              unlock_page(page);
-       const int uptodate = test_bit(BIO_UPTODATE, &bio->bi_flags);
-       struct bio_vec *bvec = bio->bi_io_vec + bio->bi_vcnt - 1;
-       struct f2fs_sb_info *sbi = F2FS_SB(bvec->bv_page->mapping->host->i_sb);
++      }
 +      bio_put(bio);
 +}
 +
 +static void f2fs_write_end_io(struct bio *bio, int err)
 +{
-       do {
++      struct f2fs_sb_info *sbi = F2FS_SB(bio->bi_io_vec->bv_page->mapping->host->i_sb);
++      struct bio_vec *bvec;
++      int i;
 +
-               if (--bvec >= bio->bi_io_vec)
-                       prefetchw(&bvec->bv_page->flags);
- 
-               if (unlikely(!uptodate)) {
++      bio_for_each_segment_all(bvec, bio, i) {
 +              struct page *page = bvec->bv_page;
 +
-       } while (bvec >= bio->bi_io_vec);
++              if (unlikely(err)) {
 +                      SetPageError(page);
 +                      set_bit(AS_EIO, &page->mapping->flags);
 +                      set_ckpt_flags(sbi->ckpt, CP_ERROR_FLAG);
 +                      sbi->sb->s_flags |= MS_RDONLY;
 +              }
 +              end_page_writeback(page);
 +              dec_page_count(sbi, F2FS_WRITEBACK);
-       bio->bi_sector = SECTOR_FROM_BLOCK(sbi, blk_addr);
++      }
 +
 +      if (bio->bi_private)
 +              complete(bio->bi_private);
 +
 +      if (!get_pages(sbi, F2FS_WRITEBACK) &&
 +                      !list_empty(&sbi->cp_wait.task_list))
 +              wake_up(&sbi->cp_wait);
 +
 +      bio_put(bio);
 +}
 +
 +/*
 + * Low-level block read/write IO operations.
 + */
 +static struct bio *__bio_alloc(struct f2fs_sb_info *sbi, block_t blk_addr,
 +                              int npages, bool is_read)
 +{
 +      struct bio *bio;
 +
 +      /* No failure on bio allocation */
 +      bio = bio_alloc(GFP_NOIO, npages);
 +
 +      bio->bi_bdev = sbi->sb->s_bdev;
++      bio->bi_iter.bi_sector = SECTOR_FROM_BLOCK(sbi, blk_addr);
 +      bio->bi_end_io = is_read ? f2fs_read_end_io : f2fs_write_end_io;
 +
 +      return bio;
 +}
 +
 +static void __submit_merged_bio(struct f2fs_bio_info *io)
 +{
 +      struct f2fs_io_info *fio = &io->fio;
 +      int rw;
 +
 +      if (!io->bio)
 +              return;
 +
 +      rw = fio->rw;
 +
 +      if (is_read_io(rw)) {
 +              trace_f2fs_submit_read_bio(io->sbi->sb, rw,
 +                                              fio->type, io->bio);
 +              submit_bio(rw, io->bio);
 +      } else {
 +              trace_f2fs_submit_write_bio(io->sbi->sb, rw,
 +                                              fio->type, io->bio);
 +              /*
 +               * META_FLUSH is only from the checkpoint procedure, and we
 +               * should wait this metadata bio for FS consistency.
 +               */
 +              if (fio->type == META_FLUSH) {
 +                      DECLARE_COMPLETION_ONSTACK(wait);
 +                      io->bio->bi_private = &wait;
 +                      submit_bio(rw, io->bio);
 +                      wait_for_completion(&wait);
 +              } else {
 +                      submit_bio(rw, io->bio);
 +              }
 +      }
 +
 +      io->bio = NULL;
 +}
 +
 +void f2fs_submit_merged_bio(struct f2fs_sb_info *sbi,
 +                              enum page_type type, int rw)
 +{
 +      enum page_type btype = PAGE_TYPE_OF_BIO(type);
 +      struct f2fs_bio_info *io;
 +
 +      io = is_read_io(rw) ? &sbi->read_io : &sbi->write_io[btype];
 +
 +      mutex_lock(&io->io_mutex);
 +
 +      /* change META to META_FLUSH in the checkpoint procedure */
 +      if (type >= META_FLUSH) {
 +              io->fio.type = META_FLUSH;
 +              io->fio.rw = WRITE_FLUSH_FUA | REQ_META | REQ_PRIO;
 +      }
 +      __submit_merged_bio(io);
 +      mutex_unlock(&io->io_mutex);
 +}
 +
 +/*
 + * Fill the locked page with data located in the block address.
 + * Return unlocked page.
 + */
 +int f2fs_submit_page_bio(struct f2fs_sb_info *sbi, struct page *page,
 +                                      block_t blk_addr, int rw)
 +{
 +      struct bio *bio;
 +
 +      trace_f2fs_submit_page_bio(page, blk_addr, rw);
 +
 +      /* Allocate a new bio */
 +      bio = __bio_alloc(sbi, blk_addr, 1, is_read_io(rw));
 +
 +      if (bio_add_page(bio, page, PAGE_CACHE_SIZE, 0) < PAGE_CACHE_SIZE) {
 +              bio_put(bio);
 +              f2fs_put_page(page, 1);
 +              return -EFAULT;
 +      }
 +
 +      submit_bio(rw, bio);
 +      return 0;
 +}
 +
 +void f2fs_submit_page_mbio(struct f2fs_sb_info *sbi, struct page *page,
 +                      block_t blk_addr, struct f2fs_io_info *fio)
 +{
 +      enum page_type btype = PAGE_TYPE_OF_BIO(fio->type);
 +      struct f2fs_bio_info *io;
 +      bool is_read = is_read_io(fio->rw);
 +
 +      io = is_read ? &sbi->read_io : &sbi->write_io[btype];
 +
 +      verify_block_addr(sbi, blk_addr);
 +
 +      mutex_lock(&io->io_mutex);
 +
 +      if (!is_read)
 +              inc_page_count(sbi, F2FS_WRITEBACK);
 +
 +      if (io->bio && (io->last_block_in_bio != blk_addr - 1 ||
 +                                              io->fio.rw != fio->rw))
 +              __submit_merged_bio(io);
 +alloc_new:
 +      if (io->bio == NULL) {
 +              int bio_blocks = MAX_BIO_BLOCKS(max_hw_blocks(sbi));
 +
 +              io->bio = __bio_alloc(sbi, blk_addr, bio_blocks, is_read);
 +              io->fio = *fio;
 +      }
 +
 +      if (bio_add_page(io->bio, page, PAGE_CACHE_SIZE, 0) <
 +                                                      PAGE_CACHE_SIZE) {
 +              __submit_merged_bio(io);
 +              goto alloc_new;
 +      }
 +
 +      io->last_block_in_bio = blk_addr;
 +
 +      mutex_unlock(&io->io_mutex);
 +      trace_f2fs_submit_page_mbio(page, fio->rw, fio->type, blk_addr);
 +}
 +
  /*
   * Lock ordering for the change of data block address:
   * ->data_page