[BACK]Return to ufs_dirhash.c CVS log [TXT][DIR] Up to [cvs.NetBSD.org] / src / sys / ufs / ufs

Please note that diffs are not public domain; they are subject to the copyright notices on the relevant files.

Diff for /src/sys/ufs/ufs/ufs_dirhash.c between version 1.14 and 1.20.10.1

version 1.14, 2007/03/12 18:18:38 version 1.20.10.1, 2008/01/08 22:12:04
Line 27 
Line 27 
  * $FreeBSD: src/sys/ufs/ufs/ufs_dirhash.c,v 1.3.2.8 2004/12/08 11:54:13 dwmalone Exp $   * $FreeBSD: src/sys/ufs/ufs/ufs_dirhash.c,v 1.3.2.8 2004/12/08 11:54:13 dwmalone Exp $
  */   */
   
   #include <sys/cdefs.h>
   __KERNEL_RCSID(0, "$NetBSD$");
   
 /*  /*
  * This implements a hash-based lookup scheme for UFS directories.   * This implements a hash-based lookup scheme for UFS directories.
  */   */
Line 44 
Line 47 
 #include <sys/pool.h>  #include <sys/pool.h>
 #include <sys/sysctl.h>  #include <sys/sysctl.h>
   
 #include <ufs/ufs/quota.h>  
 #include <ufs/ufs/inode.h>  #include <ufs/ufs/inode.h>
 #include <ufs/ufs/dir.h>  #include <ufs/ufs/dir.h>
 #include <ufs/ufs/dirhash.h>  #include <ufs/ufs/dirhash.h>
Line 57 
Line 59 
 #define OFSFMT(ip)              ((ip)->i_ump->um_maxsymlinklen <= 0)  #define OFSFMT(ip)              ((ip)->i_ump->um_maxsymlinklen <= 0)
 #define BLKFREE2IDX(n)          ((n) > DH_NFSTATS ? DH_NFSTATS : (n))  #define BLKFREE2IDX(n)          ((n) > DH_NFSTATS ? DH_NFSTATS : (n))
   
 static MALLOC_DEFINE(M_DIRHASH, "UFS dirhash", "UFS directory hash tables");  static MALLOC_JUSTDEFINE(M_DIRHASH, "UFS dirhash", "UFS directory hash tables");
   
 static int ufs_dirhashminblks = 5;  static int ufs_dirhashminblks = 5;
 static int ufs_dirhashmaxmem = 2 * 1024 * 1024;  static int ufs_dirhashmaxmem = 2 * 1024 * 1024;
Line 74  static doff_t ufsdirhash_getprev(struct 
Line 76  static doff_t ufsdirhash_getprev(struct 
            int dirblksiz);             int dirblksiz);
 static int ufsdirhash_recycle(int wanted);  static int ufsdirhash_recycle(int wanted);
   
 static POOL_INIT(ufsdirhash_pool, DH_NBLKOFF * sizeof(daddr_t), 0, 0, 0,  static pool_cache_t ufsdirhash_cache;
     "ufsdirhash", &pool_allocator_nointr, IPL_NONE);  
   
 #define DIRHASHLIST_LOCK()              do { } while (0)  #define DIRHASHLIST_LOCK()              mutex_enter(&ufsdirhash_lock)
 #define DIRHASHLIST_UNLOCK()            do { } while (0)  #define DIRHASHLIST_UNLOCK()            mutex_exit(&ufsdirhash_lock)
 #define DIRHASH_LOCK(dh)                do { } while (0)  #define DIRHASH_LOCK(dh)                mutex_enter(&(dh)->dh_lock)
 #define DIRHASH_UNLOCK(dh)              do { } while (0)  #define DIRHASH_UNLOCK(dh)              mutex_exit(&(dh)->dh_lock)
 #define DIRHASH_BLKALLOC_WAITOK()       pool_get(&ufsdirhash_pool, PR_WAITOK)  #define DIRHASH_BLKALLOC_WAITOK()       \
 #define DIRHASH_BLKFREE(ptr)            pool_put(&ufsdirhash_pool, ptr)      pool_cache_get(ufsdirhash_cache, PR_WAITOK)
   #define DIRHASH_BLKFREE(ptr)            \
       pool_cache_put(ufsdirhash_cache, ptr)
   
 /* Dirhash list; recently-used entries are near the tail. */  /* Dirhash list; recently-used entries are near the tail. */
 static TAILQ_HEAD(, dirhash) ufsdirhash_list;  static TAILQ_HEAD(, dirhash) ufsdirhash_list;
   
   /* Protects: ufsdirhash_list, `dh_list' field, ufs_dirhashmem. */
   static kmutex_t ufsdirhash_lock;
   
   /*
    * Locking order:
    *      ufsdirhash_lock
    *      dh_lock
    *
    * The dh_lock mutex should be acquired either via the inode lock, or via
    * ufsdirhash_lock. Only the owner of the inode may free the associated
    * dirhash, but anything can steal its memory and set dh_hash to NULL.
    */
   
 /*  /*
  * Attempt to build up a hash table for the directory contents in   * Attempt to build up a hash table for the directory contents in
  * inode 'ip'. Returns 0 on success, or -1 of the operation failed.   * inode 'ip'. Returns 0 on success, or -1 of the operation failed.
Line 163  ufsdirhash_build(struct inode *ip)
Line 179  ufsdirhash_build(struct inode *ip)
                 DIRHASHLIST_UNLOCK();                  DIRHASHLIST_UNLOCK();
                 return (-1);                  return (-1);
         }          }
           mutex_init(&dh->dh_lock, MUTEX_DEFAULT, IPL_NONE);
         dh->dh_hash = (doff_t **)malloc(narrays * sizeof(dh->dh_hash[0]),          dh->dh_hash = (doff_t **)malloc(narrays * sizeof(dh->dh_hash[0]),
             M_DIRHASH, M_NOWAIT | M_ZERO);              M_DIRHASH, M_NOWAIT | M_ZERO);
         dh->dh_blkfree = (u_int8_t *)malloc(nblocks * sizeof(dh->dh_blkfree[0]),          dh->dh_blkfree = (u_int8_t *)malloc(nblocks * sizeof(dh->dh_blkfree[0]),
Line 201  ufsdirhash_build(struct inode *ip)
Line 218  ufsdirhash_build(struct inode *ip)
                 /* If necessary, get the next directory block. */                  /* If necessary, get the next directory block. */
                 if ((pos & bmask) == 0) {                  if ((pos & bmask) == 0) {
                         if (bp != NULL)                          if (bp != NULL)
                                 brelse(bp);                                  brelse(bp, 0);
                         if (ufs_blkatoff(vp, (off_t)pos, NULL, &bp) != 0)                          if (ufs_blkatoff(vp, (off_t)pos, NULL, &bp) != 0)
                                 goto fail;                                  goto fail;
                 }                  }
Line 211  ufsdirhash_build(struct inode *ip)
Line 228  ufsdirhash_build(struct inode *ip)
                 if (ep->d_reclen == 0 || ep->d_reclen >                  if (ep->d_reclen == 0 || ep->d_reclen >
                     dirblksiz - (pos & (dirblksiz - 1))) {                      dirblksiz - (pos & (dirblksiz - 1))) {
                         /* Corrupted directory. */                          /* Corrupted directory. */
                         brelse(bp);                          brelse(bp, 0);
                         goto fail;                          goto fail;
                 }                  }
                 if (ep->d_ino != 0) {                  if (ep->d_ino != 0) {
Line 228  ufsdirhash_build(struct inode *ip)
Line 245  ufsdirhash_build(struct inode *ip)
         }          }
   
         if (bp != NULL)          if (bp != NULL)
                 brelse(bp);                  brelse(bp, 0);
         DIRHASHLIST_LOCK();          DIRHASHLIST_LOCK();
         TAILQ_INSERT_TAIL(&ufsdirhash_list, dh, dh_list);          TAILQ_INSERT_TAIL(&ufsdirhash_list, dh, dh_list);
         dh->dh_onlist = 1;          dh->dh_onlist = 1;
Line 244  fail:
Line 261  fail:
         }          }
         if (dh->dh_blkfree != NULL)          if (dh->dh_blkfree != NULL)
                 FREE(dh->dh_blkfree, M_DIRHASH);                  FREE(dh->dh_blkfree, M_DIRHASH);
           mutex_destroy(&dh->dh_lock);
         FREE(dh, M_DIRHASH);          FREE(dh, M_DIRHASH);
         ip->i_dirhash = NULL;          ip->i_dirhash = NULL;
         DIRHASHLIST_LOCK();          DIRHASHLIST_LOCK();
Line 282  ufsdirhash_free(struct inode *ip)
Line 300  ufsdirhash_free(struct inode *ip)
                     dh->dh_narrays * DH_NBLKOFF * sizeof(**dh->dh_hash) +                      dh->dh_narrays * DH_NBLKOFF * sizeof(**dh->dh_hash) +
                     dh->dh_nblk * sizeof(*dh->dh_blkfree);                      dh->dh_nblk * sizeof(*dh->dh_blkfree);
         }          }
           mutex_destroy(&dh->dh_lock);
         FREE(dh, M_DIRHASH);          FREE(dh, M_DIRHASH);
         ip->i_dirhash = NULL;          ip->i_dirhash = NULL;
   
Line 318  ufsdirhash_lookup(struct inode *ip, cons
Line 337  ufsdirhash_lookup(struct inode *ip, cons
                 return (EJUSTRETURN);                  return (EJUSTRETURN);
         /*          /*
          * Move this dirhash towards the end of the list if it has a           * Move this dirhash towards the end of the list if it has a
          * score higher than the next entry, and acquire the dh_mtx.           * score higher than the next entry, and acquire the dh_lock.
          * Optimise the case where it's already the last by performing           * Optimise the case where it's already the last by performing
          * an unlocked read of the TAILQ_NEXT pointer.           * an unlocked read of the TAILQ_NEXT pointer.
          *           *
          * In both cases, end up holding just dh_mtx.           * In both cases, end up holding just dh_lock.
          */           */
         if (TAILQ_NEXT(dh, dh_list) != NULL) {          if (TAILQ_NEXT(dh, dh_list) != NULL) {
                 DIRHASHLIST_LOCK();                  DIRHASHLIST_LOCK();
Line 395  restart:
Line 414  restart:
                         panic("ufsdirhash_lookup: bad offset in hash array");                          panic("ufsdirhash_lookup: bad offset in hash array");
                 if ((offset & ~bmask) != blkoff) {                  if ((offset & ~bmask) != blkoff) {
                         if (bp != NULL)                          if (bp != NULL)
                                 brelse(bp);                                  brelse(bp, 0);
                         blkoff = offset & ~bmask;                          blkoff = offset & ~bmask;
                         if (ufs_blkatoff(vp, (off_t)blkoff, NULL, &bp) != 0)                          if (ufs_blkatoff(vp, (off_t)blkoff, NULL, &bp) != 0)
                                 return (EJUSTRETURN);                                  return (EJUSTRETURN);
Line 404  restart:
Line 423  restart:
                 if (dp->d_reclen == 0 || dp->d_reclen >                  if (dp->d_reclen == 0 || dp->d_reclen >
                     dirblksiz - (offset & (dirblksiz - 1))) {                      dirblksiz - (offset & (dirblksiz - 1))) {
                         /* Corrupted directory. */                          /* Corrupted directory. */
                         brelse(bp);                          brelse(bp, 0);
                         return (EJUSTRETURN);                          return (EJUSTRETURN);
                 }                  }
                 if (dp->d_namlen == namelen &&                  if (dp->d_namlen == namelen &&
Line 415  restart:
Line 434  restart:
                                         prevoff = ufsdirhash_getprev(dp,                                          prevoff = ufsdirhash_getprev(dp,
                                             offset, dirblksiz);                                              offset, dirblksiz);
                                         if (prevoff == -1) {                                          if (prevoff == -1) {
                                                 brelse(bp);                                                  brelse(bp, 0);
                                                 return (EJUSTRETURN);                                                  return (EJUSTRETURN);
                                         }                                          }
                                 } else                                  } else
Line 437  restart:
Line 456  restart:
                 if (dh->dh_hash == NULL) {                  if (dh->dh_hash == NULL) {
                         DIRHASH_UNLOCK(dh);                          DIRHASH_UNLOCK(dh);
                         if (bp != NULL)                          if (bp != NULL)
                                 brelse(bp);                                  brelse(bp, 0);
                         ufsdirhash_free(ip);                          ufsdirhash_free(ip);
                         return (EJUSTRETURN);                          return (EJUSTRETURN);
                 }                  }
Line 452  restart:
Line 471  restart:
         }          }
         DIRHASH_UNLOCK(dh);          DIRHASH_UNLOCK(dh);
         if (bp != NULL)          if (bp != NULL)
                 brelse(bp);                  brelse(bp, 0);
         return (ENOENT);          return (ENOENT);
 }  }
   
Line 512  ufsdirhash_findfree(struct inode *ip, in
Line 531  ufsdirhash_findfree(struct inode *ip, in
         /* Find the first entry with free space. */          /* Find the first entry with free space. */
         for (i = 0; i < dirblksiz; ) {          for (i = 0; i < dirblksiz; ) {
                 if (dp->d_reclen == 0) {                  if (dp->d_reclen == 0) {
                         brelse(bp);                          brelse(bp, 0);
                         return (-1);                          return (-1);
                 }                  }
                 if (dp->d_ino == 0 || dp->d_reclen > DIRSIZ(0, dp, needswap))                  if (dp->d_ino == 0 || dp->d_reclen > DIRSIZ(0, dp, needswap))
Line 521  ufsdirhash_findfree(struct inode *ip, in
Line 540  ufsdirhash_findfree(struct inode *ip, in
                 dp = (struct direct *)((char *)dp + dp->d_reclen);                  dp = (struct direct *)((char *)dp + dp->d_reclen);
         }          }
         if (i > dirblksiz) {          if (i > dirblksiz) {
                 brelse(bp);                  brelse(bp, 0);
                 return (-1);                  return (-1);
         }          }
         slotstart = pos + i;          slotstart = pos + i;
Line 533  ufsdirhash_findfree(struct inode *ip, in
Line 552  ufsdirhash_findfree(struct inode *ip, in
                 if (dp->d_ino != 0)                  if (dp->d_ino != 0)
                         freebytes -= DIRSIZ(0, dp, needswap);                          freebytes -= DIRSIZ(0, dp, needswap);
                 if (dp->d_reclen == 0) {                  if (dp->d_reclen == 0) {
                         brelse(bp);                          brelse(bp, 0);
                         return (-1);                          return (-1);
                 }                  }
                 i += dp->d_reclen;                  i += dp->d_reclen;
                 dp = (struct direct *)((char *)dp + dp->d_reclen);                  dp = (struct direct *)((char *)dp + dp->d_reclen);
         }          }
         if (i > dirblksiz) {          if (i > dirblksiz) {
                 brelse(bp);                  brelse(bp, 0);
                 return (-1);                  return (-1);
         }          }
         if (freebytes < slotneeded)          if (freebytes < slotneeded)
                 panic("ufsdirhash_findfree: free mismatch");                  panic("ufsdirhash_findfree: free mismatch");
         brelse(bp);          brelse(bp, 0);
         *slotsize = pos + i - slotstart;          *slotsize = pos + i - slotstart;
         return (slotstart);          return (slotstart);
 }  }
Line 875  ufsdirhash_hash(struct dirhash *dh, cons
Line 894  ufsdirhash_hash(struct dirhash *dh, cons
  * by the value specified by `diff'.   * by the value specified by `diff'.
  *   *
  * The caller must ensure we have exclusive access to `dh'; normally   * The caller must ensure we have exclusive access to `dh'; normally
  * that means that dh_mtx should be held, but this is also called   * that means that dh_lock should be held, but this is also called
  * from ufsdirhash_build() where exclusive access can be assumed.   * from ufsdirhash_build() where exclusive access can be assumed.
  */   */
 static void  static void
Line 919  ufsdirhash_findslot(struct dirhash *dh, 
Line 938  ufsdirhash_findslot(struct dirhash *dh, 
 {  {
         int slot;          int slot;
   
           KASSERT(mutex_owned(&dh->dh_lock));
   
         /* Find the entry. */          /* Find the entry. */
         KASSERT(dh->dh_hused < dh->dh_hlen);          KASSERT(dh->dh_hused < dh->dh_hlen);
         slot = ufsdirhash_hash(dh, name, namelen);          slot = ufsdirhash_hash(dh, name, namelen);
Line 941  ufsdirhash_delslot(struct dirhash *dh, i
Line 962  ufsdirhash_delslot(struct dirhash *dh, i
 {  {
         int i;          int i;
   
           KASSERT(mutex_owned(&dh->dh_lock));
   
         /* Mark the entry as deleted. */          /* Mark the entry as deleted. */
         DH_ENTRY(dh, slot) = DIRHASH_DEL;          DH_ENTRY(dh, slot) = DIRHASH_DEL;
   
Line 1051  ufsdirhash_recycle(int wanted)
Line 1074  ufsdirhash_recycle(int wanted)
 void  void
 ufsdirhash_init()  ufsdirhash_init()
 {  {
 #ifdef _LKM  
         pool_init(&ufsdirhash_pool, DH_NBLKOFF * sizeof(daddr_t), 0, 0, 0,          mutex_init(&ufsdirhash_lock, MUTEX_DEFAULT, IPL_NONE);
             "ufsdirhash", &pool_allocator_nointr, IPL_NONE);          malloc_type_attach(M_DIRHASH);
 #endif          ufsdirhash_cache = pool_cache_init(DH_NBLKOFF * sizeof(daddr_t), 0,
               0, 0, "ufsdirhash", NULL, IPL_NONE, NULL, NULL, NULL);
         TAILQ_INIT(&ufsdirhash_list);          TAILQ_INIT(&ufsdirhash_list);
 }  }
   
 void  void
 ufsdirhash_done(void)  ufsdirhash_done(void)
 {  {
   
         KASSERT(TAILQ_EMPTY(&ufsdirhash_list));          KASSERT(TAILQ_EMPTY(&ufsdirhash_list));
 #ifdef _LKM          pool_cache_destroy(ufsdirhash_cache);
         pool_destroy(&ufsdirhash_pool);          malloc_type_detach(M_DIRHASH);
 #endif          mutex_destroy(&ufsdirhash_lock);
 }  }
   
 SYSCTL_SETUP(sysctl_vfs_ufs_setup, "sysctl vfs.ufs.dirhash subtree setup")  SYSCTL_SETUP(sysctl_vfs_ufs_setup, "sysctl vfs.ufs.dirhash subtree setup")

Legend:
Removed from v.1.14  
changed lines
  Added in v.1.20.10.1

CVSweb <webmaster@jp.NetBSD.org>