[BACK]Return to subr_pool.c CVS log [TXT][DIR] Up to [cvs.NetBSD.org] / src / sys / kern

Please note that diffs are not public domain; they are subject to the copyright notices on the relevant files.

Diff for /src/sys/kern/subr_pool.c between version 1.101.2.6 and 1.133.4.3

version 1.101.2.6, 2007/11/15 11:44:49 version 1.133.4.3, 2007/12/27 00:46:08
Line 40 
Line 40 
 #include <sys/cdefs.h>  #include <sys/cdefs.h>
 __KERNEL_RCSID(0, "$NetBSD$");  __KERNEL_RCSID(0, "$NetBSD$");
   
   #include "opt_ddb.h"
 #include "opt_pool.h"  #include "opt_pool.h"
 #include "opt_poollog.h"  #include "opt_poollog.h"
 #include "opt_lockdebug.h"  #include "opt_lockdebug.h"
Line 127  struct pool_item_header {
Line 128  struct pool_item_header {
         void *                  ph_page;        /* this page's address */          void *                  ph_page;        /* this page's address */
         struct timeval          ph_time;        /* last referenced */          struct timeval          ph_time;        /* last referenced */
         uint16_t                ph_nmissing;    /* # of chunks in use */          uint16_t                ph_nmissing;    /* # of chunks in use */
           uint16_t                ph_off;         /* start offset in page */
         union {          union {
                 /* !PR_NOTOUCH */                  /* !PR_NOTOUCH */
                 struct {                  struct {
Line 135  struct pool_item_header {
Line 137  struct pool_item_header {
                 } phu_normal;                  } phu_normal;
                 /* PR_NOTOUCH */                  /* PR_NOTOUCH */
                 struct {                  struct {
                         uint16_t phu_off;       /* start offset in page */                          pool_item_bitmap_t phu_bitmap[1];
                         pool_item_bitmap_t phu_bitmap[];  
                 } phu_notouch;                  } phu_notouch;
         } ph_u;          } ph_u;
 };  };
 #define ph_itemlist     ph_u.phu_normal.phu_itemlist  #define ph_itemlist     ph_u.phu_normal.phu_itemlist
 #define ph_off          ph_u.phu_notouch.phu_off  
 #define ph_bitmap       ph_u.phu_notouch.phu_bitmap  #define ph_bitmap       ph_u.phu_notouch.phu_bitmap
   
 struct pool_item {  struct pool_item {
Line 181  struct pool_item {
Line 181  struct pool_item {
  * from it.   * from it.
  */   */
   
 static struct pool pcgpool;  static struct pool pcg_normal_pool;
   static struct pool pcg_large_pool;
 static struct pool cache_pool;  static struct pool cache_pool;
 static struct pool cache_cpu_pool;  static struct pool cache_cpu_pool;
   
Line 412  phtree_compare(struct pool_item_header *
Line 413  phtree_compare(struct pool_item_header *
 SPLAY_PROTOTYPE(phtree, pool_item_header, ph_node, phtree_compare);  SPLAY_PROTOTYPE(phtree, pool_item_header, ph_node, phtree_compare);
 SPLAY_GENERATE(phtree, pool_item_header, ph_node, phtree_compare);  SPLAY_GENERATE(phtree, pool_item_header, ph_node, phtree_compare);
   
   static inline struct pool_item_header *
   pr_find_pagehead_noalign(struct pool *pp, void *v)
   {
           struct pool_item_header *ph, tmp;
   
           tmp.ph_page = (void *)(uintptr_t)v;
           ph = SPLAY_FIND(phtree, &pp->pr_phtree, &tmp);
           if (ph == NULL) {
                   ph = SPLAY_ROOT(&pp->pr_phtree);
                   if (ph != NULL && phtree_compare(&tmp, ph) >= 0) {
                           ph = SPLAY_NEXT(phtree, &pp->pr_phtree, ph);
                   }
                   KASSERT(ph == NULL || phtree_compare(&tmp, ph) < 0);
           }
   
           return ph;
   }
   
 /*  /*
  * Return the pool page header based on item address.   * Return the pool page header based on item address.
  */   */
Line 421  pr_find_pagehead(struct pool *pp, void *
Line 440  pr_find_pagehead(struct pool *pp, void *
         struct pool_item_header *ph, tmp;          struct pool_item_header *ph, tmp;
   
         if ((pp->pr_roflags & PR_NOALIGN) != 0) {          if ((pp->pr_roflags & PR_NOALIGN) != 0) {
                 tmp.ph_page = (void *)(uintptr_t)v;                  ph = pr_find_pagehead_noalign(pp, v);
                 ph = SPLAY_FIND(phtree, &pp->pr_phtree, &tmp);  
                 if (ph == NULL) {  
                         ph = SPLAY_ROOT(&pp->pr_phtree);  
                         if (ph != NULL && phtree_compare(&tmp, ph) >= 0) {  
                                 ph = SPLAY_NEXT(phtree, &pp->pr_phtree, ph);  
                         }  
                         KASSERT(ph == NULL || phtree_compare(&tmp, ph) < 0);  
                 }  
         } else {          } else {
                 void *page =                  void *page =
                     (void *)((uintptr_t)v & pp->pr_alloc->pa_pagemask);                      (void *)((uintptr_t)v & pp->pr_alloc->pa_pagemask);
Line 802  pool_init(struct pool *pp, size_t size, 
Line 813  pool_init(struct pool *pp, size_t size, 
         pp->pr_entered_file = NULL;          pp->pr_entered_file = NULL;
         pp->pr_entered_line = 0;          pp->pr_entered_line = 0;
   
         mutex_init(&pp->pr_lock, MUTEX_DEFAULT, ipl);          /*
            * XXXAD hack to prevent IP input processing from blocking.
            */
           if (ipl == IPL_SOFTNET) {
                   mutex_init(&pp->pr_lock, MUTEX_DEFAULT, IPL_VM);
           } else {
                   mutex_init(&pp->pr_lock, MUTEX_DEFAULT, ipl);
           }
         cv_init(&pp->pr_cv, wchan);          cv_init(&pp->pr_cv, wchan);
         pp->pr_ipl = ipl;          pp->pr_ipl = ipl;
   
Line 833  pool_init(struct pool *pp, size_t size, 
Line 851  pool_init(struct pool *pp, size_t size, 
                 pool_init(&psppool, POOL_SUBPAGE, POOL_SUBPAGE, 0,                  pool_init(&psppool, POOL_SUBPAGE, POOL_SUBPAGE, 0,
                     PR_RECURSIVE, "psppool", &pool_allocator_meta, IPL_VM);                      PR_RECURSIVE, "psppool", &pool_allocator_meta, IPL_VM);
 #endif  #endif
                 pool_init(&pcgpool, sizeof(pcg_t), CACHE_LINE_SIZE, 0, 0,  
                     "cachegrp", &pool_allocator_meta, IPL_VM);                  size = sizeof(pcg_t) +
                       (PCG_NOBJECTS_NORMAL - 1) * sizeof(pcgpair_t);
                   pool_init(&pcg_normal_pool, size, CACHE_LINE_SIZE, 0, 0,
                       "pcgnormal", &pool_allocator_meta, IPL_VM);
   
                   size = sizeof(pcg_t) +
                       (PCG_NOBJECTS_LARGE - 1) * sizeof(pcgpair_t);
                   pool_init(&pcg_large_pool, size, CACHE_LINE_SIZE, 0, 0,
                       "pcglarge", &pool_allocator_meta, IPL_VM);
         }          }
   
         if (__predict_true(!cold)) {          if (__predict_true(!cold)) {
Line 1429  pool_prime_page(struct pool *pp, void *s
Line 1455  pool_prime_page(struct pool *pp, void *s
         /*          /*
          * Color this page.           * Color this page.
          */           */
         cp = (char *)cp + pp->pr_curcolor;          ph->ph_off = pp->pr_curcolor;
           cp = (char *)cp + ph->ph_off;
         if ((pp->pr_curcolor += align) > pp->pr_maxcolor)          if ((pp->pr_curcolor += align) > pp->pr_maxcolor)
                 pp->pr_curcolor = 0;                  pp->pr_curcolor = 0;
   
Line 1859  pool_print1(struct pool *pp, const char 
Line 1886  pool_print1(struct pool *pp, const char 
   
 #define PR_GROUPLIST(pcg)                                               \  #define PR_GROUPLIST(pcg)                                               \
         (*pr)("\t\tgroup %p: avail %d\n", pcg, pcg->pcg_avail);         \          (*pr)("\t\tgroup %p: avail %d\n", pcg, pcg->pcg_avail);         \
         for (i = 0; i < PCG_NOBJECTS; i++) {                            \          for (i = 0; i < pcg->pcg_size; i++) {                           \
                 if (pcg->pcg_objects[i].pcgo_pa !=                      \                  if (pcg->pcg_objects[i].pcgo_pa !=                      \
                     POOL_PADDR_INVALID) {                               \                      POOL_PADDR_INVALID) {                               \
                         (*pr)("\t\t\t%p, 0x%llx\n",                     \                          (*pr)("\t\t\t%p, 0x%llx\n",                     \
Line 2040  pool_cache_bootstrap(pool_cache_t pc, si
Line 2067  pool_cache_bootstrap(pool_cache_t pc, si
                 palloc = &pool_allocator_nointr;                  palloc = &pool_allocator_nointr;
         pool_init(pp, size, align, align_offset, flags, wchan, palloc, ipl);          pool_init(pp, size, align, align_offset, flags, wchan, palloc, ipl);
   
         mutex_init(&pc->pc_lock, MUTEX_DEFAULT, pp->pr_ipl);          /*
            * XXXAD hack to prevent IP input processing from blocking.
            */
           if (ipl == IPL_SOFTNET) {
                   mutex_init(&pc->pc_lock, MUTEX_DEFAULT, IPL_VM);
           } else {
                   mutex_init(&pc->pc_lock, MUTEX_DEFAULT, ipl);
           }
   
         if (ctor == NULL) {          if (ctor == NULL) {
                 ctor = (int (*)(void *, void *, int))nullop;                  ctor = (int (*)(void *, void *, int))nullop;
Line 2064  pool_cache_bootstrap(pool_cache_t pc, si
Line 2098  pool_cache_bootstrap(pool_cache_t pc, si
         pc->pc_refcnt = 0;          pc->pc_refcnt = 0;
         pc->pc_freecheck = NULL;          pc->pc_freecheck = NULL;
   
           if ((flags & PR_LARGECACHE) != 0) {
                   pc->pc_pcgsize = PCG_NOBJECTS_LARGE;
           } else {
                   pc->pc_pcgsize = PCG_NOBJECTS_NORMAL;
           }
   
         /* Allocate per-CPU caches. */          /* Allocate per-CPU caches. */
         memset(pc->pc_cpus, 0, sizeof(pc->pc_cpus));          memset(pc->pc_cpus, 0, sizeof(pc->pc_cpus));
         pc->pc_ncpu = 0;          pc->pc_ncpu = 0;
         for (CPU_INFO_FOREACH(cii, ci)) {          if (ncpu < 2) {
                 pool_cache_cpu_init1(ci, pc);                  /* XXX For sparc: boot CPU is not attached yet. */
                   pool_cache_cpu_init1(curcpu(), pc);
           } else {
                   for (CPU_INFO_FOREACH(cii, ci)) {
                           pool_cache_cpu_init1(ci, pc);
                   }
         }          }
   
         if (__predict_true(!cold)) {          if (__predict_true(!cold)) {
Line 2143  static void
Line 2188  static void
 pool_cache_cpu_init1(struct cpu_info *ci, pool_cache_t pc)  pool_cache_cpu_init1(struct cpu_info *ci, pool_cache_t pc)
 {  {
         pool_cache_cpu_t *cc;          pool_cache_cpu_t *cc;
           int index;
   
           index = ci->ci_index;
   
           KASSERT(index < MAXCPUS);
         KASSERT(((uintptr_t)pc->pc_cpus & (CACHE_LINE_SIZE - 1)) == 0);          KASSERT(((uintptr_t)pc->pc_cpus & (CACHE_LINE_SIZE - 1)) == 0);
   
         if ((cc = pc->pc_cpus[ci->ci_index]) != NULL) {          if ((cc = pc->pc_cpus[index]) != NULL) {
                 KASSERT(cc->cc_cpu = ci);                  KASSERT(cc->cc_cpuindex == index);
                 return;                  return;
         }          }
   
Line 2168  pool_cache_cpu_init1(struct cpu_info *ci
Line 2217  pool_cache_cpu_init1(struct cpu_info *ci
         cc->cc_ipl = pc->pc_pool.pr_ipl;          cc->cc_ipl = pc->pc_pool.pr_ipl;
         cc->cc_iplcookie = makeiplcookie(cc->cc_ipl);          cc->cc_iplcookie = makeiplcookie(cc->cc_ipl);
         cc->cc_cache = pc;          cc->cc_cache = pc;
         cc->cc_cpu = ci;          cc->cc_cpuindex = index;
         cc->cc_hits = 0;          cc->cc_hits = 0;
         cc->cc_misses = 0;          cc->cc_misses = 0;
         cc->cc_current = NULL;          cc->cc_current = NULL;
         cc->cc_previous = NULL;          cc->cc_previous = NULL;
   
         pc->pc_cpus[ci->ci_index] = cc;          pc->pc_cpus[index] = cc;
 }  }
   
 /*  /*
Line 2256  pool_cache_invalidate_groups(pool_cache_
Line 2305  pool_cache_invalidate_groups(pool_cache_
                         pool_cache_destruct_object1(pc, object);                          pool_cache_destruct_object1(pc, object);
                 }                  }
   
                 pool_put(&pcgpool, pcg);                  if (pcg->pcg_size == PCG_NOBJECTS_LARGE) {
                           pool_put(&pcg_large_pool, pcg);
                   } else {
                           KASSERT(pcg->pcg_size == PCG_NOBJECTS_NORMAL);
                           pool_put(&pcg_normal_pool, pcg);
                   }
         }          }
 }  }
   
Line 2320  static inline pool_cache_cpu_t *
Line 2374  static inline pool_cache_cpu_t *
 pool_cache_cpu_enter(pool_cache_t pc, int *s)  pool_cache_cpu_enter(pool_cache_t pc, int *s)
 {  {
         pool_cache_cpu_t *cc;          pool_cache_cpu_t *cc;
         struct cpu_info *ci;  
   
         /*          /*
          * Prevent other users of the cache from accessing our           * Prevent other users of the cache from accessing our
          * CPU-local data.  To avoid touching shared state, we           * CPU-local data.  To avoid touching shared state, we
          * pull the neccessary information from CPU local data.           * pull the neccessary information from CPU local data.
          */           */
         ci = curcpu();          crit_enter();
         KASSERT(ci->ci_data.cpu_index < MAXCPUS);          cc = pc->pc_cpus[curcpu()->ci_index];
         cc = pc->pc_cpus[ci->ci_data.cpu_index];  
         KASSERT(cc->cc_cache == pc);          KASSERT(cc->cc_cache == pc);
         if (cc->cc_ipl == IPL_NONE) {          if (cc->cc_ipl != IPL_NONE) {
                 crit_enter();  
         } else {  
                 *s = splraiseipl(cc->cc_iplcookie);                  *s = splraiseipl(cc->cc_iplcookie);
         }          }
   
         /* Moved to another CPU before disabling preemption? */  
         if (__predict_false(ci != curcpu())) {  
                 ci = curcpu();  
                 cc = pc->pc_cpus[ci->ci_data.cpu_index];  
         }  
   
 #ifdef DIAGNOSTIC  
         KASSERT(cc->cc_cpu == ci);  
         KASSERT(((uintptr_t)cc & (CACHE_LINE_SIZE - 1)) == 0);          KASSERT(((uintptr_t)cc & (CACHE_LINE_SIZE - 1)) == 0);
 #endif  
   
         return cc;          return cc;
 }  }
Line 2356  pool_cache_cpu_exit(pool_cache_cpu_t *cc
Line 2396  pool_cache_cpu_exit(pool_cache_cpu_t *cc
 {  {
   
         /* No longer need exclusive access to the per-CPU data. */          /* No longer need exclusive access to the per-CPU data. */
         if (cc->cc_ipl == IPL_NONE) {          if (cc->cc_ipl != IPL_NONE) {
                 crit_exit();  
         } else {  
                 splx(*s);                  splx(*s);
         }          }
           crit_exit();
 }  }
   
 #if __GNUC_PREREQ__(3, 0)  #if __GNUC_PREREQ__(3, 0)
Line 2411  pool_cache_get_slow(pool_cache_cpu_t *cc
Line 2450  pool_cache_get_slow(pool_cache_cpu_t *cc
                         pc->pc_emptygroups = cur;                          pc->pc_emptygroups = cur;
                         pc->pc_nempty++;                          pc->pc_nempty++;
                 }                  }
                 KASSERT(pcg->pcg_avail == PCG_NOBJECTS);                  KASSERT(pcg->pcg_avail == pcg->pcg_size);
                 cc->cc_current = pcg;                  cc->cc_current = pcg;
                 pc->pc_fullgroups = pcg->pcg_next;                  pc->pc_fullgroups = pcg->pcg_next;
                 pc->pc_hits++;                  pc->pc_hits++;
Line 2483  pool_cache_get_paddr(pool_cache_t pc, in
Line 2522  pool_cache_get_paddr(pool_cache_t pc, in
                         if (pap != NULL)                          if (pap != NULL)
                                 *pap = pcg->pcg_objects[pcg->pcg_avail].pcgo_pa;                                  *pap = pcg->pcg_objects[pcg->pcg_avail].pcgo_pa;
                         pcg->pcg_objects[pcg->pcg_avail].pcgo_va = NULL;                          pcg->pcg_objects[pcg->pcg_avail].pcgo_va = NULL;
                         KASSERT(pcg->pcg_avail <= PCG_NOBJECTS);                          KASSERT(pcg->pcg_avail <= pcg->pcg_size);
                         KASSERT(object != NULL);                          KASSERT(object != NULL);
                         cc->cc_hits++;                          cc->cc_hits++;
                         pool_cache_cpu_exit(cc, &s);                          pool_cache_cpu_exit(cc, &s);
Line 2523  pool_cache_put_slow(pool_cache_cpu_t *cc
Line 2562  pool_cache_put_slow(pool_cache_cpu_t *cc
         pcg_t *pcg, *cur;          pcg_t *pcg, *cur;
         uint64_t ncsw;          uint64_t ncsw;
         pool_cache_t pc;          pool_cache_t pc;
           u_int nobj;
   
         pc = cc->cc_cache;          pc = cc->cc_cache;
         cc->cc_misses++;          cc->cc_misses++;
Line 2555  pool_cache_put_slow(pool_cache_cpu_t *cc
Line 2595  pool_cache_put_slow(pool_cache_cpu_t *cc
                  * group as cc_current and return.                   * group as cc_current and return.
                  */                   */
                 if ((cur = cc->cc_current) != NULL) {                  if ((cur = cc->cc_current) != NULL) {
                         KASSERT(cur->pcg_avail == PCG_NOBJECTS);                          KASSERT(cur->pcg_avail == pcg->pcg_size);
                         cur->pcg_next = pc->pc_fullgroups;                          cur->pcg_next = pc->pc_fullgroups;
                         pc->pc_fullgroups = cur;                          pc->pc_fullgroups = cur;
                         pc->pc_nfull++;                          pc->pc_nfull++;
Line 2582  pool_cache_put_slow(pool_cache_cpu_t *cc
Line 2622  pool_cache_put_slow(pool_cache_cpu_t *cc
          * If we can't allocate a new group, just throw the           * If we can't allocate a new group, just throw the
          * object away.           * object away.
          */           */
         pcg = pool_get(&pcgpool, PR_NOWAIT);          nobj = pc->pc_pcgsize;
           if (nobj == PCG_NOBJECTS_LARGE) {
                   pcg = pool_get(&pcg_large_pool, PR_NOWAIT);
           } else {
                   pcg = pool_get(&pcg_normal_pool, PR_NOWAIT);
           }
         if (pcg == NULL) {          if (pcg == NULL) {
                 pool_cache_destruct_object(pc, object);                  pool_cache_destruct_object(pc, object);
                 return NULL;                  return NULL;
         }          }
 #ifdef DIAGNOSTIC  
         memset(pcg, 0, sizeof(*pcg));  
 #else  
         pcg->pcg_avail = 0;          pcg->pcg_avail = 0;
 #endif          pcg->pcg_size = nobj;
   
         /*          /*
          * Add the empty group to the cache and try again.           * Add the empty group to the cache and try again.
Line 2624  pool_cache_put_paddr(pool_cache_t pc, vo
Line 2666  pool_cache_put_paddr(pool_cache_t pc, vo
         do {          do {
                 /* If the current group isn't full, release it there. */                  /* If the current group isn't full, release it there. */
                 pcg = cc->cc_current;                  pcg = cc->cc_current;
                 if (pcg != NULL && pcg->pcg_avail < PCG_NOBJECTS) {                  if (pcg != NULL && pcg->pcg_avail < pcg->pcg_size) {
                         KASSERT(pcg->pcg_objects[pcg->pcg_avail].pcgo_va  
                             == NULL);  
                         pcg->pcg_objects[pcg->pcg_avail].pcgo_va = object;                          pcg->pcg_objects[pcg->pcg_avail].pcgo_va = object;
                         pcg->pcg_objects[pcg->pcg_avail].pcgo_pa = pa;                          pcg->pcg_objects[pcg->pcg_avail].pcgo_pa = pa;
                         pcg->pcg_avail++;                          pcg->pcg_avail++;
Line 2684  pool_cache_xcall(pool_cache_t pc)
Line 2724  pool_cache_xcall(pool_cache_t pc)
         s = splvm();          s = splvm();
         mutex_enter(&pc->pc_lock);          mutex_enter(&pc->pc_lock);
         if (cur != NULL) {          if (cur != NULL) {
                 if (cur->pcg_avail == PCG_NOBJECTS) {                  if (cur->pcg_avail == cur->pcg_size) {
                         list = &pc->pc_fullgroups;                          list = &pc->pc_fullgroups;
                         pc->pc_nfull++;                          pc->pc_nfull++;
                 } else if (cur->pcg_avail == 0) {                  } else if (cur->pcg_avail == 0) {
Line 2698  pool_cache_xcall(pool_cache_t pc)
Line 2738  pool_cache_xcall(pool_cache_t pc)
                 *list = cur;                  *list = cur;
         }          }
         if (prev != NULL) {          if (prev != NULL) {
                 if (prev->pcg_avail == PCG_NOBJECTS) {                  if (prev->pcg_avail == prev->pcg_size) {
                         list = &pc->pc_fullgroups;                          list = &pc->pc_fullgroups;
                         pc->pc_nfull++;                          pc->pc_nfull++;
                 } else if (prev->pcg_avail == 0) {                  } else if (prev->pcg_avail == 0) {
Line 2878  pool_page_free_nointr(struct pool *pp, v
Line 2918  pool_page_free_nointr(struct pool *pp, v
   
         uvm_km_free_poolpage_cache(kernel_map, (vaddr_t) v);          uvm_km_free_poolpage_cache(kernel_map, (vaddr_t) v);
 }  }
   
   #if defined(DDB)
   static bool
   pool_in_page(struct pool *pp, struct pool_item_header *ph, uintptr_t addr)
   {
   
           return (uintptr_t)ph->ph_page <= addr &&
               addr < (uintptr_t)ph->ph_page + pp->pr_alloc->pa_pagesz;
   }
   
   static bool
   pool_in_item(struct pool *pp, void *item, uintptr_t addr)
   {
   
           return (uintptr_t)item <= addr && addr < (uintptr_t)item + pp->pr_size;
   }
   
   static bool
   pool_in_cg(struct pool *pp, struct pool_cache_group *pcg, uintptr_t addr)
   {
           int i;
   
           if (pcg == NULL) {
                   return false;
           }
           for (i = 0; i < pcg->pcg_avail; i++) {
                   if (pool_in_item(pp, pcg->pcg_objects[i].pcgo_va, addr)) {
                           return true;
                   }
           }
           return false;
   }
   
   static bool
   pool_allocated(struct pool *pp, struct pool_item_header *ph, uintptr_t addr)
   {
   
           if ((pp->pr_roflags & PR_NOTOUCH) != 0) {
                   unsigned int idx = pr_item_notouch_index(pp, ph, (void *)addr);
                   pool_item_bitmap_t *bitmap =
                       ph->ph_bitmap + (idx / BITMAP_SIZE);
                   pool_item_bitmap_t mask = 1 << (idx & BITMAP_MASK);
   
                   return (*bitmap & mask) == 0;
           } else {
                   struct pool_item *pi;
   
                   LIST_FOREACH(pi, &ph->ph_itemlist, pi_list) {
                           if (pool_in_item(pp, pi, addr)) {
                                   return false;
                           }
                   }
                   return true;
           }
   }
   
   void
   pool_whatis(uintptr_t addr, void (*pr)(const char *, ...))
   {
           struct pool *pp;
   
           LIST_FOREACH(pp, &pool_head, pr_poollist) {
                   struct pool_item_header *ph;
                   uintptr_t item;
                   bool allocated = true;
                   bool incache = false;
                   bool incpucache = false;
                   char cpucachestr[32];
   
                   if ((pp->pr_roflags & PR_PHINPAGE) != 0) {
                           LIST_FOREACH(ph, &pp->pr_fullpages, ph_pagelist) {
                                   if (pool_in_page(pp, ph, addr)) {
                                           goto found;
                                   }
                           }
                           LIST_FOREACH(ph, &pp->pr_partpages, ph_pagelist) {
                                   if (pool_in_page(pp, ph, addr)) {
                                           allocated =
                                               pool_allocated(pp, ph, addr);
                                           goto found;
                                   }
                           }
                           LIST_FOREACH(ph, &pp->pr_emptypages, ph_pagelist) {
                                   if (pool_in_page(pp, ph, addr)) {
                                           allocated = false;
                                           goto found;
                                   }
                           }
                           continue;
                   } else {
                           ph = pr_find_pagehead_noalign(pp, (void *)addr);
                           if (ph == NULL || !pool_in_page(pp, ph, addr)) {
                                   continue;
                           }
                           allocated = pool_allocated(pp, ph, addr);
                   }
   found:
                   if (allocated && pp->pr_cache) {
                           pool_cache_t pc = pp->pr_cache;
                           struct pool_cache_group *pcg;
                           int i;
   
                           for (pcg = pc->pc_fullgroups; pcg != NULL;
                               pcg = pcg->pcg_next) {
                                   if (pool_in_cg(pp, pcg, addr)) {
                                           incache = true;
                                           goto print;
                                   }
                           }
                           for (i = 0; i < MAXCPUS; i++) {
                                   pool_cache_cpu_t *cc;
   
                                   if ((cc = pc->pc_cpus[i]) == NULL) {
                                           continue;
                                   }
                                   if (pool_in_cg(pp, cc->cc_current, addr) ||
                                       pool_in_cg(pp, cc->cc_previous, addr)) {
                                           struct cpu_info *ci =
                                               cpu_lookup_byindex(i);
   
                                           incpucache = true;
                                           snprintf(cpucachestr,
                                               sizeof(cpucachestr),
                                               "cached by CPU %u",
                                               (u_int)ci->ci_cpuid);
                                           goto print;
                                   }
                           }
                   }
   print:
                   item = (uintptr_t)ph->ph_page + ph->ph_off;
                   item = item + rounddown(addr - item, pp->pr_size);
                   (*pr)("%p is %p+%zu in POOL '%s' (%s)\n",
                       (void *)addr, item, (size_t)(addr - item),
                       pp->pr_wchan,
                       incpucache ? cpucachestr :
                       incache ? "cached" : allocated ? "allocated" : "free");
           }
   }
   #endif /* defined(DDB) */

Legend:
Removed from v.1.101.2.6  
changed lines
  Added in v.1.133.4.3

CVSweb <webmaster@jp.NetBSD.org>