[BACK]Return to subr_pool.c CVS log [TXT][DIR] Up to [cvs.NetBSD.org] / src / sys / kern

Please note that diffs are not public domain; they are subject to the copyright notices on the relevant files.

Diff for /src/sys/kern/subr_pool.c between version 1.191 and 1.219

version 1.191, 2012/01/27 19:48:40 version 1.219, 2017/12/16 03:13:29
Line 1 
Line 1 
 /*      $NetBSD$        */  /*      $NetBSD$        */
   
 /*-  /*-
  * Copyright (c) 1997, 1999, 2000, 2002, 2007, 2008, 2010   * Copyright (c) 1997, 1999, 2000, 2002, 2007, 2008, 2010, 2014, 2015
  *     The NetBSD Foundation, Inc.   *     The NetBSD Foundation, Inc.
  * All rights reserved.   * All rights reserved.
  *   *
  * This code is derived from software contributed to The NetBSD Foundation   * This code is derived from software contributed to The NetBSD Foundation
  * by Paul Kranenburg; by Jason R. Thorpe of the Numerical Aerospace   * by Paul Kranenburg; by Jason R. Thorpe of the Numerical Aerospace
  * Simulation Facility, NASA Ames Research Center, and by Andrew Doran.   * Simulation Facility, NASA Ames Research Center; by Andrew Doran, and by
    * Maxime Villard.
  *   *
  * Redistribution and use in source and binary forms, with or without   * Redistribution and use in source and binary forms, with or without
  * modification, are permitted provided that the following conditions   * modification, are permitted provided that the following conditions
Line 34 
Line 35 
 #include <sys/cdefs.h>  #include <sys/cdefs.h>
 __KERNEL_RCSID(0, "$NetBSD$");  __KERNEL_RCSID(0, "$NetBSD$");
   
   #ifdef _KERNEL_OPT
 #include "opt_ddb.h"  #include "opt_ddb.h"
 #include "opt_pool.h"  
 #include "opt_poollog.h"  
 #include "opt_lockdebug.h"  #include "opt_lockdebug.h"
   #endif
   
 #include <sys/param.h>  #include <sys/param.h>
 #include <sys/systm.h>  #include <sys/systm.h>
   #include <sys/sysctl.h>
 #include <sys/bitops.h>  #include <sys/bitops.h>
 #include <sys/proc.h>  #include <sys/proc.h>
 #include <sys/errno.h>  #include <sys/errno.h>
 #include <sys/kernel.h>  #include <sys/kernel.h>
 #include <sys/malloc.h>  
 #include <sys/vmem.h>  #include <sys/vmem.h>
 #include <sys/pool.h>  #include <sys/pool.h>
 #include <sys/syslog.h>  #include <sys/syslog.h>
Line 70  __KERNEL_RCSID(0, "$NetBSD$");
Line 71  __KERNEL_RCSID(0, "$NetBSD$");
  * an internal pool of page headers (`phpool').   * an internal pool of page headers (`phpool').
  */   */
   
 /* List of all pools */  /* List of all pools. Non static as needed by 'vmstat -i' */
 static TAILQ_HEAD(, pool) pool_head = TAILQ_HEAD_INITIALIZER(pool_head);  TAILQ_HEAD(, pool) pool_head = TAILQ_HEAD_INITIALIZER(pool_head);
   
 /* Private pool for page header structures */  /* Private pool for page header structures */
 #define PHPOOL_MAX      8  #define PHPOOL_MAX      8
Line 84  static struct pool phpool[PHPOOL_MAX];
Line 85  static struct pool phpool[PHPOOL_MAX];
 static struct pool psppool;  static struct pool psppool;
 #endif  #endif
   
   #ifdef POOL_REDZONE
   # define POOL_REDZONE_SIZE 2
   static void pool_redzone_init(struct pool *, size_t);
   static void pool_redzone_fill(struct pool *, void *);
   static void pool_redzone_check(struct pool *, void *);
   #else
   # define pool_redzone_init(pp, sz)      /* NOTHING */
   # define pool_redzone_fill(pp, ptr)     /* NOTHING */
   # define pool_redzone_check(pp, ptr)    /* NOTHING */
   #endif
   
 static void *pool_page_alloc_meta(struct pool *, int);  static void *pool_page_alloc_meta(struct pool *, int);
 static void pool_page_free_meta(struct pool *, void *);  static void pool_page_free_meta(struct pool *, void *);
   
Line 94  struct pool_allocator pool_allocator_met
Line 106  struct pool_allocator pool_allocator_met
         .pa_pagesz = 0          .pa_pagesz = 0
 };  };
   
   #define POOL_ALLOCATOR_BIG_BASE 13
   extern struct pool_allocator pool_allocator_big[];
   static int pool_bigidx(size_t);
   
 /* # of seconds to retain page after last use */  /* # of seconds to retain page after last use */
 int pool_inactive_time = 10;  int pool_inactive_time = 10;
   
Line 194  static bool pool_cache_get_slow(pool_cac
Line 210  static bool pool_cache_get_slow(pool_cac
 static void     pool_cache_cpu_init1(struct cpu_info *, pool_cache_t);  static void     pool_cache_cpu_init1(struct cpu_info *, pool_cache_t);
 static void     pool_cache_invalidate_groups(pool_cache_t, pcg_t *);  static void     pool_cache_invalidate_groups(pool_cache_t, pcg_t *);
 static void     pool_cache_invalidate_cpu(pool_cache_t, u_int);  static void     pool_cache_invalidate_cpu(pool_cache_t, u_int);
 static void     pool_cache_xcall(pool_cache_t);  static void     pool_cache_transfer(pool_cache_t);
   
 static int      pool_catchup(struct pool *);  static int      pool_catchup(struct pool *);
 static void     pool_prime_page(struct pool *, void *,  static void     pool_prime_page(struct pool *, void *,
Line 206  static void *pool_allocator_alloc(struct
Line 222  static void *pool_allocator_alloc(struct
 static void     pool_allocator_free(struct pool *, void *);  static void     pool_allocator_free(struct pool *, void *);
   
 static void pool_print_pagelist(struct pool *, struct pool_pagelist *,  static void pool_print_pagelist(struct pool *, struct pool_pagelist *,
         void (*)(const char *, ...));          void (*)(const char *, ...) __printflike(1, 2));
 static void pool_print1(struct pool *, const char *,  static void pool_print1(struct pool *, const char *,
         void (*)(const char *, ...));          void (*)(const char *, ...) __printflike(1, 2));
   
 static int pool_chk_page(struct pool *, const char *,  static int pool_chk_page(struct pool *, const char *,
                          struct pool_item_header *);                           struct pool_item_header *);
   
 /*  
  * Pool log entry. An array of these is allocated in pool_init().  
  */  
 struct pool_log {  
         const char      *pl_file;  
         long            pl_line;  
         int             pl_action;  
 #define PRLOG_GET       1  
 #define PRLOG_PUT       2  
         void            *pl_addr;  
 };  
   
 #ifdef POOL_DIAGNOSTIC  
 /* Number of entries in pool log buffers */  
 #ifndef POOL_LOGSIZE  
 #define POOL_LOGSIZE    10  
 #endif  
   
 int pool_logsize = POOL_LOGSIZE;  
   
 static inline void  
 pr_log(struct pool *pp, void *v, int action, const char *file, long line)  
 {  
         int n;  
         struct pool_log *pl;  
   
         if ((pp->pr_roflags & PR_LOGGING) == 0)  
                 return;  
   
         if (pp->pr_log == NULL) {  
                 if (kmem_map != NULL)  
                         pp->pr_log = malloc(  
                                 pool_logsize * sizeof(struct pool_log),  
                                 M_TEMP, M_NOWAIT | M_ZERO);  
                 if (pp->pr_log == NULL)  
                         return;  
                 pp->pr_curlogentry = 0;  
                 pp->pr_logsize = pool_logsize;  
         }  
   
         /*  
          * Fill in the current entry. Wrap around and overwrite  
          * the oldest entry if necessary.  
          */  
         n = pp->pr_curlogentry;  
         pl = &pp->pr_log[n];  
         pl->pl_file = file;  
         pl->pl_line = line;  
         pl->pl_action = action;  
         pl->pl_addr = v;  
         if (++n >= pp->pr_logsize)  
                 n = 0;  
         pp->pr_curlogentry = n;  
 }  
   
 static void  
 pr_printlog(struct pool *pp, struct pool_item *pi,  
     void (*pr)(const char *, ...))  
 {  
         int i = pp->pr_logsize;  
         int n = pp->pr_curlogentry;  
   
         if (pp->pr_log == NULL)  
                 return;  
   
         /*  
          * Print all entries in this pool's log.  
          */  
         while (i-- > 0) {  
                 struct pool_log *pl = &pp->pr_log[n];  
                 if (pl->pl_action != 0) {  
                         if (pi == NULL || pi == pl->pl_addr) {  
                                 (*pr)("\tlog entry %d:\n", i);  
                                 (*pr)("\t\taction = %s, addr = %p\n",  
                                     pl->pl_action == PRLOG_GET ? "get" : "put",  
                                     pl->pl_addr);  
                                 (*pr)("\t\tfile: %s at line %lu\n",  
                                     pl->pl_file, pl->pl_line);  
                         }  
                 }  
                 if (++n >= pp->pr_logsize)  
                         n = 0;  
         }  
 }  
   
 static inline void  
 pr_enter(struct pool *pp, const char *file, long line)  
 {  
   
         if (__predict_false(pp->pr_entered_file != NULL)) {  
                 printf("pool %s: reentrancy at file %s line %ld\n",  
                     pp->pr_wchan, file, line);  
                 printf("         previous entry at file %s line %ld\n",  
                     pp->pr_entered_file, pp->pr_entered_line);  
                 panic("pr_enter");  
         }  
   
         pp->pr_entered_file = file;  
         pp->pr_entered_line = line;  
 }  
   
 static inline void  
 pr_leave(struct pool *pp)  
 {  
   
         if (__predict_false(pp->pr_entered_file == NULL)) {  
                 printf("pool %s not entered?\n", pp->pr_wchan);  
                 panic("pr_leave");  
         }  
   
         pp->pr_entered_file = NULL;  
         pp->pr_entered_line = 0;  
 }  
   
 static inline void  
 pr_enter_check(struct pool *pp, void (*pr)(const char *, ...))  
 {  
   
         if (pp->pr_entered_file != NULL)  
                 (*pr)("\n\tcurrently entered from file %s line %ld\n",  
                     pp->pr_entered_file, pp->pr_entered_line);  
 }  
 #else  
 #define pr_log(pp, v, action, file, line)  
 #define pr_printlog(pp, pi, pr)  
 #define pr_enter(pp, file, line)  
 #define pr_leave(pp)  
 #define pr_enter_check(pp, pr)  
 #endif /* POOL_DIAGNOSTIC */  
   
 static inline unsigned int  static inline unsigned int
 pr_item_notouch_index(const struct pool *pp, const struct pool_item_header *ph,  pr_item_notouch_index(const struct pool *pp, const struct pool_item_header *ph,
     const void *v)      const void *v)
Line 500  pr_rmpage(struct pool *pp, struct pool_i
Line 386  pr_rmpage(struct pool *pp, struct pool_i
          * If the page was idle, decrement the idle page count.           * If the page was idle, decrement the idle page count.
          */           */
         if (ph->ph_nmissing == 0) {          if (ph->ph_nmissing == 0) {
 #ifdef DIAGNOSTIC                  KASSERT(pp->pr_nidle != 0);
                 if (pp->pr_nidle == 0)                  KASSERTMSG((pp->pr_nitems >= pp->pr_itemsperpage),
                         panic("pr_rmpage: nidle inconsistent");                      "nitems=%u < itemsperpage=%u",
                 if (pp->pr_nitems < pp->pr_itemsperpage)                      pp->pr_nitems, pp->pr_itemsperpage);
                         panic("pr_rmpage: nitems inconsistent");  
 #endif  
                 pp->pr_nidle--;                  pp->pr_nidle--;
         }          }
   
Line 531  pr_rmpage(struct pool *pp, struct pool_i
Line 415  pr_rmpage(struct pool *pp, struct pool_i
 void  void
 pool_subsystem_init(void)  pool_subsystem_init(void)
 {  {
         int idx;  
         size_t size;          size_t size;
           int idx;
   
         mutex_init(&pool_head_lock, MUTEX_DEFAULT, IPL_NONE);          mutex_init(&pool_head_lock, MUTEX_DEFAULT, IPL_NONE);
         mutex_init(&pool_allocator_lock, MUTEX_DEFAULT, IPL_NONE);          mutex_init(&pool_allocator_lock, MUTEX_DEFAULT, IPL_NONE);
Line 584  pool_subsystem_init(void)
Line 468  pool_subsystem_init(void)
  * Initialize the given pool resource structure.   * Initialize the given pool resource structure.
  *   *
  * We export this routine to allow other kernel parts to declare   * We export this routine to allow other kernel parts to declare
  * static pools that must be initialized before malloc() is available.   * static pools that must be initialized before kmem(9) is available.
  */   */
 void  void
 pool_init(struct pool *pp, size_t size, u_int align, u_int ioff, int flags,  pool_init(struct pool *pp, size_t size, u_int align, u_int ioff, int flags,
     const char *wchan, struct pool_allocator *palloc, int ipl)      const char *wchan, struct pool_allocator *palloc, int ipl)
 {  {
         struct pool *pp1;          struct pool *pp1;
         size_t trysize, phsize;          size_t trysize, phsize, prsize;
         int off, slack;          int off, slack;
   
 #ifdef DEBUG  #ifdef DEBUG
           if (__predict_true(!cold))
                   mutex_enter(&pool_head_lock);
         /*          /*
          * Check that the pool hasn't already been initialised and           * Check that the pool hasn't already been initialised and
          * added to the list of all pools.           * added to the list of all pools.
          */           */
         TAILQ_FOREACH(pp1, &pool_head, pr_poollist) {          TAILQ_FOREACH(pp1, &pool_head, pr_poollist) {
                 if (pp == pp1)                  if (pp == pp1)
                         panic("pool_init: pool %s already initialised",                          panic("%s: [%s] already initialised", __func__,
                             wchan);                              wchan);
         }          }
 #endif          if (__predict_true(!cold))
                   mutex_exit(&pool_head_lock);
 #ifdef POOL_DIAGNOSTIC  
         /*  
          * Always log if POOL_DIAGNOSTIC is defined.  
          */  
         if (pool_logsize != 0)  
                 flags |= PR_LOGGING;  
 #endif  #endif
   
         if (palloc == NULL)          if (palloc == NULL)
Line 642  pool_init(struct pool *pp, size_t size, 
Line 522  pool_init(struct pool *pp, size_t size, 
         if (align == 0)          if (align == 0)
                 align = ALIGN(1);                  align = ALIGN(1);
   
         if ((flags & PR_NOTOUCH) == 0 && size < sizeof(struct pool_item))          prsize = size;
                 size = sizeof(struct pool_item);          if ((flags & PR_NOTOUCH) == 0 && prsize < sizeof(struct pool_item))
                   prsize = sizeof(struct pool_item);
         size = roundup(size, align);  
 #ifdef DIAGNOSTIC          prsize = roundup(prsize, align);
         if (size > palloc->pa_pagesz)          KASSERTMSG((prsize <= palloc->pa_pagesz),
                 panic("pool_init: pool item size (%zu) too large", size);              "%s: [%s] pool item size (%zu) larger than page size (%u)",
 #endif              __func__, wchan, prsize, palloc->pa_pagesz);
   
         /*          /*
          * Initialize the pool structure.           * Initialize the pool structure.
Line 665  pool_init(struct pool *pp, size_t size, 
Line 545  pool_init(struct pool *pp, size_t size, 
         pp->pr_maxpages = UINT_MAX;          pp->pr_maxpages = UINT_MAX;
         pp->pr_roflags = flags;          pp->pr_roflags = flags;
         pp->pr_flags = 0;          pp->pr_flags = 0;
         pp->pr_size = size;          pp->pr_size = prsize;
         pp->pr_align = align;          pp->pr_align = align;
         pp->pr_wchan = wchan;          pp->pr_wchan = wchan;
         pp->pr_alloc = palloc;          pp->pr_alloc = palloc;
Line 680  pool_init(struct pool *pp, size_t size, 
Line 560  pool_init(struct pool *pp, size_t size, 
         pp->pr_drain_hook = NULL;          pp->pr_drain_hook = NULL;
         pp->pr_drain_hook_arg = NULL;          pp->pr_drain_hook_arg = NULL;
         pp->pr_freecheck = NULL;          pp->pr_freecheck = NULL;
           pool_redzone_init(pp, size);
   
         /*          /*
          * Decide whether to put the page header off page to avoid           * Decide whether to put the page header off page to avoid
Line 698  pool_init(struct pool *pp, size_t size, 
Line 579  pool_init(struct pool *pp, size_t size, 
         /* See the comment below about reserved bytes. */          /* See the comment below about reserved bytes. */
         trysize = palloc->pa_pagesz - ((align - ioff) % align);          trysize = palloc->pa_pagesz - ((align - ioff) % align);
         phsize = ALIGN(sizeof(struct pool_item_header));          phsize = ALIGN(sizeof(struct pool_item_header));
         if ((pp->pr_roflags & (PR_NOTOUCH | PR_NOALIGN)) == 0 &&          if (pp->pr_roflags & PR_PHINPAGE ||
               ((pp->pr_roflags & (PR_NOTOUCH | PR_NOALIGN)) == 0 &&
             (pp->pr_size < MIN(palloc->pa_pagesz / 16, phsize << 3) ||              (pp->pr_size < MIN(palloc->pa_pagesz / 16, phsize << 3) ||
             trysize / pp->pr_size == (trysize - phsize) / pp->pr_size)) {              trysize / pp->pr_size == (trysize - phsize) / pp->pr_size))) {
                 /* Use the end of the page for the page header */                  /* Use the end of the page for the page header */
                 pp->pr_roflags |= PR_PHINPAGE;                  pp->pr_roflags |= PR_PHINPAGE;
                 pp->pr_phoffset = off = palloc->pa_pagesz - phsize;                  pp->pr_phoffset = off = palloc->pa_pagesz - phsize;
Line 730  pool_init(struct pool *pp, size_t size, 
Line 612  pool_init(struct pool *pp, size_t size, 
                          * if you see this panic, consider to tweak                           * if you see this panic, consider to tweak
                          * PHPOOL_MAX and PHPOOL_FREELIST_NELEM.                           * PHPOOL_MAX and PHPOOL_FREELIST_NELEM.
                          */                           */
                         panic("%s: too large itemsperpage(%d) for PR_NOTOUCH",                          panic("%s: [%s] too large itemsperpage(%d) for "
                               "PR_NOTOUCH", __func__,
                             pp->pr_wchan, pp->pr_itemsperpage);                              pp->pr_wchan, pp->pr_itemsperpage);
                 }                  }
                 pp->pr_phpool = &phpool[idx];                  pp->pr_phpool = &phpool[idx];
Line 760  pool_init(struct pool *pp, size_t size, 
Line 643  pool_init(struct pool *pp, size_t size, 
         pp->pr_nidle = 0;          pp->pr_nidle = 0;
         pp->pr_refcnt = 0;          pp->pr_refcnt = 0;
   
         pp->pr_log = NULL;  
   
         pp->pr_entered_file = NULL;  
         pp->pr_entered_line = 0;  
   
         mutex_init(&pp->pr_lock, MUTEX_DEFAULT, ipl);          mutex_init(&pp->pr_lock, MUTEX_DEFAULT, ipl);
         cv_init(&pp->pr_cv, wchan);          cv_init(&pp->pr_cv, wchan);
         pp->pr_ipl = ipl;          pp->pr_ipl = ipl;
Line 822  pool_destroy(struct pool *pp)
Line 700  pool_destroy(struct pool *pp)
         mutex_enter(&pp->pr_lock);          mutex_enter(&pp->pr_lock);
   
         KASSERT(pp->pr_cache == NULL);          KASSERT(pp->pr_cache == NULL);
           KASSERTMSG((pp->pr_nout == 0),
 #ifdef DIAGNOSTIC              "%s: pool busy: still out: %u", __func__, pp->pr_nout);
         if (pp->pr_nout != 0) {  
                 pr_printlog(pp, NULL, printf);  
                 panic("pool_destroy: pool busy: still out: %u",  
                     pp->pr_nout);  
         }  
 #endif  
   
         KASSERT(LIST_EMPTY(&pp->pr_fullpages));          KASSERT(LIST_EMPTY(&pp->pr_fullpages));
         KASSERT(LIST_EMPTY(&pp->pr_partpages));          KASSERT(LIST_EMPTY(&pp->pr_partpages));
   
Line 842  pool_destroy(struct pool *pp)
Line 713  pool_destroy(struct pool *pp)
         mutex_exit(&pp->pr_lock);          mutex_exit(&pp->pr_lock);
   
         pr_pagelist_free(pp, &pq);          pr_pagelist_free(pp, &pq);
   
 #ifdef POOL_DIAGNOSTIC  
         if (pp->pr_log != NULL) {  
                 free(pp->pr_log, M_TEMP);  
                 pp->pr_log = NULL;  
         }  
 #endif  
   
         cv_destroy(&pp->pr_cv);          cv_destroy(&pp->pr_cv);
         mutex_destroy(&pp->pr_lock);          mutex_destroy(&pp->pr_lock);
 }  }
Line 859  pool_set_drain_hook(struct pool *pp, voi
Line 722  pool_set_drain_hook(struct pool *pp, voi
 {  {
   
         /* XXX no locking -- must be used just after pool_init() */          /* XXX no locking -- must be used just after pool_init() */
 #ifdef DIAGNOSTIC          KASSERTMSG((pp->pr_drain_hook == NULL),
         if (pp->pr_drain_hook != NULL)              "%s: [%s] already set", __func__, pp->pr_wchan);
                 panic("pool_set_drain_hook(%s): already set", pp->pr_wchan);  
 #endif  
         pp->pr_drain_hook = fn;          pp->pr_drain_hook = fn;
         pp->pr_drain_hook_arg = arg;          pp->pr_drain_hook_arg = arg;
 }  }
Line 873  pool_alloc_item_header(struct pool *pp, 
Line 734  pool_alloc_item_header(struct pool *pp, 
         struct pool_item_header *ph;          struct pool_item_header *ph;
   
         if ((pp->pr_roflags & PR_PHINPAGE) != 0)          if ((pp->pr_roflags & PR_PHINPAGE) != 0)
                 ph = (struct pool_item_header *) ((char *)storage + pp->pr_phoffset);                  ph = (void *)((char *)storage + pp->pr_phoffset);
         else          else
                 ph = pool_get(pp->pr_phpool, flags);                  ph = pool_get(pp->pr_phpool, flags);
   
Line 884  pool_alloc_item_header(struct pool *pp, 
Line 745  pool_alloc_item_header(struct pool *pp, 
  * Grab an item from the pool.   * Grab an item from the pool.
  */   */
 void *  void *
 #ifdef POOL_DIAGNOSTIC  
 _pool_get(struct pool *pp, int flags, const char *file, long line)  
 #else  
 pool_get(struct pool *pp, int flags)  pool_get(struct pool *pp, int flags)
 #endif  
 {  {
         struct pool_item *pi;          struct pool_item *pi;
         struct pool_item_header *ph;          struct pool_item_header *ph;
         void *v;          void *v;
   
 #ifdef DIAGNOSTIC          KASSERT(!(flags & PR_NOWAIT) != !(flags & PR_WAITOK));
         if (pp->pr_itemsperpage == 0)          KASSERTMSG((pp->pr_itemsperpage != 0),
                 panic("pool_get: pool '%s': pr_itemsperpage is zero, "              "%s: [%s] pr_itemsperpage is zero, "
                     "pool not initialized?", pp->pr_wchan);              "pool not initialized?", __func__, pp->pr_wchan);
         if ((cpu_intr_p() || cpu_softintr_p()) && pp->pr_ipl == IPL_NONE &&          KASSERTMSG((!(cpu_intr_p() || cpu_softintr_p())
             !cold && panicstr == NULL)                  || pp->pr_ipl != IPL_NONE || cold || panicstr != NULL),
                 panic("pool '%s' is IPL_NONE, but called from "              "%s: [%s] is IPL_NONE, but called from interrupt context",
                     "interrupt context\n", pp->pr_wchan);              __func__, pp->pr_wchan);
 #endif  
         if (flags & PR_WAITOK) {          if (flags & PR_WAITOK) {
                 ASSERT_SLEEPABLE();                  ASSERT_SLEEPABLE();
         }          }
   
         mutex_enter(&pp->pr_lock);          mutex_enter(&pp->pr_lock);
         pr_enter(pp, file, line);  
   
  startover:   startover:
         /*          /*
          * Check to see if we've reached the hard limit.  If we have,           * Check to see if we've reached the hard limit.  If we have,
          * and we can wait, then wait until an item has been returned to           * and we can wait, then wait until an item has been returned to
          * the pool.           * the pool.
          */           */
 #ifdef DIAGNOSTIC          KASSERTMSG((pp->pr_nout <= pp->pr_hardlimit),
         if (__predict_false(pp->pr_nout > pp->pr_hardlimit)) {              "%s: %s: crossed hard limit", __func__, pp->pr_wchan);
                 pr_leave(pp);  
                 mutex_exit(&pp->pr_lock);  
                 panic("pool_get: %s: crossed hard limit", pp->pr_wchan);  
         }  
 #endif  
         if (__predict_false(pp->pr_nout == pp->pr_hardlimit)) {          if (__predict_false(pp->pr_nout == pp->pr_hardlimit)) {
                 if (pp->pr_drain_hook != NULL) {                  if (pp->pr_drain_hook != NULL) {
                         /*                          /*
Line 930  pool_get(struct pool *pp, int flags)
Line 779  pool_get(struct pool *pp, int flags)
                          * back to the pool, unlock, call the hook, re-lock,                           * back to the pool, unlock, call the hook, re-lock,
                          * and check the hardlimit condition again.                           * and check the hardlimit condition again.
                          */                           */
                         pr_leave(pp);  
                         mutex_exit(&pp->pr_lock);                          mutex_exit(&pp->pr_lock);
                         (*pp->pr_drain_hook)(pp->pr_drain_hook_arg, flags);                          (*pp->pr_drain_hook)(pp->pr_drain_hook_arg, flags);
                         mutex_enter(&pp->pr_lock);                          mutex_enter(&pp->pr_lock);
                         pr_enter(pp, file, line);  
                         if (pp->pr_nout < pp->pr_hardlimit)                          if (pp->pr_nout < pp->pr_hardlimit)
                                 goto startover;                                  goto startover;
                 }                  }
Line 945  pool_get(struct pool *pp, int flags)
Line 792  pool_get(struct pool *pp, int flags)
                          * it be?                           * it be?
                          */                           */
                         pp->pr_flags |= PR_WANTED;                          pp->pr_flags |= PR_WANTED;
                         pr_leave(pp);                          do {
                         cv_wait(&pp->pr_cv, &pp->pr_lock);                                  cv_wait(&pp->pr_cv, &pp->pr_lock);
                         pr_enter(pp, file, line);                          } while (pp->pr_flags & PR_WANTED);
                         goto startover;                          goto startover;
                 }                  }
   
Line 961  pool_get(struct pool *pp, int flags)
Line 808  pool_get(struct pool *pp, int flags)
   
                 pp->pr_nfail++;                  pp->pr_nfail++;
   
                 pr_leave(pp);  
                 mutex_exit(&pp->pr_lock);                  mutex_exit(&pp->pr_lock);
                   KASSERT((flags & (PR_NOWAIT|PR_LIMITFAIL)) != 0);
                 return (NULL);                  return (NULL);
         }          }
   
Line 975  pool_get(struct pool *pp, int flags)
Line 822  pool_get(struct pool *pp, int flags)
         if ((ph = pp->pr_curpage) == NULL) {          if ((ph = pp->pr_curpage) == NULL) {
                 int error;                  int error;
   
 #ifdef DIAGNOSTIC                  KASSERTMSG((pp->pr_nitems == 0),
                 if (pp->pr_nitems != 0) {                      "%s: [%s] curpage NULL, inconsistent nitems %u",
                         mutex_exit(&pp->pr_lock);                      __func__, pp->pr_wchan, pp->pr_nitems);
                         printf("pool_get: %s: curpage NULL, nitems %u\n",  
                             pp->pr_wchan, pp->pr_nitems);  
                         panic("pool_get: nitems inconsistent");  
                 }  
 #endif  
   
                 /*                  /*
                  * Call the back-end page allocator for more memory.                   * Call the back-end page allocator for more memory.
                  * Release the pool lock, as the back-end page allocator                   * Release the pool lock, as the back-end page allocator
                  * may block.                   * may block.
                  */                   */
                 pr_leave(pp);  
                 error = pool_grow(pp, flags);                  error = pool_grow(pp, flags);
                 pr_enter(pp, file, line);  
                 if (error != 0) {                  if (error != 0) {
                         /*                          /*
                            * pool_grow aborts when another thread
                            * is allocating a new page. Retry if it
                            * waited for it.
                            */
                           if (error == ERESTART)
                                   goto startover;
   
                           /*
                          * We were unable to allocate a page or item                           * We were unable to allocate a page or item
                          * header, but we released the lock during                           * header, but we released the lock during
                          * allocation, so perhaps items were freed                           * allocation, so perhaps items were freed
Line 1003  pool_get(struct pool *pp, int flags)
Line 851  pool_get(struct pool *pp, int flags)
                                 goto startover;                                  goto startover;
   
                         pp->pr_nfail++;                          pp->pr_nfail++;
                         pr_leave(pp);  
                         mutex_exit(&pp->pr_lock);                          mutex_exit(&pp->pr_lock);
                           KASSERT((flags & (PR_WAITOK|PR_NOWAIT)) == PR_NOWAIT);
                         return (NULL);                          return (NULL);
                 }                  }
   
Line 1012  pool_get(struct pool *pp, int flags)
Line 860  pool_get(struct pool *pp, int flags)
                 goto startover;                  goto startover;
         }          }
         if (pp->pr_roflags & PR_NOTOUCH) {          if (pp->pr_roflags & PR_NOTOUCH) {
 #ifdef DIAGNOSTIC                  KASSERTMSG((ph->ph_nmissing < pp->pr_itemsperpage),
                 if (__predict_false(ph->ph_nmissing == pp->pr_itemsperpage)) {                      "%s: %s: page empty", __func__, pp->pr_wchan);
                         pr_leave(pp);  
                         mutex_exit(&pp->pr_lock);  
                         panic("pool_get: %s: page empty", pp->pr_wchan);  
                 }  
 #endif  
                 v = pr_item_notouch_get(pp, ph);                  v = pr_item_notouch_get(pp, ph);
 #ifdef POOL_DIAGNOSTIC  
                 pr_log(pp, v, PRLOG_GET, file, line);  
 #endif  
         } else {          } else {
                 v = pi = LIST_FIRST(&ph->ph_itemlist);                  v = pi = LIST_FIRST(&ph->ph_itemlist);
                 if (__predict_false(v == NULL)) {                  if (__predict_false(v == NULL)) {
                         pr_leave(pp);  
                         mutex_exit(&pp->pr_lock);                          mutex_exit(&pp->pr_lock);
                         panic("pool_get: %s: page empty", pp->pr_wchan);                          panic("%s: [%s] page empty", __func__, pp->pr_wchan);
                 }  
 #ifdef DIAGNOSTIC  
                 if (__predict_false(pp->pr_nitems == 0)) {  
                         pr_leave(pp);  
                         mutex_exit(&pp->pr_lock);  
                         printf("pool_get: %s: items on itemlist, nitems %u\n",  
                             pp->pr_wchan, pp->pr_nitems);  
                         panic("pool_get: nitems inconsistent");  
                 }  
 #endif  
   
 #ifdef POOL_DIAGNOSTIC  
                 pr_log(pp, v, PRLOG_GET, file, line);  
 #endif  
   
 #ifdef DIAGNOSTIC  
                 if (__predict_false(pi->pi_magic != PI_MAGIC)) {  
                         pr_printlog(pp, pi, printf);  
                         panic("pool_get(%s): free list modified: "  
                             "magic=%x; page %p; item addr %p\n",  
                             pp->pr_wchan, pi->pi_magic, ph->ph_page, pi);  
                 }                  }
 #endif                  KASSERTMSG((pp->pr_nitems > 0),
                       "%s: [%s] nitems %u inconsistent on itemlist",
                       __func__, pp->pr_wchan, pp->pr_nitems);
                   KASSERTMSG((pi->pi_magic == PI_MAGIC),
                       "%s: [%s] free list modified: "
                       "magic=%x; page %p; item addr %p", __func__,
                       pp->pr_wchan, pi->pi_magic, ph->ph_page, pi);
   
                 /*                  /*
                  * Remove from item list.                   * Remove from item list.
Line 1061  pool_get(struct pool *pp, int flags)
Line 885  pool_get(struct pool *pp, int flags)
         pp->pr_nitems--;          pp->pr_nitems--;
         pp->pr_nout++;          pp->pr_nout++;
         if (ph->ph_nmissing == 0) {          if (ph->ph_nmissing == 0) {
 #ifdef DIAGNOSTIC                  KASSERT(pp->pr_nidle > 0);
                 if (__predict_false(pp->pr_nidle == 0))  
                         panic("pool_get: nidle inconsistent");  
 #endif  
                 pp->pr_nidle--;                  pp->pr_nidle--;
   
                 /*                  /*
Line 1076  pool_get(struct pool *pp, int flags)
Line 897  pool_get(struct pool *pp, int flags)
         }          }
         ph->ph_nmissing++;          ph->ph_nmissing++;
         if (ph->ph_nmissing == pp->pr_itemsperpage) {          if (ph->ph_nmissing == pp->pr_itemsperpage) {
 #ifdef DIAGNOSTIC                  KASSERTMSG(((pp->pr_roflags & PR_NOTOUCH) ||
                 if (__predict_false((pp->pr_roflags & PR_NOTOUCH) == 0 &&                          LIST_EMPTY(&ph->ph_itemlist)),
                     !LIST_EMPTY(&ph->ph_itemlist))) {                      "%s: [%s] nmissing (%u) inconsistent", __func__,
                         pr_leave(pp);                          pp->pr_wchan, ph->ph_nmissing);
                         mutex_exit(&pp->pr_lock);  
                         panic("pool_get: %s: nmissing inconsistent",  
                             pp->pr_wchan);  
                 }  
 #endif  
                 /*                  /*
                  * This page is now full.  Move it to the full list                   * This page is now full.  Move it to the full list
                  * and select a new current page.                   * and select a new current page.
Line 1095  pool_get(struct pool *pp, int flags)
Line 911  pool_get(struct pool *pp, int flags)
         }          }
   
         pp->pr_nget++;          pp->pr_nget++;
         pr_leave(pp);  
   
         /*          /*
          * If we have a low water mark and we are now below that low           * If we have a low water mark and we are now below that low
Line 1112  pool_get(struct pool *pp, int flags)
Line 927  pool_get(struct pool *pp, int flags)
         mutex_exit(&pp->pr_lock);          mutex_exit(&pp->pr_lock);
         KASSERT((((vaddr_t)v + pp->pr_itemoffset) & (pp->pr_align - 1)) == 0);          KASSERT((((vaddr_t)v + pp->pr_itemoffset) & (pp->pr_align - 1)) == 0);
         FREECHECK_OUT(&pp->pr_freecheck, v);          FREECHECK_OUT(&pp->pr_freecheck, v);
           pool_redzone_fill(pp, v);
         return (v);          return (v);
 }  }
   
Line 1125  pool_do_put(struct pool *pp, void *v, st
Line 941  pool_do_put(struct pool *pp, void *v, st
         struct pool_item_header *ph;          struct pool_item_header *ph;
   
         KASSERT(mutex_owned(&pp->pr_lock));          KASSERT(mutex_owned(&pp->pr_lock));
           pool_redzone_check(pp, v);
         FREECHECK_IN(&pp->pr_freecheck, v);          FREECHECK_IN(&pp->pr_freecheck, v);
         LOCKDEBUG_MEM_CHECK(v, pp->pr_size);          LOCKDEBUG_MEM_CHECK(v, pp->pr_size);
   
 #ifdef DIAGNOSTIC          KASSERTMSG((pp->pr_nout > 0),
         if (__predict_false(pp->pr_nout == 0)) {              "%s: [%s] putting with none out", __func__, pp->pr_wchan);
                 printf("pool %s: putting with none out\n",  
                     pp->pr_wchan);  
                 panic("pool_put");  
         }  
 #endif  
   
         if (__predict_false((ph = pr_find_pagehead(pp, v)) == NULL)) {          if (__predict_false((ph = pr_find_pagehead(pp, v)) == NULL)) {
                 pr_printlog(pp, NULL, printf);                  panic("%s: [%s] page header missing", __func__,  pp->pr_wchan);
                 panic("pool_put: %s: page header missing", pp->pr_wchan);  
         }          }
   
         /*          /*
Line 1226  pool_do_put(struct pool *pp, void *v, st
Line 1037  pool_do_put(struct pool *pp, void *v, st
         }          }
 }  }
   
 /*  
  * Return resource to the pool.  
  */  
 #ifdef POOL_DIAGNOSTIC  
 void  
 _pool_put(struct pool *pp, void *v, const char *file, long line)  
 {  
         struct pool_pagelist pq;  
   
         LIST_INIT(&pq);  
   
         mutex_enter(&pp->pr_lock);  
         pr_enter(pp, file, line);  
   
         pr_log(pp, v, PRLOG_PUT, file, line);  
   
         pool_do_put(pp, v, &pq);  
   
         pr_leave(pp);  
         mutex_exit(&pp->pr_lock);  
   
         pr_pagelist_free(pp, &pq);  
 }  
 #undef pool_put  
 #endif /* POOL_DIAGNOSTIC */  
   
 void  void
 pool_put(struct pool *pp, void *v)  pool_put(struct pool *pp, void *v)
 {  {
Line 1266  pool_put(struct pool *pp, void *v)
Line 1051  pool_put(struct pool *pp, void *v)
         pr_pagelist_free(pp, &pq);          pr_pagelist_free(pp, &pq);
 }  }
   
 #ifdef POOL_DIAGNOSTIC  
 #define         pool_put(h, v)  _pool_put((h), (v), __FILE__, __LINE__)  
 #endif  
   
 /*  /*
  * pool_grow: grow a pool by a page.   * pool_grow: grow a pool by a page.
  *   *
Line 1281  pool_put(struct pool *pp, void *v)
Line 1062  pool_put(struct pool *pp, void *v)
 static int  static int
 pool_grow(struct pool *pp, int flags)  pool_grow(struct pool *pp, int flags)
 {  {
         struct pool_item_header *ph = NULL;          /*
         char *cp;           * If there's a pool_grow in progress, wait for it to complete
            * and try again from the top.
            */
           if (pp->pr_flags & PR_GROWING) {
                   if (flags & PR_WAITOK) {
                           do {
                                   cv_wait(&pp->pr_cv, &pp->pr_lock);
                           } while (pp->pr_flags & PR_GROWING);
                           return ERESTART;
                   } else {
                           if (pp->pr_flags & PR_GROWINGNOWAIT) {
                                   /*
                                    * This needs an unlock/relock dance so
                                    * that the other caller has a chance to
                                    * run and actually do the thing.  Note
                                    * that this is effectively a busy-wait.
                                    */
                                   mutex_exit(&pp->pr_lock);
                                   mutex_enter(&pp->pr_lock);
                                   return ERESTART;
                           }
                           return EWOULDBLOCK;
                   }
           }
           pp->pr_flags |= PR_GROWING;
           if ((flags & PR_WAITOK) == 0)
                   pp->pr_flags |= PR_GROWINGNOWAIT;
   
         mutex_exit(&pp->pr_lock);          mutex_exit(&pp->pr_lock);
         cp = pool_allocator_alloc(pp, flags);          char *cp = pool_allocator_alloc(pp, flags);
         if (__predict_true(cp != NULL)) {          if (__predict_false(cp == NULL))
                 ph = pool_alloc_item_header(pp, cp, flags);                  goto out;
         }  
         if (__predict_false(cp == NULL || ph == NULL)) {          struct pool_item_header *ph = pool_alloc_item_header(pp, cp, flags);
                 if (cp != NULL) {          if (__predict_false(ph == NULL)) {
                         pool_allocator_free(pp, cp);                  pool_allocator_free(pp, cp);
                 }                  goto out;
                 mutex_enter(&pp->pr_lock);  
                 return ENOMEM;  
         }          }
   
         mutex_enter(&pp->pr_lock);          mutex_enter(&pp->pr_lock);
         pool_prime_page(pp, cp, ph);          pool_prime_page(pp, cp, ph);
         pp->pr_npagealloc++;          pp->pr_npagealloc++;
           KASSERT(pp->pr_flags & PR_GROWING);
           pp->pr_flags &= ~(PR_GROWING|PR_GROWINGNOWAIT);
           /*
            * If anyone was waiting for pool_grow, notify them that we
            * may have just done it.
            */
           cv_broadcast(&pp->pr_cv);
         return 0;          return 0;
   out:
           KASSERT(pp->pr_flags & PR_GROWING);
           pp->pr_flags &= ~(PR_GROWING|PR_GROWINGNOWAIT);
           mutex_enter(&pp->pr_lock);
           return ENOMEM;
 }  }
   
 /*  /*
Line 1316  pool_prime(struct pool *pp, int n)
Line 1133  pool_prime(struct pool *pp, int n)
   
         newpages = roundup(n, pp->pr_itemsperpage) / pp->pr_itemsperpage;          newpages = roundup(n, pp->pr_itemsperpage) / pp->pr_itemsperpage;
   
         while (newpages-- > 0) {          while (newpages > 0) {
                 error = pool_grow(pp, PR_NOWAIT);                  error = pool_grow(pp, PR_NOWAIT);
                 if (error) {                  if (error) {
                           if (error == ERESTART)
                                   continue;
                         break;                          break;
                 }                  }
                 pp->pr_minpages++;                  pp->pr_minpages++;
                   newpages--;
         }          }
   
         if (pp->pr_minpages >= pp->pr_maxpages)          if (pp->pr_minpages >= pp->pr_maxpages)
Line 1346  pool_prime_page(struct pool *pp, void *s
Line 1166  pool_prime_page(struct pool *pp, void *s
         int n;          int n;
   
         KASSERT(mutex_owned(&pp->pr_lock));          KASSERT(mutex_owned(&pp->pr_lock));
           KASSERTMSG(((pp->pr_roflags & PR_NOALIGN) ||
 #ifdef DIAGNOSTIC                  (((uintptr_t)cp & (pp->pr_alloc->pa_pagesz - 1)) == 0)),
         if ((pp->pr_roflags & PR_NOALIGN) == 0 &&              "%s: [%s] unaligned page: %p", __func__, pp->pr_wchan, cp);
             ((uintptr_t)cp & (pp->pr_alloc->pa_pagesz - 1)) != 0)  
                 panic("pool_prime_page: %s: unaligned page", pp->pr_wchan);  
 #endif  
   
         /*          /*
          * Insert page header.           * Insert page header.
Line 1434  pool_catchup(struct pool *pp)
Line 1251  pool_catchup(struct pool *pp)
         while (POOL_NEEDS_CATCHUP(pp)) {          while (POOL_NEEDS_CATCHUP(pp)) {
                 error = pool_grow(pp, PR_NOWAIT);                  error = pool_grow(pp, PR_NOWAIT);
                 if (error) {                  if (error) {
                           if (error == ERESTART)
                                   continue;
                         break;                          break;
                 }                  }
         }          }
Line 1514  pool_sethardlimit(struct pool *pp, int n
Line 1333  pool_sethardlimit(struct pool *pp, int n
 /*  /*
  * Release all complete pages that have not been used recently.   * Release all complete pages that have not been used recently.
  *   *
  * Might be called from interrupt context.   * Must not be called from interrupt context.
  */   */
 int  int
 #ifdef POOL_DIAGNOSTIC  
 _pool_reclaim(struct pool *pp, const char *file, long line)  
 #else  
 pool_reclaim(struct pool *pp)  pool_reclaim(struct pool *pp)
 #endif  
 {  {
         struct pool_item_header *ph, *phnext;          struct pool_item_header *ph, *phnext;
         struct pool_pagelist pq;          struct pool_pagelist pq;
Line 1529  pool_reclaim(struct pool *pp)
Line 1344  pool_reclaim(struct pool *pp)
         bool klock;          bool klock;
         int rv;          int rv;
   
         if (cpu_intr_p() || cpu_softintr_p()) {          KASSERT(!cpu_intr_p() && !cpu_softintr_p());
                 KASSERT(pp->pr_ipl != IPL_NONE);  
         }  
   
         if (pp->pr_drain_hook != NULL) {          if (pp->pr_drain_hook != NULL) {
                 /*                  /*
Line 1561  pool_reclaim(struct pool *pp)
Line 1374  pool_reclaim(struct pool *pp)
                 }                  }
                 return (0);                  return (0);
         }          }
         pr_enter(pp, file, line);  
   
         LIST_INIT(&pq);          LIST_INIT(&pq);
   
Line 1589  pool_reclaim(struct pool *pp)
Line 1401  pool_reclaim(struct pool *pp)
                 pr_rmpage(pp, ph, &pq);                  pr_rmpage(pp, ph, &pq);
         }          }
   
         pr_leave(pp);  
         mutex_exit(&pp->pr_lock);          mutex_exit(&pp->pr_lock);
   
         if (LIST_EMPTY(&pq))          if (LIST_EMPTY(&pq))
Line 1607  pool_reclaim(struct pool *pp)
Line 1418  pool_reclaim(struct pool *pp)
 }  }
   
 /*  /*
  * Drain pools, one at a time.  This is a two stage process;   * Drain pools, one at a time. The drained pool is returned within ppp.
  * drain_start kicks off a cross call to drain CPU-level caches  
  * if the pool has an associated pool_cache.  drain_end waits  
  * for those cross calls to finish, and then drains the cache  
  * (if any) and pool.  
  *   *
  * Note, must never be called from interrupt context.   * Note, must never be called from interrupt context.
  */   */
 void  bool
 pool_drain_start(struct pool **ppp, uint64_t *wp)  pool_drain(struct pool **ppp)
 {  {
           bool reclaimed;
         struct pool *pp;          struct pool *pp;
   
         KASSERT(!TAILQ_EMPTY(&pool_head));          KASSERT(!TAILQ_EMPTY(&pool_head));
Line 1642  pool_drain_start(struct pool **ppp, uint
Line 1450  pool_drain_start(struct pool **ppp, uint
         pp->pr_refcnt++;          pp->pr_refcnt++;
         mutex_exit(&pool_head_lock);          mutex_exit(&pool_head_lock);
   
         /* If there is a pool_cache, drain CPU level caches. */  
         *ppp = pp;  
         if (pp->pr_cache != NULL) {  
                 *wp = xc_broadcast(0, (xcfunc_t)pool_cache_xcall,  
                     pp->pr_cache, NULL);  
         }  
 }  
   
 bool  
 pool_drain_end(struct pool *pp, uint64_t where)  
 {  
         bool reclaimed;  
   
         if (pp == NULL)  
                 return false;  
   
         KASSERT(pp->pr_refcnt > 0);  
   
         /* Wait for remote draining to complete. */  
         if (pp->pr_cache != NULL)  
                 xc_wait(where);  
   
         /* Drain the cache (if any) and pool.. */          /* Drain the cache (if any) and pool.. */
         reclaimed = pool_reclaim(pp);          reclaimed = pool_reclaim(pp);
   
Line 1673  pool_drain_end(struct pool *pp, uint64_t
Line 1459  pool_drain_end(struct pool *pp, uint64_t
         cv_broadcast(&pool_busy);          cv_broadcast(&pool_busy);
         mutex_exit(&pool_head_lock);          mutex_exit(&pool_head_lock);
   
           if (ppp != NULL)
                   *ppp = pp;
   
         return reclaimed;          return reclaimed;
 }  }
   
 /*  /*
  * Diagnostic helpers.   * Calculate the total number of pages consumed by pools.
  */   */
 void  int
 pool_print(struct pool *pp, const char *modif)  pool_totalpages(void)
 {  {
           struct pool *pp;
           uint64_t total = 0;
   
           mutex_enter(&pool_head_lock);
           TAILQ_FOREACH(pp, &pool_head, pr_poollist) {
                   uint64_t bytes = pp->pr_npages * pp->pr_alloc->pa_pagesz;
   
         pool_print1(pp, modif, printf);                  if ((pp->pr_roflags & PR_RECURSIVE) != 0)
                           bytes -= (pp->pr_nout * pp->pr_size);
                   total += bytes;
           }
           mutex_exit(&pool_head_lock);
   
           return atop(total);
 }  }
   
   /*
    * Diagnostic helpers.
    */
   
 void  void
 pool_printall(const char *modif, void (*pr)(const char *, ...))  pool_printall(const char *modif, void (*pr)(const char *, ...))
 {  {
Line 1713  pool_print_pagelist(struct pool *pp, str
Line 1518  pool_print_pagelist(struct pool *pp, str
     void (*pr)(const char *, ...))      void (*pr)(const char *, ...))
 {  {
         struct pool_item_header *ph;          struct pool_item_header *ph;
 #ifdef DIAGNOSTIC          struct pool_item *pi __diagused;
         struct pool_item *pi;  
 #endif  
   
         LIST_FOREACH(ph, pl, ph_pagelist) {          LIST_FOREACH(ph, pl, ph_pagelist) {
                 (*pr)("\t\tpage %p, nmissing %d, time %" PRIu32 "\n",                  (*pr)("\t\tpage %p, nmissing %d, time %" PRIu32 "\n",
Line 1796  pool_print1(struct pool *pp, const char 
Line 1599  pool_print1(struct pool *pp, const char 
                 goto skip_log;                  goto skip_log;
   
         (*pr)("\n");          (*pr)("\n");
         if ((pp->pr_roflags & PR_LOGGING) == 0)  
                 (*pr)("\tno log\n");  
         else {  
                 pr_printlog(pp, NULL, pr);  
         }  
   
  skip_log:   skip_log:
   
Line 1850  pool_print1(struct pool *pp, const char 
Line 1648  pool_print1(struct pool *pp, const char 
                 }                  }
         }          }
 #undef PR_GROUPLIST  #undef PR_GROUPLIST
   
         pr_enter_check(pp, pr);  
 }  }
   
 static int  static int
Line 1984  pool_cache_bootstrap(pool_cache_t pc, si
Line 1780  pool_cache_bootstrap(pool_cache_t pc, si
         struct pool *pp;          struct pool *pp;
   
         pp = &pc->pc_pool;          pp = &pc->pc_pool;
         if (palloc == NULL && ipl == IPL_NONE)          if (palloc == NULL && ipl == IPL_NONE) {
                 palloc = &pool_allocator_nointr;                  if (size > PAGE_SIZE) {
                           int bigidx = pool_bigidx(size);
   
                           palloc = &pool_allocator_big[bigidx];
                   } else
                           palloc = &pool_allocator_nointr;
           }
         pool_init(pp, size, align, align_offset, flags, wchan, palloc, ipl);          pool_init(pp, size, align, align_offset, flags, wchan, palloc, ipl);
         mutex_init(&pc->pc_lock, MUTEX_DEFAULT, ipl);          mutex_init(&pc->pc_lock, MUTEX_DEFAULT, ipl);
   
Line 2240  pool_cache_invalidate_groups(pool_cache_
Line 2042  pool_cache_invalidate_groups(pool_cache_
  *      Note: For pool caches that provide constructed objects, there   *      Note: For pool caches that provide constructed objects, there
  *      is an assumption that another level of synchronization is occurring   *      is an assumption that another level of synchronization is occurring
  *      between the input to the constructor and the cache invalidation.   *      between the input to the constructor and the cache invalidation.
    *
    *      Invalidation is a costly process and should not be called from
    *      interrupt context.
  */   */
 void  void
 pool_cache_invalidate(pool_cache_t pc)  pool_cache_invalidate(pool_cache_t pc)
 {  {
         pcg_t *full, *empty, *part;  
 #if 0  
         uint64_t where;          uint64_t where;
           pcg_t *full, *empty, *part;
   
           KASSERT(!cpu_intr_p() && !cpu_softintr_p());
   
         if (ncpu < 2 || !mp_online) {          if (ncpu < 2 || !mp_online) {
                 /*                  /*
                  * We might be called early enough in the boot process                   * We might be called early enough in the boot process
                  * for the CPU data structures to not be fully initialized.                   * for the CPU data structures to not be fully initialized.
                  * In this case, simply gather the local CPU's cache now                   * In this case, transfer the content of the local CPU's
                  * since it will be the only one running.                   * cache back into global cache as only this CPU is currently
                    * running.
                  */                   */
                 pool_cache_xcall(pc);                  pool_cache_transfer(pc);
         } else {          } else {
                 /*                  /*
                  * Gather all of the CPU-specific caches into the                   * Signal all CPUs that they must transfer their local
                  * global cache.                   * cache back to the global pool then wait for the xcall to
                    * complete.
                  */                   */
                 where = xc_broadcast(0, (xcfunc_t)pool_cache_xcall, pc, NULL);                  where = xc_broadcast(0, (xcfunc_t)pool_cache_transfer,
                       pc, NULL);
                 xc_wait(where);                  xc_wait(where);
         }          }
 #endif  
           /* Empty pool caches, then invalidate objects */
         mutex_enter(&pc->pc_lock);          mutex_enter(&pc->pc_lock);
         full = pc->pc_fullgroups;          full = pc->pc_fullgroups;
         empty = pc->pc_emptygroups;          empty = pc->pc_emptygroups;
Line 2296  pool_cache_invalidate(pool_cache_t pc)
Line 2106  pool_cache_invalidate(pool_cache_t pc)
 static void  static void
 pool_cache_invalidate_cpu(pool_cache_t pc, u_int index)  pool_cache_invalidate_cpu(pool_cache_t pc, u_int index)
 {  {
   
         pool_cache_cpu_t *cc;          pool_cache_cpu_t *cc;
         pcg_t *pcg;          pcg_t *pcg;
   
Line 2411  pool_cache_get_slow(pool_cache_cpu_t *cc
Line 2220  pool_cache_get_slow(pool_cache_cpu_t *cc
   
         object = pool_get(&pc->pc_pool, flags);          object = pool_get(&pc->pc_pool, flags);
         *objectp = object;          *objectp = object;
         if (__predict_false(object == NULL))          if (__predict_false(object == NULL)) {
                   KASSERT((flags & (PR_WAITOK|PR_NOWAIT)) == PR_NOWAIT);
                 return false;                  return false;
           }
   
         if (__predict_false((*pc->pc_ctor)(pc->pc_arg, object, flags) != 0)) {          if (__predict_false((*pc->pc_ctor)(pc->pc_arg, object, flags) != 0)) {
                 pool_put(&pc->pc_pool, object);                  pool_put(&pc->pc_pool, object);
Line 2432  pool_cache_get_slow(pool_cache_cpu_t *cc
Line 2243  pool_cache_get_slow(pool_cache_cpu_t *cc
         }          }
   
         FREECHECK_OUT(&pc->pc_freecheck, object);          FREECHECK_OUT(&pc->pc_freecheck, object);
           pool_redzone_fill(&pc->pc_pool, object);
         return false;          return false;
 }  }
   
Line 2449  pool_cache_get_paddr(pool_cache_t pc, in
Line 2261  pool_cache_get_paddr(pool_cache_t pc, in
         void *object;          void *object;
         int s;          int s;
   
           KASSERT(!(flags & PR_NOWAIT) != !(flags & PR_WAITOK));
         KASSERTMSG((!cpu_intr_p() && !cpu_softintr_p()) ||          KASSERTMSG((!cpu_intr_p() && !cpu_softintr_p()) ||
             (pc->pc_pool.pr_ipl != IPL_NONE || cold || panicstr != NULL),              (pc->pc_pool.pr_ipl != IPL_NONE || cold || panicstr != NULL),
             "pool '%s' is IPL_NONE, but called from interrupt context\n",              "%s: [%s] is IPL_NONE, but called from interrupt context",
             pc->pc_pool.pr_wchan);              __func__, pc->pc_pool.pr_wchan);
   
         if (flags & PR_WAITOK) {          if (flags & PR_WAITOK) {
                 ASSERT_SLEEPABLE();                  ASSERT_SLEEPABLE();
Line 2477  pool_cache_get_paddr(pool_cache_t pc, in
Line 2290  pool_cache_get_paddr(pool_cache_t pc, in
                         cc->cc_hits++;                          cc->cc_hits++;
                         splx(s);                          splx(s);
                         FREECHECK_OUT(&pc->pc_freecheck, object);                          FREECHECK_OUT(&pc->pc_freecheck, object);
                           pool_redzone_fill(&pc->pc_pool, object);
                         return object;                          return object;
                 }                  }
   
Line 2501  pool_cache_get_paddr(pool_cache_t pc, in
Line 2315  pool_cache_get_paddr(pool_cache_t pc, in
                         break;                          break;
         }          }
   
           /*
            * We would like to KASSERT(object || (flags & PR_NOWAIT)), but
            * pool_cache_get can fail even in the PR_WAITOK case, if the
            * constructor fails.
            */
         return object;          return object;
 }  }
   
 static bool __noinline  static bool __noinline
 pool_cache_put_slow(pool_cache_cpu_t *cc, int s, void *object)  pool_cache_put_slow(pool_cache_cpu_t *cc, int s, void *object)
 {  {
           struct lwp *l = curlwp;
         pcg_t *pcg, *cur;          pcg_t *pcg, *cur;
         uint64_t ncsw;          uint64_t ncsw;
         pool_cache_t pc;          pool_cache_t pc;
Line 2517  pool_cache_put_slow(pool_cache_cpu_t *cc
Line 2337  pool_cache_put_slow(pool_cache_cpu_t *cc
         pc = cc->cc_cache;          pc = cc->cc_cache;
         pcg = NULL;          pcg = NULL;
         cc->cc_misses++;          cc->cc_misses++;
           ncsw = l->l_ncsw;
   
         /*          /*
          * If there are no empty groups in the cache then allocate one           * If there are no empty groups in the cache then allocate one
Line 2526  pool_cache_put_slow(pool_cache_cpu_t *cc
Line 2347  pool_cache_put_slow(pool_cache_cpu_t *cc
                 if (__predict_true(!pool_cache_disable)) {                  if (__predict_true(!pool_cache_disable)) {
                         pcg = pool_get(pc->pc_pcgpool, PR_NOWAIT);                          pcg = pool_get(pc->pc_pcgpool, PR_NOWAIT);
                 }                  }
                   /*
                    * If pool_get() blocked, then our view of
                    * the per-CPU data is invalid: retry.
                    */
                   if (__predict_false(l->l_ncsw != ncsw)) {
                           if (pcg != NULL) {
                                   pool_put(pc->pc_pcgpool, pcg);
                           }
                           return true;
                   }
                 if (__predict_true(pcg != NULL)) {                  if (__predict_true(pcg != NULL)) {
                         pcg->pcg_avail = 0;                          pcg->pcg_avail = 0;
                         pcg->pcg_size = pc->pc_pcgsize;                          pcg->pcg_size = pc->pc_pcgsize;
Line 2534  pool_cache_put_slow(pool_cache_cpu_t *cc
Line 2365  pool_cache_put_slow(pool_cache_cpu_t *cc
   
         /* Lock the cache. */          /* Lock the cache. */
         if (__predict_false(!mutex_tryenter(&pc->pc_lock))) {          if (__predict_false(!mutex_tryenter(&pc->pc_lock))) {
                 ncsw = curlwp->l_ncsw;  
                 mutex_enter(&pc->pc_lock);                  mutex_enter(&pc->pc_lock);
                 pc->pc_contended++;                  pc->pc_contended++;
   
Line 2542  pool_cache_put_slow(pool_cache_cpu_t *cc
Line 2372  pool_cache_put_slow(pool_cache_cpu_t *cc
                  * If we context switched while locking, then our view of                   * If we context switched while locking, then our view of
                  * the per-CPU data is invalid: retry.                   * the per-CPU data is invalid: retry.
                  */                   */
                 if (__predict_false(curlwp->l_ncsw != ncsw)) {                  if (__predict_false(l->l_ncsw != ncsw)) {
                         mutex_exit(&pc->pc_lock);                          mutex_exit(&pc->pc_lock);
                         if (pcg != NULL) {                          if (pcg != NULL) {
                                 pool_put(pc->pc_pcgpool, pcg);                                  pool_put(pc->pc_pcgpool, pcg);
Line 2609  pool_cache_put_paddr(pool_cache_t pc, vo
Line 2439  pool_cache_put_paddr(pool_cache_t pc, vo
         int s;          int s;
   
         KASSERT(object != NULL);          KASSERT(object != NULL);
           pool_redzone_check(&pc->pc_pool, object);
         FREECHECK_IN(&pc->pc_freecheck, object);          FREECHECK_IN(&pc->pc_freecheck, object);
   
         /* Lock out interrupts and disable preemption. */          /* Lock out interrupts and disable preemption. */
Line 2649  pool_cache_put_paddr(pool_cache_t pc, vo
Line 2480  pool_cache_put_paddr(pool_cache_t pc, vo
 }  }
   
 /*  /*
  * pool_cache_xcall:   * pool_cache_transfer:
  *   *
  *      Transfer objects from the per-CPU cache to the global cache.   *      Transfer objects from the per-CPU cache to the global cache.
  *      Run within a cross-call thread.   *      Run within a cross-call thread.
  */   */
 static void  static void
 pool_cache_xcall(pool_cache_t pc)  pool_cache_transfer(pool_cache_t pc)
 {  {
         pool_cache_cpu_t *cc;          pool_cache_cpu_t *cc;
         pcg_t *prev, *cur, **list;          pcg_t *prev, *cur, **list;
Line 2718  void pool_page_free(struct pool *, void 
Line 2549  void pool_page_free(struct pool *, void 
   
 #ifdef POOL_SUBPAGE  #ifdef POOL_SUBPAGE
 struct pool_allocator pool_allocator_kmem_fullpage = {  struct pool_allocator pool_allocator_kmem_fullpage = {
         pool_page_alloc, pool_page_free, 0          .pa_alloc = pool_page_alloc,
           .pa_free = pool_page_free,
           .pa_pagesz = 0
 };  };
 #else  #else
 struct pool_allocator pool_allocator_kmem = {  struct pool_allocator pool_allocator_kmem = {
Line 2728  struct pool_allocator pool_allocator_kme
Line 2561  struct pool_allocator pool_allocator_kme
 };  };
 #endif  #endif
   
 void    *pool_page_alloc_nointr(struct pool *, int);  
 void    pool_page_free_nointr(struct pool *, void *);  
   
 #ifdef POOL_SUBPAGE  #ifdef POOL_SUBPAGE
 struct pool_allocator pool_allocator_nointr_fullpage = {  struct pool_allocator pool_allocator_nointr_fullpage = {
         pool_page_alloc_nointr, pool_page_free_nointr, 0,          .pa_alloc = pool_page_alloc,
           .pa_free = pool_page_free,
           .pa_pagesz = 0
 };  };
 #else  #else
 struct pool_allocator pool_allocator_nointr = {  struct pool_allocator pool_allocator_nointr = {
Line 2748  void *pool_subpage_alloc(struct pool *, 
Line 2580  void *pool_subpage_alloc(struct pool *, 
 void    pool_subpage_free(struct pool *, void *);  void    pool_subpage_free(struct pool *, void *);
   
 struct pool_allocator pool_allocator_kmem = {  struct pool_allocator pool_allocator_kmem = {
         pool_subpage_alloc, pool_subpage_free, POOL_SUBPAGE,          .pa_alloc = pool_subpage_alloc,
           .pa_free = pool_subpage_free,
           .pa_pagesz = POOL_SUBPAGE
 };  };
   
 void    *pool_subpage_alloc_nointr(struct pool *, int);  
 void    pool_subpage_free_nointr(struct pool *, void *);  
   
 struct pool_allocator pool_allocator_nointr = {  struct pool_allocator pool_allocator_nointr = {
         pool_subpage_alloc, pool_subpage_free, POOL_SUBPAGE,          .pa_alloc = pool_subpage_alloc,
           .pa_free = pool_subpage_free,
           .pa_pagesz = POOL_SUBPAGE
 };  };
 #endif /* POOL_SUBPAGE */  #endif /* POOL_SUBPAGE */
   
   struct pool_allocator pool_allocator_big[] = {
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 0),
           },
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 1),
           },
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 2),
           },
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 3),
           },
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 4),
           },
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 5),
           },
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 6),
           },
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 7),
           }
   };
   
   static int
   pool_bigidx(size_t size)
   {
           int i;
   
           for (i = 0; i < __arraycount(pool_allocator_big); i++) {
                   if (1 << (i + POOL_ALLOCATOR_BIG_BASE) >= size)
                           return i;
           }
           panic("pool item size %zu too large, use a custom allocator", size);
   }
   
 static void *  static void *
 pool_allocator_alloc(struct pool *pp, int flags)  pool_allocator_alloc(struct pool *pp, int flags)
 {  {
Line 2791  pool_allocator_free(struct pool *pp, voi
Line 2679  pool_allocator_free(struct pool *pp, voi
 void *  void *
 pool_page_alloc(struct pool *pp, int flags)  pool_page_alloc(struct pool *pp, int flags)
 {  {
         bool waitok = (flags & PR_WAITOK) ? true : false;          const vm_flag_t vflags = (flags & PR_WAITOK) ? VM_SLEEP: VM_NOSLEEP;
         int rc;  
         vmem_addr_t va;          vmem_addr_t va;
           int ret;
   
         rc = uvm_km_kmem_alloc(kmem_va_arena,          ret = uvm_km_kmem_alloc(kmem_va_arena, pp->pr_alloc->pa_pagesz,
             pp->pr_alloc->pa_pagesz,              vflags | VM_INSTANTFIT, &va);
             ((waitok ? VM_SLEEP : VM_NOSLEEP) | VM_INSTANTFIT), &va);  
   
         if (rc != 0)          return ret ? NULL : (void *)va;
                 return NULL;  
         else  
                 return (void *)va;  
 }  }
   
 void  void
Line 2815  pool_page_free(struct pool *pp, void *v)
Line 2699  pool_page_free(struct pool *pp, void *v)
 static void *  static void *
 pool_page_alloc_meta(struct pool *pp, int flags)  pool_page_alloc_meta(struct pool *pp, int flags)
 {  {
         bool waitok = (flags & PR_WAITOK) ? true : false;          const vm_flag_t vflags = (flags & PR_WAITOK) ? VM_SLEEP: VM_NOSLEEP;
         int rc;          vmem_addr_t va;
         vmem_addr_t addr;          int ret;
   
         rc = vmem_alloc(kmem_meta_arena, pp->pr_alloc->pa_pagesz,          ret = vmem_alloc(kmem_meta_arena, pp->pr_alloc->pa_pagesz,
             (waitok ? VM_SLEEP : VM_NOSLEEP) | VM_INSTANTFIT, &addr);              vflags | VM_INSTANTFIT, &va);
   
         if (rc != 0)          return ret ? NULL : (void *)va;
                 return 0;  
         else  
                 return (void *)addr;  
 }  }
   
 static void  static void
 pool_page_free_meta(struct pool *pp, void *v)  pool_page_free_meta(struct pool *pp, void *v)
 {  {
   
         vmem_free(kmem_meta_arena, (vmem_addr_t)v,          vmem_free(kmem_meta_arena, (vmem_addr_t)v, pp->pr_alloc->pa_pagesz);
             pp->pr_alloc->pa_pagesz);  
 }  }
   
   #ifdef POOL_REDZONE
   #if defined(_LP64)
   # define PRIME 0x9e37fffffffc0000UL
   #else /* defined(_LP64) */
   # define PRIME 0x9e3779b1
   #endif /* defined(_LP64) */
   #define STATIC_BYTE     0xFE
   CTASSERT(POOL_REDZONE_SIZE > 1);
   
   static inline uint8_t
   pool_pattern_generate(const void *p)
   {
           return (uint8_t)(((uintptr_t)p) * PRIME
              >> ((sizeof(uintptr_t) - sizeof(uint8_t))) * CHAR_BIT);
   }
   
   static void
   pool_redzone_init(struct pool *pp, size_t requested_size)
   {
           size_t nsz;
   
           if (pp->pr_roflags & PR_NOTOUCH) {
                   pp->pr_reqsize = 0;
                   pp->pr_redzone = false;
                   return;
           }
   
           /*
            * We may have extended the requested size earlier; check if
            * there's naturally space in the padding for a red zone.
            */
           if (pp->pr_size - requested_size >= POOL_REDZONE_SIZE) {
                   pp->pr_reqsize = requested_size;
                   pp->pr_redzone = true;
                   return;
           }
   
           /*
            * No space in the natural padding; check if we can extend a
            * bit the size of the pool.
            */
           nsz = roundup(pp->pr_size + POOL_REDZONE_SIZE, pp->pr_align);
           if (nsz <= pp->pr_alloc->pa_pagesz) {
                   /* Ok, we can */
                   pp->pr_size = nsz;
                   pp->pr_reqsize = requested_size;
                   pp->pr_redzone = true;
           } else {
                   /* No space for a red zone... snif :'( */
                   pp->pr_reqsize = 0;
                   pp->pr_redzone = false;
                   printf("pool redzone disabled for '%s'\n", pp->pr_wchan);
           }
   }
   
   static void
   pool_redzone_fill(struct pool *pp, void *p)
   {
           uint8_t *cp, pat;
           const uint8_t *ep;
   
           if (!pp->pr_redzone)
                   return;
   
           cp = (uint8_t *)p + pp->pr_reqsize;
           ep = cp + POOL_REDZONE_SIZE;
   
           /*
            * We really don't want the first byte of the red zone to be '\0';
            * an off-by-one in a string may not be properly detected.
            */
           pat = pool_pattern_generate(cp);
           *cp = (pat == '\0') ? STATIC_BYTE: pat;
           cp++;
   
           while (cp < ep) {
                   *cp = pool_pattern_generate(cp);
                   cp++;
           }
   }
   
   static void
   pool_redzone_check(struct pool *pp, void *p)
   {
           uint8_t *cp, pat, expected;
           const uint8_t *ep;
   
           if (!pp->pr_redzone)
                   return;
   
           cp = (uint8_t *)p + pp->pr_reqsize;
           ep = cp + POOL_REDZONE_SIZE;
   
           pat = pool_pattern_generate(cp);
           expected = (pat == '\0') ? STATIC_BYTE: pat;
           if (expected != *cp) {
                   panic("%s: %p: 0x%02x != 0x%02x\n",
                      __func__, cp, *cp, expected);
           }
           cp++;
   
           while (cp < ep) {
                   expected = pool_pattern_generate(cp);
                   if (*cp != expected) {
                           panic("%s: %p: 0x%02x != 0x%02x\n",
                              __func__, cp, *cp, expected);
                   }
                   cp++;
           }
   }
   
   #endif /* POOL_REDZONE */
   
   
 #ifdef POOL_SUBPAGE  #ifdef POOL_SUBPAGE
 /* Sub-page allocator, for machines with large hardware pages. */  /* Sub-page allocator, for machines with large hardware pages. */
 void *  void *
Line 2850  pool_subpage_free(struct pool *pp, void 
Line 2844  pool_subpage_free(struct pool *pp, void 
         pool_put(&psppool, v);          pool_put(&psppool, v);
 }  }
   
 /* We don't provide a real nointr allocator.  Maybe later. */  
 void *  
 pool_subpage_alloc_nointr(struct pool *pp, int flags)  
 {  
   
         return (pool_subpage_alloc(pp, flags));  
 }  
   
 void  
 pool_subpage_free_nointr(struct pool *pp, void *v)  
 {  
   
         pool_subpage_free(pp, v);  
 }  
 #endif /* POOL_SUBPAGE */  #endif /* POOL_SUBPAGE */
   
 #if defined(DDB)  #if defined(DDB)
Line 3005  print:
Line 2985  print:
         }          }
 }  }
 #endif /* defined(DDB) */  #endif /* defined(DDB) */
   
   static int
   pool_sysctl(SYSCTLFN_ARGS)
   {
           struct pool_sysctl data;
           struct pool *pp;
           struct pool_cache *pc;
           pool_cache_cpu_t *cc;
           int error;
           size_t i, written;
   
           if (oldp == NULL) {
                   *oldlenp = 0;
                   TAILQ_FOREACH(pp, &pool_head, pr_poollist)
                           *oldlenp += sizeof(data);
                   return 0;
           }
   
           memset(&data, 0, sizeof(data));
           error = 0;
           written = 0;
           TAILQ_FOREACH(pp, &pool_head, pr_poollist) {
                   if (written + sizeof(data) > *oldlenp)
                           break;
                   strlcpy(data.pr_wchan, pp->pr_wchan, sizeof(data.pr_wchan));
                   data.pr_pagesize = pp->pr_alloc->pa_pagesz;
                   data.pr_flags = pp->pr_roflags | pp->pr_flags;
   #define COPY(field) data.field = pp->field
                   COPY(pr_size);
   
                   COPY(pr_itemsperpage);
                   COPY(pr_nitems);
                   COPY(pr_nout);
                   COPY(pr_hardlimit);
                   COPY(pr_npages);
                   COPY(pr_minpages);
                   COPY(pr_maxpages);
   
                   COPY(pr_nget);
                   COPY(pr_nfail);
                   COPY(pr_nput);
                   COPY(pr_npagealloc);
                   COPY(pr_npagefree);
                   COPY(pr_hiwat);
                   COPY(pr_nidle);
   #undef COPY
   
                   data.pr_cache_nmiss_pcpu = 0;
                   data.pr_cache_nhit_pcpu = 0;
                   if (pp->pr_cache) {
                           pc = pp->pr_cache;
                           data.pr_cache_meta_size = pc->pc_pcgsize;
                           data.pr_cache_nfull = pc->pc_nfull;
                           data.pr_cache_npartial = pc->pc_npart;
                           data.pr_cache_nempty = pc->pc_nempty;
                           data.pr_cache_ncontended = pc->pc_contended;
                           data.pr_cache_nmiss_global = pc->pc_misses;
                           data.pr_cache_nhit_global = pc->pc_hits;
                           for (i = 0; i < pc->pc_ncpu; ++i) {
                                   cc = pc->pc_cpus[i];
                                   if (cc == NULL)
                                           continue;
                                   data.pr_cache_nmiss_pcpu += cc->cc_misses;
                                   data.pr_cache_nhit_pcpu += cc->cc_hits;
                           }
                   } else {
                           data.pr_cache_meta_size = 0;
                           data.pr_cache_nfull = 0;
                           data.pr_cache_npartial = 0;
                           data.pr_cache_nempty = 0;
                           data.pr_cache_ncontended = 0;
                           data.pr_cache_nmiss_global = 0;
                           data.pr_cache_nhit_global = 0;
                   }
   
                   error = sysctl_copyout(l, &data, oldp, sizeof(data));
                   if (error)
                           break;
                   written += sizeof(data);
                   oldp = (char *)oldp + sizeof(data);
           }
   
           *oldlenp = written;
           return error;
   }
   
   SYSCTL_SETUP(sysctl_pool_setup, "sysctl kern.pool setup")
   {
           const struct sysctlnode *rnode = NULL;
   
           sysctl_createv(clog, 0, NULL, &rnode,
                          CTLFLAG_PERMANENT,
                          CTLTYPE_STRUCT, "pool",
                          SYSCTL_DESCR("Get pool statistics"),
                          pool_sysctl, 0, NULL, 0,
                          CTL_KERN, CTL_CREATE, CTL_EOL);
   }

Legend:
Removed from v.1.191  
changed lines
  Added in v.1.219

CVSweb <webmaster@jp.NetBSD.org>