[BACK]Return to subr_pool.c CVS log [TXT][DIR] Up to [cvs.NetBSD.org] / src / sys / kern

Please note that diffs are not public domain; they are subject to the copyright notices on the relevant files.

Diff for /src/sys/kern/subr_pool.c between version 1.201.2.1 and 1.208

version 1.201.2.1, 2014/08/10 06:55:58 version 1.208, 2017/06/08 04:00:01
Line 1 
Line 1 
 /*      $NetBSD$        */  /*      $NetBSD$        */
   
 /*-  /*-
  * Copyright (c) 1997, 1999, 2000, 2002, 2007, 2008, 2010, 2014   * Copyright (c) 1997, 1999, 2000, 2002, 2007, 2008, 2010, 2014, 2015
  *     The NetBSD Foundation, Inc.   *     The NetBSD Foundation, Inc.
  * All rights reserved.   * All rights reserved.
  *   *
  * This code is derived from software contributed to The NetBSD Foundation   * This code is derived from software contributed to The NetBSD Foundation
  * by Paul Kranenburg; by Jason R. Thorpe of the Numerical Aerospace   * by Paul Kranenburg; by Jason R. Thorpe of the Numerical Aerospace
  * Simulation Facility, NASA Ames Research Center, and by Andrew Doran.   * Simulation Facility, NASA Ames Research Center; by Andrew Doran, and by
    * Maxime Villard.
  *   *
  * Redistribution and use in source and binary forms, with or without   * Redistribution and use in source and binary forms, with or without
  * modification, are permitted provided that the following conditions   * modification, are permitted provided that the following conditions
Line 34 
Line 35 
 #include <sys/cdefs.h>  #include <sys/cdefs.h>
 __KERNEL_RCSID(0, "$NetBSD$");  __KERNEL_RCSID(0, "$NetBSD$");
   
   #ifdef _KERNEL_OPT
 #include "opt_ddb.h"  #include "opt_ddb.h"
 #include "opt_lockdebug.h"  #include "opt_lockdebug.h"
   #endif
   
 #include <sys/param.h>  #include <sys/param.h>
 #include <sys/systm.h>  #include <sys/systm.h>
Line 82  static struct pool phpool[PHPOOL_MAX];
Line 85  static struct pool phpool[PHPOOL_MAX];
 static struct pool psppool;  static struct pool psppool;
 #endif  #endif
   
   #ifdef POOL_REDZONE
   # define POOL_REDZONE_SIZE 2
   static void pool_redzone_init(struct pool *, size_t);
   static void pool_redzone_fill(struct pool *, void *);
   static void pool_redzone_check(struct pool *, void *);
   #else
   # define pool_redzone_init(pp, sz)      /* NOTHING */
   # define pool_redzone_fill(pp, ptr)     /* NOTHING */
   # define pool_redzone_check(pp, ptr)    /* NOTHING */
   #endif
   
 static void *pool_page_alloc_meta(struct pool *, int);  static void *pool_page_alloc_meta(struct pool *, int);
 static void pool_page_free_meta(struct pool *, void *);  static void pool_page_free_meta(struct pool *, void *);
   
Line 92  struct pool_allocator pool_allocator_met
Line 106  struct pool_allocator pool_allocator_met
         .pa_pagesz = 0          .pa_pagesz = 0
 };  };
   
   #define POOL_ALLOCATOR_BIG_BASE 13
   extern struct pool_allocator pool_allocator_big[];
   static int pool_bigidx(size_t);
   
 /* # of seconds to retain page after last use */  /* # of seconds to retain page after last use */
 int pool_inactive_time = 10;  int pool_inactive_time = 10;
   
Line 368  pr_rmpage(struct pool *pp, struct pool_i
Line 386  pr_rmpage(struct pool *pp, struct pool_i
          * If the page was idle, decrement the idle page count.           * If the page was idle, decrement the idle page count.
          */           */
         if (ph->ph_nmissing == 0) {          if (ph->ph_nmissing == 0) {
 #ifdef DIAGNOSTIC                  KASSERT(pp->pr_nidle != 0);
                 if (pp->pr_nidle == 0)                  KASSERTMSG((pp->pr_nitems >= pp->pr_itemsperpage),
                         panic("pr_rmpage: nidle inconsistent");                      "nitems=%u < itemsperpage=%u",
                 if (pp->pr_nitems < pp->pr_itemsperpage)                      pp->pr_nitems, pp->pr_itemsperpage);
                         panic("pr_rmpage: nitems inconsistent");  
 #endif  
                 pp->pr_nidle--;                  pp->pr_nidle--;
         }          }
   
Line 459  pool_init(struct pool *pp, size_t size, 
Line 475  pool_init(struct pool *pp, size_t size, 
     const char *wchan, struct pool_allocator *palloc, int ipl)      const char *wchan, struct pool_allocator *palloc, int ipl)
 {  {
         struct pool *pp1;          struct pool *pp1;
         size_t trysize, phsize;          size_t trysize, phsize, prsize;
         int off, slack;          int off, slack;
   
 #ifdef DEBUG  #ifdef DEBUG
Line 506  pool_init(struct pool *pp, size_t size, 
Line 522  pool_init(struct pool *pp, size_t size, 
         if (align == 0)          if (align == 0)
                 align = ALIGN(1);                  align = ALIGN(1);
   
         if ((flags & PR_NOTOUCH) == 0 && size < sizeof(struct pool_item))          prsize = size;
                 size = sizeof(struct pool_item);          if ((flags & PR_NOTOUCH) == 0 && prsize < sizeof(struct pool_item))
                   prsize = sizeof(struct pool_item);
         size = roundup(size, align);  
 #ifdef DIAGNOSTIC          prsize = roundup(prsize, align);
         if (size > palloc->pa_pagesz)          KASSERTMSG((prsize <= palloc->pa_pagesz),
                 panic("pool_init: pool item size (%zu) too large", size);              "pool_init: pool item size (%zu) larger than page size (%u)",
 #endif              prsize, palloc->pa_pagesz);
   
         /*          /*
          * Initialize the pool structure.           * Initialize the pool structure.
Line 529  pool_init(struct pool *pp, size_t size, 
Line 545  pool_init(struct pool *pp, size_t size, 
         pp->pr_maxpages = UINT_MAX;          pp->pr_maxpages = UINT_MAX;
         pp->pr_roflags = flags;          pp->pr_roflags = flags;
         pp->pr_flags = 0;          pp->pr_flags = 0;
         pp->pr_size = size;          pp->pr_size = prsize;
         pp->pr_align = align;          pp->pr_align = align;
         pp->pr_wchan = wchan;          pp->pr_wchan = wchan;
         pp->pr_alloc = palloc;          pp->pr_alloc = palloc;
Line 544  pool_init(struct pool *pp, size_t size, 
Line 560  pool_init(struct pool *pp, size_t size, 
         pp->pr_drain_hook = NULL;          pp->pr_drain_hook = NULL;
         pp->pr_drain_hook_arg = NULL;          pp->pr_drain_hook_arg = NULL;
         pp->pr_freecheck = NULL;          pp->pr_freecheck = NULL;
           pool_redzone_init(pp, size);
   
         /*          /*
          * Decide whether to put the page header off page to avoid           * Decide whether to put the page header off page to avoid
Line 682  pool_destroy(struct pool *pp)
Line 699  pool_destroy(struct pool *pp)
         mutex_enter(&pp->pr_lock);          mutex_enter(&pp->pr_lock);
   
         KASSERT(pp->pr_cache == NULL);          KASSERT(pp->pr_cache == NULL);
           KASSERTMSG((pp->pr_nout == 0),
 #ifdef DIAGNOSTIC              "pool_destroy: pool busy: still out: %u", pp->pr_nout);
         if (pp->pr_nout != 0) {  
                 panic("pool_destroy: pool busy: still out: %u",  
                     pp->pr_nout);  
         }  
 #endif  
   
         KASSERT(LIST_EMPTY(&pp->pr_fullpages));          KASSERT(LIST_EMPTY(&pp->pr_fullpages));
         KASSERT(LIST_EMPTY(&pp->pr_partpages));          KASSERT(LIST_EMPTY(&pp->pr_partpages));
   
Line 710  pool_set_drain_hook(struct pool *pp, voi
Line 721  pool_set_drain_hook(struct pool *pp, voi
 {  {
   
         /* XXX no locking -- must be used just after pool_init() */          /* XXX no locking -- must be used just after pool_init() */
 #ifdef DIAGNOSTIC          KASSERTMSG((pp->pr_drain_hook == NULL),
         if (pp->pr_drain_hook != NULL)              "pool_set_drain_hook(%s): already set", pp->pr_wchan);
                 panic("pool_set_drain_hook(%s): already set", pp->pr_wchan);  
 #endif  
         pp->pr_drain_hook = fn;          pp->pr_drain_hook = fn;
         pp->pr_drain_hook_arg = arg;          pp->pr_drain_hook_arg = arg;
 }  }
Line 741  pool_get(struct pool *pp, int flags)
Line 750  pool_get(struct pool *pp, int flags)
         struct pool_item_header *ph;          struct pool_item_header *ph;
         void *v;          void *v;
   
 #ifdef DIAGNOSTIC          KASSERTMSG((pp->pr_itemsperpage != 0),
         if (pp->pr_itemsperpage == 0)              "pool_get: pool '%s': pr_itemsperpage is zero, "
                 panic("pool_get: pool '%s': pr_itemsperpage is zero, "              "pool not initialized?", pp->pr_wchan);
                     "pool not initialized?", pp->pr_wchan);          KASSERTMSG((!(cpu_intr_p() || cpu_softintr_p())
         if ((cpu_intr_p() || cpu_softintr_p()) && pp->pr_ipl == IPL_NONE &&                  || pp->pr_ipl != IPL_NONE || cold || panicstr != NULL),
             !cold && panicstr == NULL)              "pool '%s' is IPL_NONE, but called from interrupt context",
                 panic("pool '%s' is IPL_NONE, but called from "              pp->pr_wchan);
                     "interrupt context\n", pp->pr_wchan);  
 #endif  
         if (flags & PR_WAITOK) {          if (flags & PR_WAITOK) {
                 ASSERT_SLEEPABLE();                  ASSERT_SLEEPABLE();
         }          }
Line 761  pool_get(struct pool *pp, int flags)
Line 768  pool_get(struct pool *pp, int flags)
          * and we can wait, then wait until an item has been returned to           * and we can wait, then wait until an item has been returned to
          * the pool.           * the pool.
          */           */
 #ifdef DIAGNOSTIC          KASSERTMSG((pp->pr_nout <= pp->pr_hardlimit),
         if (__predict_false(pp->pr_nout > pp->pr_hardlimit)) {              "pool_get: %s: crossed hard limit", pp->pr_wchan);
                 mutex_exit(&pp->pr_lock);  
                 panic("pool_get: %s: crossed hard limit", pp->pr_wchan);  
         }  
 #endif  
         if (__predict_false(pp->pr_nout == pp->pr_hardlimit)) {          if (__predict_false(pp->pr_nout == pp->pr_hardlimit)) {
                 if (pp->pr_drain_hook != NULL) {                  if (pp->pr_drain_hook != NULL) {
                         /*                          /*
Line 814  pool_get(struct pool *pp, int flags)
Line 817  pool_get(struct pool *pp, int flags)
         if ((ph = pp->pr_curpage) == NULL) {          if ((ph = pp->pr_curpage) == NULL) {
                 int error;                  int error;
   
 #ifdef DIAGNOSTIC                  KASSERTMSG((pp->pr_nitems == 0),
                 if (pp->pr_nitems != 0) {                      "pool_get: nitems inconsistent"
                         mutex_exit(&pp->pr_lock);                      ": %s: curpage NULL, nitems %u",
                         printf("pool_get: %s: curpage NULL, nitems %u\n",                      pp->pr_wchan, pp->pr_nitems);
                             pp->pr_wchan, pp->pr_nitems);  
                         panic("pool_get: nitems inconsistent");  
                 }  
 #endif  
   
                 /*                  /*
                  * Call the back-end page allocator for more memory.                   * Call the back-end page allocator for more memory.
Line 848  pool_get(struct pool *pp, int flags)
Line 847  pool_get(struct pool *pp, int flags)
                 goto startover;                  goto startover;
         }          }
         if (pp->pr_roflags & PR_NOTOUCH) {          if (pp->pr_roflags & PR_NOTOUCH) {
 #ifdef DIAGNOSTIC                  KASSERTMSG((ph->ph_nmissing < pp->pr_itemsperpage),
                 if (__predict_false(ph->ph_nmissing == pp->pr_itemsperpage)) {                      "pool_get: %s: page empty", pp->pr_wchan);
                         mutex_exit(&pp->pr_lock);  
                         panic("pool_get: %s: page empty", pp->pr_wchan);  
                 }  
 #endif  
                 v = pr_item_notouch_get(pp, ph);                  v = pr_item_notouch_get(pp, ph);
         } else {          } else {
                 v = pi = LIST_FIRST(&ph->ph_itemlist);                  v = pi = LIST_FIRST(&ph->ph_itemlist);
Line 861  pool_get(struct pool *pp, int flags)
Line 856  pool_get(struct pool *pp, int flags)
                         mutex_exit(&pp->pr_lock);                          mutex_exit(&pp->pr_lock);
                         panic("pool_get: %s: page empty", pp->pr_wchan);                          panic("pool_get: %s: page empty", pp->pr_wchan);
                 }                  }
 #ifdef DIAGNOSTIC                  KASSERTMSG((pp->pr_nitems > 0),
                 if (__predict_false(pp->pr_nitems == 0)) {                      "pool_get: nitems inconsistent"
                         mutex_exit(&pp->pr_lock);                      ": %s: items on itemlist, nitems %u",
                         printf("pool_get: %s: items on itemlist, nitems %u\n",                      pp->pr_wchan, pp->pr_nitems);
                             pp->pr_wchan, pp->pr_nitems);                  KASSERTMSG((pi->pi_magic == PI_MAGIC),
                         panic("pool_get: nitems inconsistent");                      "pool_get(%s): free list modified: "
                 }                      "magic=%x; page %p; item addr %p",
 #endif                      pp->pr_wchan, pi->pi_magic, ph->ph_page, pi);
   
 #ifdef DIAGNOSTIC  
                 if (__predict_false(pi->pi_magic != PI_MAGIC)) {  
                         panic("pool_get(%s): free list modified: "  
                             "magic=%x; page %p; item addr %p\n",  
                             pp->pr_wchan, pi->pi_magic, ph->ph_page, pi);  
                 }  
 #endif  
   
                 /*                  /*
                  * Remove from item list.                   * Remove from item list.
Line 886  pool_get(struct pool *pp, int flags)
Line 873  pool_get(struct pool *pp, int flags)
         pp->pr_nitems--;          pp->pr_nitems--;
         pp->pr_nout++;          pp->pr_nout++;
         if (ph->ph_nmissing == 0) {          if (ph->ph_nmissing == 0) {
 #ifdef DIAGNOSTIC                  KASSERT(pp->pr_nidle > 0);
                 if (__predict_false(pp->pr_nidle == 0))  
                         panic("pool_get: nidle inconsistent");  
 #endif  
                 pp->pr_nidle--;                  pp->pr_nidle--;
   
                 /*                  /*
Line 901  pool_get(struct pool *pp, int flags)
Line 885  pool_get(struct pool *pp, int flags)
         }          }
         ph->ph_nmissing++;          ph->ph_nmissing++;
         if (ph->ph_nmissing == pp->pr_itemsperpage) {          if (ph->ph_nmissing == pp->pr_itemsperpage) {
 #ifdef DIAGNOSTIC                  KASSERTMSG(((pp->pr_roflags & PR_NOTOUCH) ||
                 if (__predict_false((pp->pr_roflags & PR_NOTOUCH) == 0 &&                          LIST_EMPTY(&ph->ph_itemlist)),
                     !LIST_EMPTY(&ph->ph_itemlist))) {                      "pool_get: %s: nmissing inconsistent", pp->pr_wchan);
                         mutex_exit(&pp->pr_lock);  
                         panic("pool_get: %s: nmissing inconsistent",  
                             pp->pr_wchan);  
                 }  
 #endif  
                 /*                  /*
                  * This page is now full.  Move it to the full list                   * This page is now full.  Move it to the full list
                  * and select a new current page.                   * and select a new current page.
Line 935  pool_get(struct pool *pp, int flags)
Line 914  pool_get(struct pool *pp, int flags)
         mutex_exit(&pp->pr_lock);          mutex_exit(&pp->pr_lock);
         KASSERT((((vaddr_t)v + pp->pr_itemoffset) & (pp->pr_align - 1)) == 0);          KASSERT((((vaddr_t)v + pp->pr_itemoffset) & (pp->pr_align - 1)) == 0);
         FREECHECK_OUT(&pp->pr_freecheck, v);          FREECHECK_OUT(&pp->pr_freecheck, v);
           pool_redzone_fill(pp, v);
         return (v);          return (v);
 }  }
   
Line 948  pool_do_put(struct pool *pp, void *v, st
Line 928  pool_do_put(struct pool *pp, void *v, st
         struct pool_item_header *ph;          struct pool_item_header *ph;
   
         KASSERT(mutex_owned(&pp->pr_lock));          KASSERT(mutex_owned(&pp->pr_lock));
           pool_redzone_check(pp, v);
         FREECHECK_IN(&pp->pr_freecheck, v);          FREECHECK_IN(&pp->pr_freecheck, v);
         LOCKDEBUG_MEM_CHECK(v, pp->pr_size);          LOCKDEBUG_MEM_CHECK(v, pp->pr_size);
   
 #ifdef DIAGNOSTIC          KASSERTMSG((pp->pr_nout > 0),
         if (__predict_false(pp->pr_nout == 0)) {              "pool_put: pool %s: putting with none out", pp->pr_wchan);
                 printf("pool %s: putting with none out\n",  
                     pp->pr_wchan);  
                 panic("pool_put");  
         }  
 #endif  
   
         if (__predict_false((ph = pr_find_pagehead(pp, v)) == NULL)) {          if (__predict_false((ph = pr_find_pagehead(pp, v)) == NULL)) {
                 panic("pool_put: %s: page header missing", pp->pr_wchan);                  panic("pool_put: %s: page header missing", pp->pr_wchan);
Line 1138  pool_prime_page(struct pool *pp, void *s
Line 1114  pool_prime_page(struct pool *pp, void *s
         int n;          int n;
   
         KASSERT(mutex_owned(&pp->pr_lock));          KASSERT(mutex_owned(&pp->pr_lock));
           KASSERTMSG(((pp->pr_roflags & PR_NOALIGN) ||
 #ifdef DIAGNOSTIC                  (((uintptr_t)cp & (pp->pr_alloc->pa_pagesz - 1)) == 0)),
         if ((pp->pr_roflags & PR_NOALIGN) == 0 &&              "pool_prime_page: %s: unaligned page: %p", pp->pr_wchan, cp);
             ((uintptr_t)cp & (pp->pr_alloc->pa_pagesz - 1)) != 0)  
                 panic("pool_prime_page: %s: unaligned page", pp->pr_wchan);  
 #endif  
   
         /*          /*
          * Insert page header.           * Insert page header.
Line 1469  pool_print_pagelist(struct pool *pp, str
Line 1442  pool_print_pagelist(struct pool *pp, str
     void (*pr)(const char *, ...))      void (*pr)(const char *, ...))
 {  {
         struct pool_item_header *ph;          struct pool_item_header *ph;
 #ifdef DIAGNOSTIC          struct pool_item *pi __diagused;
         struct pool_item *pi;  
 #endif  
   
         LIST_FOREACH(ph, pl, ph_pagelist) {          LIST_FOREACH(ph, pl, ph_pagelist) {
                 (*pr)("\t\tpage %p, nmissing %d, time %" PRIu32 "\n",                  (*pr)("\t\tpage %p, nmissing %d, time %" PRIu32 "\n",
Line 1733  pool_cache_bootstrap(pool_cache_t pc, si
Line 1704  pool_cache_bootstrap(pool_cache_t pc, si
         struct pool *pp;          struct pool *pp;
   
         pp = &pc->pc_pool;          pp = &pc->pc_pool;
         if (palloc == NULL && ipl == IPL_NONE)          if (palloc == NULL && ipl == IPL_NONE) {
                 palloc = &pool_allocator_nointr;                  if (size > PAGE_SIZE) {
                           int bigidx = pool_bigidx(size);
   
                           palloc = &pool_allocator_big[bigidx];
                   } else
                           palloc = &pool_allocator_nointr;
           }
         pool_init(pp, size, align, align_offset, flags, wchan, palloc, ipl);          pool_init(pp, size, align, align_offset, flags, wchan, palloc, ipl);
         mutex_init(&pc->pc_lock, MUTEX_DEFAULT, ipl);          mutex_init(&pc->pc_lock, MUTEX_DEFAULT, ipl);
   
Line 2188  pool_cache_get_slow(pool_cache_cpu_t *cc
Line 2165  pool_cache_get_slow(pool_cache_cpu_t *cc
         }          }
   
         FREECHECK_OUT(&pc->pc_freecheck, object);          FREECHECK_OUT(&pc->pc_freecheck, object);
           pool_redzone_fill(&pc->pc_pool, object);
         return false;          return false;
 }  }
   
Line 2233  pool_cache_get_paddr(pool_cache_t pc, in
Line 2211  pool_cache_get_paddr(pool_cache_t pc, in
                         cc->cc_hits++;                          cc->cc_hits++;
                         splx(s);                          splx(s);
                         FREECHECK_OUT(&pc->pc_freecheck, object);                          FREECHECK_OUT(&pc->pc_freecheck, object);
                           pool_redzone_fill(&pc->pc_pool, object);
                         return object;                          return object;
                 }                  }
   
Line 2376  pool_cache_put_paddr(pool_cache_t pc, vo
Line 2355  pool_cache_put_paddr(pool_cache_t pc, vo
         int s;          int s;
   
         KASSERT(object != NULL);          KASSERT(object != NULL);
           pool_redzone_check(&pc->pc_pool, object);
         FREECHECK_IN(&pc->pc_freecheck, object);          FREECHECK_IN(&pc->pc_freecheck, object);
   
         /* Lock out interrupts and disable preemption. */          /* Lock out interrupts and disable preemption. */
Line 2528  struct pool_allocator pool_allocator_noi
Line 2508  struct pool_allocator pool_allocator_noi
 };  };
 #endif /* POOL_SUBPAGE */  #endif /* POOL_SUBPAGE */
   
   struct pool_allocator pool_allocator_big[] = {
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 0),
           },
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 1),
           },
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 2),
           },
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 3),
           },
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 4),
           },
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 5),
           },
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 6),
           },
           {
                   .pa_alloc = pool_page_alloc,
                   .pa_free = pool_page_free,
                   .pa_pagesz = 1 << (POOL_ALLOCATOR_BIG_BASE + 7),
           }
   };
   
   static int
   pool_bigidx(size_t size)
   {
           int i;
   
           for (i = 0; i < __arraycount(pool_allocator_big); i++) {
                   if (1 << (i + POOL_ALLOCATOR_BIG_BASE) >= size)
                           return i;
           }
           panic("pool item size %zu too large, use a custom allocator", size);
   }
   
 static void *  static void *
 pool_allocator_alloc(struct pool *pp, int flags)  pool_allocator_alloc(struct pool *pp, int flags)
 {  {
Line 2597  pool_page_free_meta(struct pool *pp, voi
Line 2632  pool_page_free_meta(struct pool *pp, voi
         vmem_free(kmem_meta_arena, (vmem_addr_t)v, pp->pr_alloc->pa_pagesz);          vmem_free(kmem_meta_arena, (vmem_addr_t)v, pp->pr_alloc->pa_pagesz);
 }  }
   
   #ifdef POOL_REDZONE
   #if defined(_LP64)
   # define PRIME 0x9e37fffffffc0000UL
   #else /* defined(_LP64) */
   # define PRIME 0x9e3779b1
   #endif /* defined(_LP64) */
   #define STATIC_BYTE     0xFE
   CTASSERT(POOL_REDZONE_SIZE > 1);
   
   static inline uint8_t
   pool_pattern_generate(const void *p)
   {
           return (uint8_t)(((uintptr_t)p) * PRIME
              >> ((sizeof(uintptr_t) - sizeof(uint8_t))) * CHAR_BIT);
   }
   
   static void
   pool_redzone_init(struct pool *pp, size_t requested_size)
   {
           size_t nsz;
   
           if (pp->pr_roflags & PR_NOTOUCH) {
                   pp->pr_reqsize = 0;
                   pp->pr_redzone = false;
                   return;
           }
   
           /*
            * We may have extended the requested size earlier; check if
            * there's naturally space in the padding for a red zone.
            */
           if (pp->pr_size - requested_size >= POOL_REDZONE_SIZE) {
                   pp->pr_reqsize = requested_size;
                   pp->pr_redzone = true;
                   return;
           }
   
           /*
            * No space in the natural padding; check if we can extend a
            * bit the size of the pool.
            */
           nsz = roundup(pp->pr_size + POOL_REDZONE_SIZE, pp->pr_align);
           if (nsz <= pp->pr_alloc->pa_pagesz) {
                   /* Ok, we can */
                   pp->pr_size = nsz;
                   pp->pr_reqsize = requested_size;
                   pp->pr_redzone = true;
           } else {
                   /* No space for a red zone... snif :'( */
                   pp->pr_reqsize = 0;
                   pp->pr_redzone = false;
                   printf("pool redzone disabled for '%s'\n", pp->pr_wchan);
           }
   }
   
   static void
   pool_redzone_fill(struct pool *pp, void *p)
   {
           uint8_t *cp, pat;
           const uint8_t *ep;
   
           if (!pp->pr_redzone)
                   return;
   
           cp = (uint8_t *)p + pp->pr_reqsize;
           ep = cp + POOL_REDZONE_SIZE;
   
           /*
            * We really don't want the first byte of the red zone to be '\0';
            * an off-by-one in a string may not be properly detected.
            */
           pat = pool_pattern_generate(cp);
           *cp = (pat == '\0') ? STATIC_BYTE: pat;
           cp++;
   
           while (cp < ep) {
                   *cp = pool_pattern_generate(cp);
                   cp++;
           }
   }
   
   static void
   pool_redzone_check(struct pool *pp, void *p)
   {
           uint8_t *cp, pat, expected;
           const uint8_t *ep;
   
           if (!pp->pr_redzone)
                   return;
   
           cp = (uint8_t *)p + pp->pr_reqsize;
           ep = cp + POOL_REDZONE_SIZE;
   
           pat = pool_pattern_generate(cp);
           expected = (pat == '\0') ? STATIC_BYTE: pat;
           if (expected != *cp) {
                   panic("%s: %p: 0x%02x != 0x%02x\n",
                      __func__, cp, *cp, expected);
           }
           cp++;
   
           while (cp < ep) {
                   expected = pool_pattern_generate(cp);
                   if (*cp != expected) {
                           panic("%s: %p: 0x%02x != 0x%02x\n",
                              __func__, cp, *cp, expected);
                   }
                   cp++;
           }
   }
   
   #endif /* POOL_REDZONE */
   
   
 #ifdef POOL_SUBPAGE  #ifdef POOL_SUBPAGE
 /* Sub-page allocator, for machines with large hardware pages. */  /* Sub-page allocator, for machines with large hardware pages. */
 void *  void *
Line 2814  pool_sysctl(SYSCTLFN_ARGS)
Line 2963  pool_sysctl(SYSCTLFN_ARGS)
                                 cc = pc->pc_cpus[i];                                  cc = pc->pc_cpus[i];
                                 if (cc == NULL)                                  if (cc == NULL)
                                         continue;                                          continue;
                                 data.pr_cache_nmiss_pcpu = cc->cc_misses;                                  data.pr_cache_nmiss_pcpu += cc->cc_misses;
                                 data.pr_cache_nhit_pcpu = cc->cc_hits;                                  data.pr_cache_nhit_pcpu += cc->cc_hits;
                         }                          }
                 } else {                  } else {
                         data.pr_cache_meta_size = 0;                          data.pr_cache_meta_size = 0;
Legend:
Removed from v.1.201.2.1  
changed lines
  Added in v.1.208
CVSweb <webmaster@jp.NetBSD.org>