[BACK]Return to subr_pool.c CVS log [TXT][DIR] Up to [cvs.NetBSD.org] / src / sys / kern

Please note that diffs are not public domain; they are subject to the copyright notices on the relevant files.

Diff for /src/sys/kern/subr_pool.c between version 1.53 and 1.56

version 1.53, 2001/05/10 01:37:40 version 1.56, 2001/05/13 17:06:59
Line 148  struct pool_cache_group {
Line 148  struct pool_cache_group {
 static void     pool_cache_reclaim(struct pool_cache *);  static void     pool_cache_reclaim(struct pool_cache *);
   
 static int      pool_catchup(struct pool *);  static int      pool_catchup(struct pool *);
 static int      pool_prime_page(struct pool *, caddr_t, int);  static void     pool_prime_page(struct pool *, caddr_t,
                       struct pool_item_header *);
 static void     *pool_page_alloc(unsigned long, int, int);  static void     *pool_page_alloc(unsigned long, int, int);
 static void     pool_page_free(void *, unsigned long, int);  static void     pool_page_free(void *, unsigned long, int);
   
Line 548  pool_destroy(struct pool *pp)
Line 549  pool_destroy(struct pool *pp)
                 free(pp, M_POOL);                  free(pp, M_POOL);
 }  }
   
   static __inline struct pool_item_header *
   pool_alloc_item_header(struct pool *pp, caddr_t storage, int flags)
   {
           struct pool_item_header *ph;
           int s;
   
           LOCK_ASSERT(simple_lock_held(&pp->pr_slock) == 0);
   
           if ((pp->pr_roflags & PR_PHINPAGE) != 0)
                   ph = (struct pool_item_header *) (storage + pp->pr_phoffset);
           else {
                   s = splhigh();
                   ph = pool_get(&phpool, flags);
                   splx(s);
           }
   
           return (ph);
   }
   
 /*  /*
  * Grab an item from the pool; must be called at appropriate spl level   * Grab an item from the pool; must be called at appropriate spl level
  */   */
 void *  void *
   #ifdef DIAGNOSTIC
 _pool_get(struct pool *pp, int flags, const char *file, long line)  _pool_get(struct pool *pp, int flags, const char *file, long line)
   #else
   pool_get(struct pool *pp, int flags)
   #endif
 {  {
         void *v;  
         struct pool_item *pi;          struct pool_item *pi;
         struct pool_item_header *ph;          struct pool_item_header *ph;
           void *v;
   
 #ifdef DIAGNOSTIC  #ifdef DIAGNOSTIC
         if (__predict_false((pp->pr_roflags & PR_STATIC) &&          if (__predict_false((pp->pr_roflags & PR_STATIC) &&
Line 565  _pool_get(struct pool *pp, int flags, co
Line 588  _pool_get(struct pool *pp, int flags, co
                 pr_printlog(pp, NULL, printf);                  pr_printlog(pp, NULL, printf);
                 panic("pool_get: static");                  panic("pool_get: static");
         }          }
 #endif  
   
         if (__predict_false(curproc == NULL && doing_shutdown == 0 &&          if (__predict_false(curproc == NULL && doing_shutdown == 0 &&
                             (flags & PR_WAITOK) != 0))                              (flags & PR_WAITOK) != 0))
                 panic("pool_get: must have NOWAIT");                  panic("pool_get: must have NOWAIT");
   #endif
   
         simple_lock(&pp->pr_slock);          simple_lock(&pp->pr_slock);
         pr_enter(pp, file, line);          pr_enter(pp, file, line);
Line 625  _pool_get(struct pool *pp, int flags, co
Line 648  _pool_get(struct pool *pp, int flags, co
          * has no items in its bucket.           * has no items in its bucket.
          */           */
         if ((ph = pp->pr_curpage) == NULL) {          if ((ph = pp->pr_curpage) == NULL) {
                 void *v;  
   
 #ifdef DIAGNOSTIC  #ifdef DIAGNOSTIC
                 if (pp->pr_nitems != 0) {                  if (pp->pr_nitems != 0) {
                         simple_unlock(&pp->pr_slock);                          simple_unlock(&pp->pr_slock);
Line 644  _pool_get(struct pool *pp, int flags, co
Line 665  _pool_get(struct pool *pp, int flags, co
                 pr_leave(pp);                  pr_leave(pp);
                 simple_unlock(&pp->pr_slock);                  simple_unlock(&pp->pr_slock);
                 v = (*pp->pr_alloc)(pp->pr_pagesz, flags, pp->pr_mtype);                  v = (*pp->pr_alloc)(pp->pr_pagesz, flags, pp->pr_mtype);
                   if (__predict_true(v != NULL))
                           ph = pool_alloc_item_header(pp, v, flags);
                 simple_lock(&pp->pr_slock);                  simple_lock(&pp->pr_slock);
                 pr_enter(pp, file, line);                  pr_enter(pp, file, line);
   
                 if (v == NULL) {                  if (__predict_false(v == NULL || ph == NULL)) {
                           if (v != NULL)
                                   (*pp->pr_free)(v, pp->pr_pagesz, pp->pr_mtype);
   
                         /*                          /*
                          * We were unable to allocate a page, but                           * We were unable to allocate a page or item
                          * we released the lock during allocation,                           * header, but we released the lock during
                          * so perhaps items were freed back to the                           * allocation, so perhaps items were freed
                          * pool.  Check for this case.                           * back to the pool.  Check for this case.
                          */                           */
                         if (pp->pr_curpage != NULL)                          if (pp->pr_curpage != NULL)
                                 goto startover;                                  goto startover;
Line 686  _pool_get(struct pool *pp, int flags, co
Line 712  _pool_get(struct pool *pp, int flags, co
                 }                  }
   
                 /* We have more memory; add it to the pool */                  /* We have more memory; add it to the pool */
                 if (pool_prime_page(pp, v, flags & PR_WAITOK) != 0) {                  pool_prime_page(pp, v, ph);
                         /*  
                          * Probably, we don't allowed to wait and  
                          * couldn't allocate a page header.  
                          */  
                         (*pp->pr_free)(v, pp->pr_pagesz, pp->pr_mtype);  
                         pp->pr_nfail++;  
                         pr_leave(pp);  
                         simple_unlock(&pp->pr_slock);  
                         return (NULL);  
                 }  
                 pp->pr_npagealloc++;                  pp->pr_npagealloc++;
   
                 /* Start the allocation process over. */                  /* Start the allocation process over. */
Line 716  _pool_get(struct pool *pp, int flags, co
Line 732  _pool_get(struct pool *pp, int flags, co
                     pp->pr_wchan, pp->pr_nitems);                      pp->pr_wchan, pp->pr_nitems);
                 panic("pool_get: nitems inconsistent\n");                  panic("pool_get: nitems inconsistent\n");
         }          }
 #endif  
         pr_log(pp, v, PRLOG_GET, file, line);          pr_log(pp, v, PRLOG_GET, file, line);
   
 #ifdef DIAGNOSTIC  
         if (__predict_false(pi->pi_magic != PI_MAGIC)) {          if (__predict_false(pi->pi_magic != PI_MAGIC)) {
                 pr_printlog(pp, pi, printf);                  pr_printlog(pp, pi, printf);
                 panic("pool_get(%s): free list modified: magic=%x; page %p;"                  panic("pool_get(%s): free list modified: magic=%x; page %p;"
Line 795  _pool_get(struct pool *pp, int flags, co
Line 810  _pool_get(struct pool *pp, int flags, co
  * Internal version of pool_put().  Pool is already locked/entered.   * Internal version of pool_put().  Pool is already locked/entered.
  */   */
 static void  static void
 pool_do_put(struct pool *pp, void *v, const char *file, long line)  pool_do_put(struct pool *pp, void *v)
 {  {
         struct pool_item *pi = v;          struct pool_item *pi = v;
         struct pool_item_header *ph;          struct pool_item_header *ph;
Line 812  pool_do_put(struct pool *pp, void *v, co
Line 827  pool_do_put(struct pool *pp, void *v, co
         }          }
 #endif  #endif
   
         pr_log(pp, v, PRLOG_PUT, file, line);  
   
         if (__predict_false((ph = pr_find_pagehead(pp, page)) == NULL)) {          if (__predict_false((ph = pr_find_pagehead(pp, page)) == NULL)) {
                 pr_printlog(pp, NULL, printf);                  pr_printlog(pp, NULL, printf);
                 panic("pool_put: %s: page header missing", pp->pr_wchan);                  panic("pool_put: %s: page header missing", pp->pr_wchan);
Line 924  pool_do_put(struct pool *pp, void *v, co
Line 937  pool_do_put(struct pool *pp, void *v, co
 /*  /*
  * Return resource to the pool; must be called at appropriate spl level   * Return resource to the pool; must be called at appropriate spl level
  */   */
   #ifdef DIAGNOSTIC
 void  void
 _pool_put(struct pool *pp, void *v, const char *file, long line)  _pool_put(struct pool *pp, void *v, const char *file, long line)
 {  {
Line 931  _pool_put(struct pool *pp, void *v, cons
Line 945  _pool_put(struct pool *pp, void *v, cons
         simple_lock(&pp->pr_slock);          simple_lock(&pp->pr_slock);
         pr_enter(pp, file, line);          pr_enter(pp, file, line);
   
         pool_do_put(pp, v, file, line);          pr_log(pp, v, PRLOG_PUT, file, line);
   
           pool_do_put(pp, v);
   
         pr_leave(pp);          pr_leave(pp);
         simple_unlock(&pp->pr_slock);          simple_unlock(&pp->pr_slock);
 }  }
   
   #else
   void
   pool_put(struct pool *pp, void *v)
   {
   
           simple_lock(&pp->pr_slock);
   
           pool_do_put(pp, v);
   
           simple_unlock(&pp->pr_slock);
   }
   #endif
   
   /*
    * Add N items to the pool.
    */
   int
   pool_prime(struct pool *pp, int n)
   {
           struct pool_item_header *ph;
           caddr_t cp;
           int newpages, error = 0;
   
           simple_lock(&pp->pr_slock);
   
           newpages = roundup(n, pp->pr_itemsperpage) / pp->pr_itemsperpage;
   
           while (newpages-- > 0) {
                   simple_unlock(&pp->pr_slock);
                   cp = (*pp->pr_alloc)(pp->pr_pagesz, PR_NOWAIT, pp->pr_mtype);
                   if (__predict_true(cp != NULL))
                           ph = pool_alloc_item_header(pp, cp, PR_NOWAIT);
                   simple_lock(&pp->pr_slock);
   
                   if (__predict_false(cp == NULL || ph == NULL)) {
                           error = ENOMEM;
                           if (cp != NULL)
                                   (*pp->pr_free)(cp, pp->pr_pagesz, pp->pr_mtype);
                           break;
                   }
   
                   pool_prime_page(pp, cp, ph);
                   pp->pr_npagealloc++;
                   pp->pr_minpages++;
           }
   
           if (pp->pr_minpages >= pp->pr_maxpages)
                   pp->pr_maxpages = pp->pr_minpages + 1;  /* XXX */
   
           simple_unlock(&pp->pr_slock);
           return (0);
   }
   
 /*  /*
  * Add a page worth of items to the pool.   * Add a page worth of items to the pool.
  *   *
  * Note, we must be called with the pool descriptor LOCKED.   * Note, we must be called with the pool descriptor LOCKED.
  */   */
 static int  static void
 pool_prime_page(struct pool *pp, caddr_t storage, int flags)  pool_prime_page(struct pool *pp, caddr_t storage, struct pool_item_header *ph)
 {  {
         struct pool_item *pi;          struct pool_item *pi;
         struct pool_item_header *ph;  
         caddr_t cp = storage;          caddr_t cp = storage;
         unsigned int align = pp->pr_align;          unsigned int align = pp->pr_align;
         unsigned int ioff = pp->pr_itemoffset;          unsigned int ioff = pp->pr_itemoffset;
         int s, n;          int n;
   
         if (((u_long)cp & (pp->pr_pagesz - 1)) != 0)          if (((u_long)cp & (pp->pr_pagesz - 1)) != 0)
                 panic("pool_prime_page: %s: unaligned page", pp->pr_wchan);                  panic("pool_prime_page: %s: unaligned page", pp->pr_wchan);
   
         if ((pp->pr_roflags & PR_PHINPAGE) != 0) {          if ((pp->pr_roflags & PR_PHINPAGE) == 0)
                 ph = (struct pool_item_header *)(cp + pp->pr_phoffset);  
         } else {  
                 s = splhigh();  
                 ph = pool_get(&phpool, flags);  
                 splx(s);  
                 if (ph == NULL)  
                         return (ENOMEM);  
                 LIST_INSERT_HEAD(&pp->pr_hashtab[PR_HASH_INDEX(pp, cp)],                  LIST_INSERT_HEAD(&pp->pr_hashtab[PR_HASH_INDEX(pp, cp)],
                                  ph, ph_hashlist);                      ph, ph_hashlist);
         }  
   
         /*          /*
          * Insert page header.           * Insert page header.
Line 1016  pool_prime_page(struct pool *pp, caddr_t
Line 1076  pool_prime_page(struct pool *pp, caddr_t
   
         if (++pp->pr_npages > pp->pr_hiwat)          if (++pp->pr_npages > pp->pr_hiwat)
                 pp->pr_hiwat = pp->pr_npages;                  pp->pr_hiwat = pp->pr_npages;
   
         return (0);  
 }  }
   
 /*  /*
Line 1034  pool_prime_page(struct pool *pp, caddr_t
Line 1092  pool_prime_page(struct pool *pp, caddr_t
 static int  static int
 pool_catchup(struct pool *pp)  pool_catchup(struct pool *pp)
 {  {
           struct pool_item_header *ph;
         caddr_t cp;          caddr_t cp;
         int error = 0;          int error = 0;
   
Line 1049  pool_catchup(struct pool *pp)
Line 1108  pool_catchup(struct pool *pp)
                 return (0);                  return (0);
         }          }
   
         while (pp->pr_nitems < pp->pr_minitems) {          while (POOL_NEEDS_CATCHUP(pp)) {
                 /*                  /*
                  * Call the page back-end allocator for more memory.                   * Call the page back-end allocator for more memory.
                  *                   *
Line 1057  pool_catchup(struct pool *pp)
Line 1116  pool_catchup(struct pool *pp)
                  * the pool descriptor?                   * the pool descriptor?
                  */                   */
                 simple_unlock(&pp->pr_slock);                  simple_unlock(&pp->pr_slock);
                 cp = (*pp->pr_alloc)(pp->pr_pagesz, 0, pp->pr_mtype);                  cp = (*pp->pr_alloc)(pp->pr_pagesz, PR_NOWAIT, pp->pr_mtype);
                   if (__predict_true(cp != NULL))
                           ph = pool_alloc_item_header(pp, cp, PR_NOWAIT);
                 simple_lock(&pp->pr_slock);                  simple_lock(&pp->pr_slock);
                 if (__predict_false(cp == NULL)) {                  if (__predict_false(cp == NULL || ph == NULL)) {
                           if (cp != NULL)
                                   (*pp->pr_free)(cp, pp->pr_pagesz, pp->pr_mtype);
                         error = ENOMEM;                          error = ENOMEM;
                         break;                          break;
                 }                  }
                 if ((error = pool_prime_page(pp, cp, PR_NOWAIT)) != 0) {                  pool_prime_page(pp, cp, ph);
                         (*pp->pr_free)(cp, pp->pr_pagesz, pp->pr_mtype);  
                         break;  
                 }  
                 pp->pr_npagealloc++;                  pp->pr_npagealloc++;
         }          }
   
Line 1176  pool_page_free_nointr(void *v, unsigned 
Line 1236  pool_page_free_nointr(void *v, unsigned 
  * Release all complete pages that have not been used recently.   * Release all complete pages that have not been used recently.
  */   */
 void  void
   #ifdef DIAGNOSTIC
 _pool_reclaim(struct pool *pp, const char *file, long line)  _pool_reclaim(struct pool *pp, const char *file, long line)
   #else
   pool_reclaim(struct pool *pp)
   #endif
 {  {
         struct pool_item_header *ph, *phnext;          struct pool_item_header *ph, *phnext;
         struct pool_cache *pc;          struct pool_cache *pc;
Line 1686  pool_cache_destruct_object(struct pool_c
Line 1750  pool_cache_destruct_object(struct pool_c
  */   */
 static void  static void
 pool_cache_do_invalidate(struct pool_cache *pc, int free_groups,  pool_cache_do_invalidate(struct pool_cache *pc, int free_groups,
     void (*putit)(struct pool *, void *, const char *, long))      void (*putit)(struct pool *, void *))
 {  {
         struct pool_cache_group *pcg, *npcg;          struct pool_cache_group *pcg, *npcg;
         void *object;          void *object;
Line 1701  pool_cache_do_invalidate(struct pool_cac
Line 1765  pool_cache_do_invalidate(struct pool_cac
                                 pc->pc_allocfrom = NULL;                                  pc->pc_allocfrom = NULL;
                         if (pc->pc_dtor != NULL)                          if (pc->pc_dtor != NULL)
                                 (*pc->pc_dtor)(pc->pc_arg, object);                                  (*pc->pc_dtor)(pc->pc_arg, object);
                         (*putit)(pc->pc_pool, object, __FILE__, __LINE__);                          (*putit)(pc->pc_pool, object);
                 }                  }
                 if (free_groups) {                  if (free_groups) {
                         pc->pc_ngroups--;                          pc->pc_ngroups--;
Line 1724  pool_cache_invalidate(struct pool_cache 
Line 1788  pool_cache_invalidate(struct pool_cache 
 {  {
   
         simple_lock(&pc->pc_slock);          simple_lock(&pc->pc_slock);
         pool_cache_do_invalidate(pc, 0, _pool_put);          pool_cache_do_invalidate(pc, 0, pool_put);
         simple_unlock(&pc->pc_slock);          simple_unlock(&pc->pc_slock);
 }  }
   

Legend:
Removed from v.1.53  
changed lines
  Added in v.1.56

CVSweb <webmaster@jp.NetBSD.org>