Lines Matching refs:trans_pcie
205 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_rxq_check_wrptr() local
209 struct iwl_rxq *rxq = &trans_pcie->rxq[i]; in iwl_pcie_rxq_check_wrptr()
247 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_rxmq_restock() local
269 WARN_ON(rxb->page_dma & trans_pcie->supported_dma_mask); in iwl_pcie_rxmq_restock()
364 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_rx_alloc_page() local
365 unsigned int rbsize = iwl_trans_get_rb_size(trans_pcie->rx_buf_size); in iwl_pcie_rx_alloc_page()
366 unsigned int allocsize = PAGE_SIZE << trans_pcie->rx_page_order; in iwl_pcie_rx_alloc_page()
370 if (trans_pcie->rx_page_order > 0) in iwl_pcie_rx_alloc_page()
373 if (trans_pcie->alloc_page) { in iwl_pcie_rx_alloc_page()
374 spin_lock_bh(&trans_pcie->alloc_page_lock); in iwl_pcie_rx_alloc_page()
376 if (trans_pcie->alloc_page) { in iwl_pcie_rx_alloc_page()
377 *offset = trans_pcie->alloc_page_used; in iwl_pcie_rx_alloc_page()
378 page = trans_pcie->alloc_page; in iwl_pcie_rx_alloc_page()
379 trans_pcie->alloc_page_used += rbsize; in iwl_pcie_rx_alloc_page()
380 if (trans_pcie->alloc_page_used >= allocsize) in iwl_pcie_rx_alloc_page()
381 trans_pcie->alloc_page = NULL; in iwl_pcie_rx_alloc_page()
384 spin_unlock_bh(&trans_pcie->alloc_page_lock); in iwl_pcie_rx_alloc_page()
387 spin_unlock_bh(&trans_pcie->alloc_page_lock); in iwl_pcie_rx_alloc_page()
391 page = alloc_pages(gfp_mask, trans_pcie->rx_page_order); in iwl_pcie_rx_alloc_page()
395 trans_pcie->rx_page_order); in iwl_pcie_rx_alloc_page()
407 spin_lock_bh(&trans_pcie->alloc_page_lock); in iwl_pcie_rx_alloc_page()
408 if (!trans_pcie->alloc_page) { in iwl_pcie_rx_alloc_page()
410 trans_pcie->alloc_page = page; in iwl_pcie_rx_alloc_page()
411 trans_pcie->alloc_page_used = rbsize; in iwl_pcie_rx_alloc_page()
413 spin_unlock_bh(&trans_pcie->alloc_page_lock); in iwl_pcie_rx_alloc_page()
432 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_rxq_alloc_rbs() local
454 __free_pages(page, trans_pcie->rx_page_order); in iwl_pcie_rxq_alloc_rbs()
468 trans_pcie->rx_buf_bytes, in iwl_pcie_rxq_alloc_rbs()
475 __free_pages(page, trans_pcie->rx_page_order); in iwl_pcie_rxq_alloc_rbs()
490 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_free_rbs_pool() local
493 if (!trans_pcie->rx_pool) in iwl_pcie_free_rbs_pool()
496 for (i = 0; i < RX_POOL_SIZE(trans_pcie->num_rx_bufs); i++) { in iwl_pcie_free_rbs_pool()
497 if (!trans_pcie->rx_pool[i].page) in iwl_pcie_free_rbs_pool()
499 dma_unmap_page(trans->dev, trans_pcie->rx_pool[i].page_dma, in iwl_pcie_free_rbs_pool()
500 trans_pcie->rx_buf_bytes, DMA_FROM_DEVICE); in iwl_pcie_free_rbs_pool()
501 __free_pages(trans_pcie->rx_pool[i].page, in iwl_pcie_free_rbs_pool()
502 trans_pcie->rx_page_order); in iwl_pcie_free_rbs_pool()
503 trans_pcie->rx_pool[i].page = NULL; in iwl_pcie_free_rbs_pool()
515 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_rx_allocator() local
516 struct iwl_rb_allocator *rba = &trans_pcie->rba; in iwl_pcie_rx_allocator()
562 trans_pcie->rx_buf_bytes, in iwl_pcie_rx_allocator()
566 __free_pages(page, trans_pcie->rx_page_order); in iwl_pcie_rx_allocator()
616 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_rx_allocator_get() local
617 struct iwl_rb_allocator *rba = &trans_pcie->rba; in iwl_pcie_rx_allocator_get()
652 struct iwl_trans_pcie *trans_pcie = in iwl_pcie_rx_allocator_work() local
655 iwl_pcie_rx_allocator(trans_pcie->trans); in iwl_pcie_rx_allocator_work()
716 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_alloc_rxq_dma() local
749 rxq->rb_stts = (u8 *)trans_pcie->base_rb_stts + rxq->id * rb_stts_size; in iwl_pcie_alloc_rxq_dma()
751 trans_pcie->base_rb_stts_dma + rxq->id * rb_stts_size; in iwl_pcie_alloc_rxq_dma()
757 struct iwl_rxq *rxq = &trans_pcie->rxq[i]; in iwl_pcie_alloc_rxq_dma()
767 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_rx_alloc() local
769 struct iwl_rb_allocator *rba = &trans_pcie->rba; in iwl_pcie_rx_alloc()
772 if (WARN_ON(trans_pcie->rxq)) in iwl_pcie_rx_alloc()
775 trans_pcie->rxq = kcalloc(trans->num_rx_queues, sizeof(struct iwl_rxq), in iwl_pcie_rx_alloc()
777 trans_pcie->rx_pool = kcalloc(RX_POOL_SIZE(trans_pcie->num_rx_bufs), in iwl_pcie_rx_alloc()
778 sizeof(trans_pcie->rx_pool[0]), in iwl_pcie_rx_alloc()
780 trans_pcie->global_table = in iwl_pcie_rx_alloc()
781 kcalloc(RX_POOL_SIZE(trans_pcie->num_rx_bufs), in iwl_pcie_rx_alloc()
782 sizeof(trans_pcie->global_table[0]), in iwl_pcie_rx_alloc()
784 if (!trans_pcie->rxq || !trans_pcie->rx_pool || in iwl_pcie_rx_alloc()
785 !trans_pcie->global_table) { in iwl_pcie_rx_alloc()
796 trans_pcie->base_rb_stts = in iwl_pcie_rx_alloc()
799 &trans_pcie->base_rb_stts_dma, in iwl_pcie_rx_alloc()
801 if (!trans_pcie->base_rb_stts) { in iwl_pcie_rx_alloc()
807 struct iwl_rxq *rxq = &trans_pcie->rxq[i]; in iwl_pcie_rx_alloc()
817 if (trans_pcie->base_rb_stts) { in iwl_pcie_rx_alloc()
820 trans_pcie->base_rb_stts, in iwl_pcie_rx_alloc()
821 trans_pcie->base_rb_stts_dma); in iwl_pcie_rx_alloc()
822 trans_pcie->base_rb_stts = NULL; in iwl_pcie_rx_alloc()
823 trans_pcie->base_rb_stts_dma = 0; in iwl_pcie_rx_alloc()
825 kfree(trans_pcie->rx_pool); in iwl_pcie_rx_alloc()
826 trans_pcie->rx_pool = NULL; in iwl_pcie_rx_alloc()
827 kfree(trans_pcie->global_table); in iwl_pcie_rx_alloc()
828 trans_pcie->global_table = NULL; in iwl_pcie_rx_alloc()
829 kfree(trans_pcie->rxq); in iwl_pcie_rx_alloc()
830 trans_pcie->rxq = NULL; in iwl_pcie_rx_alloc()
837 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_rx_hw_init() local
841 switch (trans_pcie->rx_buf_size) { in iwl_pcie_rx_hw_init()
905 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_rx_mq_hw_init() local
909 switch (trans_pcie->rx_buf_size) { in iwl_pcie_rx_mq_hw_init()
939 trans_pcie->rxq[i].bd_dma); in iwl_pcie_rx_mq_hw_init()
943 trans_pcie->rxq[i].used_bd_dma); in iwl_pcie_rx_mq_hw_init()
947 trans_pcie->rxq[i].rb_stts_dma); in iwl_pcie_rx_mq_hw_init()
1011 struct iwl_trans_pcie *trans_pcie; in iwl_pcie_napi_poll() local
1015 trans_pcie = iwl_netdev_to_trans_pcie(napi->dev); in iwl_pcie_napi_poll()
1016 trans = trans_pcie->trans; in iwl_pcie_napi_poll()
1024 spin_lock(&trans_pcie->irq_lock); in iwl_pcie_napi_poll()
1027 spin_unlock(&trans_pcie->irq_lock); in iwl_pcie_napi_poll()
1038 struct iwl_trans_pcie *trans_pcie; in iwl_pcie_napi_poll_msix() local
1042 trans_pcie = iwl_netdev_to_trans_pcie(napi->dev); in iwl_pcie_napi_poll_msix()
1043 trans = trans_pcie->trans; in iwl_pcie_napi_poll_msix()
1053 if (trans_pcie->shared_vec_mask & IWL_SHARED_IRQ_FIRST_RSS && in iwl_pcie_napi_poll_msix()
1057 spin_lock(&trans_pcie->irq_lock); in iwl_pcie_napi_poll_msix()
1059 spin_unlock(&trans_pcie->irq_lock); in iwl_pcie_napi_poll_msix()
1069 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_rx_napi_sync() local
1072 if (unlikely(!trans_pcie->rxq)) in iwl_pcie_rx_napi_sync()
1076 struct iwl_rxq *rxq = &trans_pcie->rxq[i]; in iwl_pcie_rx_napi_sync()
1085 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in _iwl_pcie_rx_init() local
1087 struct iwl_rb_allocator *rba = &trans_pcie->rba; in _iwl_pcie_rx_init()
1090 if (!trans_pcie->rxq) { in _iwl_pcie_rx_init()
1095 def_rxq = trans_pcie->rxq; in _iwl_pcie_rx_init()
1113 struct iwl_rxq *rxq = &trans_pcie->rxq[i]; in _iwl_pcie_rx_init()
1136 if (trans_pcie->msix_enabled) in _iwl_pcie_rx_init()
1139 netif_napi_add(trans_pcie->napi_dev, &rxq->napi, in _iwl_pcie_rx_init()
1148 trans_pcie->num_rx_bufs - 1 : RX_QUEUE_SIZE; in _iwl_pcie_rx_init()
1154 struct iwl_rx_mem_buffer *rxb = &trans_pcie->rx_pool[i]; in _iwl_pcie_rx_init()
1160 trans_pcie->global_table[i] = rxb; in _iwl_pcie_rx_init()
1172 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_rx_init() local
1181 iwl_pcie_rx_hw_init(trans, trans_pcie->rxq); in iwl_pcie_rx_init()
1183 iwl_pcie_rxq_restock(trans, trans_pcie->rxq); in iwl_pcie_rx_init()
1185 spin_lock_bh(&trans_pcie->rxq->lock); in iwl_pcie_rx_init()
1186 iwl_pcie_rxq_inc_wr_ptr(trans, trans_pcie->rxq); in iwl_pcie_rx_init()
1187 spin_unlock_bh(&trans_pcie->rxq->lock); in iwl_pcie_rx_init()
1206 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_rx_free() local
1208 struct iwl_rb_allocator *rba = &trans_pcie->rba; in iwl_pcie_rx_free()
1215 if (!trans_pcie->rxq) { in iwl_pcie_rx_free()
1224 if (trans_pcie->base_rb_stts) { in iwl_pcie_rx_free()
1227 trans_pcie->base_rb_stts, in iwl_pcie_rx_free()
1228 trans_pcie->base_rb_stts_dma); in iwl_pcie_rx_free()
1229 trans_pcie->base_rb_stts = NULL; in iwl_pcie_rx_free()
1230 trans_pcie->base_rb_stts_dma = 0; in iwl_pcie_rx_free()
1234 struct iwl_rxq *rxq = &trans_pcie->rxq[i]; in iwl_pcie_rx_free()
1243 kfree(trans_pcie->rx_pool); in iwl_pcie_rx_free()
1244 kfree(trans_pcie->global_table); in iwl_pcie_rx_free()
1245 kfree(trans_pcie->rxq); in iwl_pcie_rx_free()
1247 if (trans_pcie->alloc_page) in iwl_pcie_rx_free()
1248 __free_pages(trans_pcie->alloc_page, trans_pcie->rx_page_order); in iwl_pcie_rx_free()
1269 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_rx_reuse_rbd() local
1270 struct iwl_rb_allocator *rba = &trans_pcie->rba; in iwl_pcie_rx_reuse_rbd()
1303 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_rx_handle_rb() local
1304 struct iwl_txq *txq = trans_pcie->txqs.txq[trans_pcie->txqs.cmd.q_id]; in iwl_pcie_rx_handle_rb()
1306 int max_len = trans_pcie->rx_buf_bytes; in iwl_pcie_rx_handle_rb()
1320 ._rx_page_order = trans_pcie->rx_page_order, in iwl_pcie_rx_handle_rb()
1371 for (i = 0; i < trans_pcie->n_no_reclaim_cmds; i++) { in iwl_pcie_rx_handle_rb()
1372 if (trans_pcie->no_reclaim_cmds[i] == in iwl_pcie_rx_handle_rb()
1417 __free_pages(rxb->page, trans_pcie->rx_page_order); in iwl_pcie_rx_handle_rb()
1427 trans_pcie->rx_buf_bytes, in iwl_pcie_rx_handle_rb()
1435 __free_pages(rxb->page, trans_pcie->rx_page_order); in iwl_pcie_rx_handle_rb()
1450 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_get_rxb() local
1479 if (!vid || vid > RX_POOL_SIZE(trans_pcie->num_rx_bufs)) in iwl_pcie_get_rxb()
1482 rxb = trans_pcie->global_table[vid - 1]; in iwl_pcie_get_rxb()
1503 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_rx_handle() local
1508 if (WARN_ON_ONCE(!trans_pcie->rxq || !trans_pcie->rxq[queue].bd)) in iwl_pcie_rx_handle()
1511 rxq = &trans_pcie->rxq[queue]; in iwl_pcie_rx_handle()
1528 struct iwl_rb_allocator *rba = &trans_pcie->rba; in iwl_pcie_rx_handle()
1532 atomic_read(&trans_pcie->rba.req_pending) * in iwl_pcie_rx_handle()
1645 struct iwl_trans_pcie *trans_pcie = iwl_pcie_get_trans_pcie(entry); in iwl_pcie_irq_rx_msix_handler() local
1646 struct iwl_trans *trans = trans_pcie->trans; in iwl_pcie_irq_rx_msix_handler()
1654 if (!trans_pcie->rxq) { in iwl_pcie_irq_rx_msix_handler()
1662 rxq = &trans_pcie->rxq[entry->entry]; in iwl_pcie_irq_rx_msix_handler()
1681 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_irq_handle_error() local
1698 if (!trans_pcie->txqs.txq[i]) in iwl_pcie_irq_handle_error()
1700 del_timer(&trans_pcie->txqs.txq[i]->stuck_timer); in iwl_pcie_irq_handle_error()
1741 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_int_cause_ict() local
1751 read = le32_to_cpu(trans_pcie->ict_tbl[trans_pcie->ict_index]); in iwl_pcie_int_cause_ict()
1752 trace_iwlwifi_dev_ict_read(trans->dev, trans_pcie->ict_index, read); in iwl_pcie_int_cause_ict()
1763 trans_pcie->ict_index, read); in iwl_pcie_int_cause_ict()
1764 trans_pcie->ict_tbl[trans_pcie->ict_index] = 0; in iwl_pcie_int_cause_ict()
1765 trans_pcie->ict_index = in iwl_pcie_int_cause_ict()
1766 ((trans_pcie->ict_index + 1) & (ICT_COUNT - 1)); in iwl_pcie_int_cause_ict()
1768 read = le32_to_cpu(trans_pcie->ict_tbl[trans_pcie->ict_index]); in iwl_pcie_int_cause_ict()
1769 trace_iwlwifi_dev_ict_read(trans->dev, trans_pcie->ict_index, in iwl_pcie_int_cause_ict()
1793 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_handle_rfkill_irq() local
1794 struct isr_statistics *isr_stats = &trans_pcie->isr_stats; in iwl_pcie_handle_rfkill_irq()
1797 mutex_lock(&trans_pcie->mutex); in iwl_pcie_handle_rfkill_irq()
1804 if (trans_pcie->opmode_down) in iwl_pcie_handle_rfkill_irq()
1816 mutex_unlock(&trans_pcie->mutex); in iwl_pcie_handle_rfkill_irq()
1826 if (trans_pcie->opmode_down) in iwl_pcie_handle_rfkill_irq()
1834 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_irq_handler() local
1835 struct isr_statistics *isr_stats = &trans_pcie->isr_stats; in iwl_pcie_irq_handler()
1842 spin_lock_bh(&trans_pcie->irq_lock); in iwl_pcie_irq_handler()
1847 if (likely(trans_pcie->use_ict)) in iwl_pcie_irq_handler()
1855 inta, trans_pcie->inta_mask, in iwl_pcie_irq_handler()
1858 if (inta & (~trans_pcie->inta_mask)) in iwl_pcie_irq_handler()
1861 inta & (~trans_pcie->inta_mask)); in iwl_pcie_irq_handler()
1864 inta &= trans_pcie->inta_mask; in iwl_pcie_irq_handler()
1879 spin_unlock_bh(&trans_pcie->irq_lock); in iwl_pcie_irq_handler()
1890 spin_unlock_bh(&trans_pcie->irq_lock); in iwl_pcie_irq_handler()
1905 iwl_write32(trans, CSR_INT, inta | ~trans_pcie->inta_mask); in iwl_pcie_irq_handler()
1911 spin_unlock_bh(&trans_pcie->irq_lock); in iwl_pcie_irq_handler()
1944 iwl_pcie_rxmq_restock(trans, trans_pcie->rxq); in iwl_pcie_irq_handler()
2031 if (napi_schedule_prep(&trans_pcie->rxq[0].napi)) { in iwl_pcie_irq_handler()
2033 __napi_schedule(&trans_pcie->rxq[0].napi); in iwl_pcie_irq_handler()
2045 trans_pcie->ucode_write_complete = true; in iwl_pcie_irq_handler()
2046 wake_up(&trans_pcie->ucode_write_waitq); in iwl_pcie_irq_handler()
2048 if (trans_pcie->imr_status == IMR_D2S_REQUESTED) { in iwl_pcie_irq_handler()
2049 trans_pcie->imr_status = IMR_D2S_COMPLETED; in iwl_pcie_irq_handler()
2050 wake_up(&trans_pcie->ucode_write_waitq); in iwl_pcie_irq_handler()
2059 if (inta & ~(trans_pcie->inta_mask)) { in iwl_pcie_irq_handler()
2061 inta & ~trans_pcie->inta_mask); in iwl_pcie_irq_handler()
2065 spin_lock_bh(&trans_pcie->irq_lock); in iwl_pcie_irq_handler()
2078 spin_unlock_bh(&trans_pcie->irq_lock); in iwl_pcie_irq_handler()
2095 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_free_ict() local
2097 if (trans_pcie->ict_tbl) { in iwl_pcie_free_ict()
2099 trans_pcie->ict_tbl, in iwl_pcie_free_ict()
2100 trans_pcie->ict_tbl_dma); in iwl_pcie_free_ict()
2101 trans_pcie->ict_tbl = NULL; in iwl_pcie_free_ict()
2102 trans_pcie->ict_tbl_dma = 0; in iwl_pcie_free_ict()
2113 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_alloc_ict() local
2115 trans_pcie->ict_tbl = in iwl_pcie_alloc_ict()
2117 &trans_pcie->ict_tbl_dma, GFP_KERNEL); in iwl_pcie_alloc_ict()
2118 if (!trans_pcie->ict_tbl) in iwl_pcie_alloc_ict()
2122 if (WARN_ON(trans_pcie->ict_tbl_dma & (ICT_SIZE - 1))) { in iwl_pcie_alloc_ict()
2135 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_reset_ict() local
2138 if (!trans_pcie->ict_tbl) in iwl_pcie_reset_ict()
2141 spin_lock_bh(&trans_pcie->irq_lock); in iwl_pcie_reset_ict()
2144 memset(trans_pcie->ict_tbl, 0, ICT_SIZE); in iwl_pcie_reset_ict()
2146 val = trans_pcie->ict_tbl_dma >> ICT_SHIFT; in iwl_pcie_reset_ict()
2155 trans_pcie->use_ict = true; in iwl_pcie_reset_ict()
2156 trans_pcie->ict_index = 0; in iwl_pcie_reset_ict()
2157 iwl_write32(trans, CSR_INT, trans_pcie->inta_mask); in iwl_pcie_reset_ict()
2159 spin_unlock_bh(&trans_pcie->irq_lock); in iwl_pcie_reset_ict()
2165 struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans); in iwl_pcie_disable_ict() local
2167 spin_lock_bh(&trans_pcie->irq_lock); in iwl_pcie_disable_ict()
2168 trans_pcie->use_ict = false; in iwl_pcie_disable_ict()
2169 spin_unlock_bh(&trans_pcie->irq_lock); in iwl_pcie_disable_ict()
2197 struct iwl_trans_pcie *trans_pcie = iwl_pcie_get_trans_pcie(entry); in iwl_pcie_irq_msix_handler() local
2198 struct iwl_trans *trans = trans_pcie->trans; in iwl_pcie_irq_msix_handler()
2199 struct isr_statistics *isr_stats = &trans_pcie->isr_stats; in iwl_pcie_irq_msix_handler()
2205 if (trans_pcie->shared_vec_mask & IWL_SHARED_IRQ_NON_RX) in iwl_pcie_irq_msix_handler()
2208 if (trans_pcie->shared_vec_mask & IWL_SHARED_IRQ_FIRST_RSS) in iwl_pcie_irq_msix_handler()
2213 spin_lock_bh(&trans_pcie->irq_lock); in iwl_pcie_irq_msix_handler()
2221 spin_unlock_bh(&trans_pcie->irq_lock); in iwl_pcie_irq_msix_handler()
2234 entry->entry, inta_fh, trans_pcie->fh_mask, in iwl_pcie_irq_msix_handler()
2236 if (inta_fh & ~trans_pcie->fh_mask) in iwl_pcie_irq_msix_handler()
2239 inta_fh & ~trans_pcie->fh_mask); in iwl_pcie_irq_msix_handler()
2242 inta_fh &= trans_pcie->fh_mask; in iwl_pcie_irq_msix_handler()
2244 if ((trans_pcie->shared_vec_mask & IWL_SHARED_IRQ_NON_RX) && in iwl_pcie_irq_msix_handler()
2247 if (napi_schedule_prep(&trans_pcie->rxq[0].napi)) { in iwl_pcie_irq_msix_handler()
2249 __napi_schedule(&trans_pcie->rxq[0].napi); in iwl_pcie_irq_msix_handler()
2254 if ((trans_pcie->shared_vec_mask & IWL_SHARED_IRQ_FIRST_RSS) && in iwl_pcie_irq_msix_handler()
2257 if (napi_schedule_prep(&trans_pcie->rxq[1].napi)) { in iwl_pcie_irq_msix_handler()
2259 __napi_schedule(&trans_pcie->rxq[1].napi); in iwl_pcie_irq_msix_handler()
2266 trans_pcie->imr_status == IMR_D2S_REQUESTED) { in iwl_pcie_irq_msix_handler()
2271 if (trans_pcie->imr_status == IMR_D2S_REQUESTED) { in iwl_pcie_irq_msix_handler()
2272 trans_pcie->imr_status = IMR_D2S_COMPLETED; in iwl_pcie_irq_msix_handler()
2273 wake_up(&trans_pcie->ucode_write_waitq); in iwl_pcie_irq_msix_handler()
2282 trans_pcie->ucode_write_complete = true; in iwl_pcie_irq_msix_handler()
2283 wake_up(&trans_pcie->ucode_write_waitq); in iwl_pcie_irq_msix_handler()
2286 if (trans_pcie->imr_status == IMR_D2S_REQUESTED) { in iwl_pcie_irq_msix_handler()
2287 trans_pcie->imr_status = IMR_D2S_COMPLETED; in iwl_pcie_irq_msix_handler()
2288 wake_up(&trans_pcie->ucode_write_waitq); in iwl_pcie_irq_msix_handler()
2310 if (trans_pcie->imr_status == IMR_D2S_REQUESTED) { in iwl_pcie_irq_msix_handler()
2311 trans_pcie->imr_status = IMR_D2S_ERROR; in iwl_pcie_irq_msix_handler()
2312 wake_up(&trans_pcie->imr_waitq); in iwl_pcie_irq_msix_handler()
2313 } else if (trans_pcie->fw_reset_state == FW_RESET_REQUESTED) { in iwl_pcie_irq_msix_handler()
2314 trans_pcie->fw_reset_state = FW_RESET_ERROR; in iwl_pcie_irq_msix_handler()
2315 wake_up(&trans_pcie->fw_reset_waitq); in iwl_pcie_irq_msix_handler()
2325 entry->entry, inta_hw, trans_pcie->hw_mask, in iwl_pcie_irq_msix_handler()
2327 if (inta_hw & ~trans_pcie->hw_mask) in iwl_pcie_irq_msix_handler()
2330 inta_hw & ~trans_pcie->hw_mask); in iwl_pcie_irq_msix_handler()
2333 inta_hw &= trans_pcie->hw_mask; in iwl_pcie_irq_msix_handler()
2341 iwl_pcie_rxmq_restock(trans, trans_pcie->rxq); in iwl_pcie_irq_msix_handler()
2350 if (inta_hw & MSIX_HW_INT_CAUSES_REG_WAKEUP && trans_pcie->prph_info) { in iwl_pcie_irq_msix_handler()
2352 le32_to_cpu(trans_pcie->prph_info->sleep_notif); in iwl_pcie_irq_msix_handler()
2358 trans_pcie->sx_complete = true; in iwl_pcie_irq_msix_handler()
2359 wake_up(&trans_pcie->sx_waitq); in iwl_pcie_irq_msix_handler()
2391 trans_pcie->fw_reset_state = FW_RESET_OK; in iwl_pcie_irq_msix_handler()
2392 wake_up(&trans_pcie->fw_reset_waitq); in iwl_pcie_irq_msix_handler()