462 	struct irdma_ceq *iwceq = from_tasklet(iwceq, t, dpc_tasklet);  in irdma_ceq_dpc()  local
463 	struct irdma_pci_f *rf = iwceq->rf;  in irdma_ceq_dpc()
465 	irdma_process_ceq(rf, iwceq);  in irdma_ceq_dpc()
466 	irdma_ena_intr(&rf->sc_dev, iwceq->msix_idx);  in irdma_ceq_dpc()
548 	struct irdma_ceq *iwceq = data;  in irdma_ceq_handler()  local
550 	if (iwceq->irq != irq)  in irdma_ceq_handler()
551 		ibdev_err(to_ibdev(&iwceq->rf->sc_dev), "expected irq = %d received irq = %d\n",  in irdma_ceq_handler()
552 			  iwceq->irq, irq);  in irdma_ceq_handler()
553 	tasklet_schedule(&iwceq->dpc_tasklet);  in irdma_ceq_handler()
577 		struct irdma_ceq *iwceq = (struct irdma_ceq *)dev_id;  in irdma_destroy_irq()  local
579 		tasklet_kill(&iwceq->dpc_tasklet);  in irdma_destroy_irq()
665 static void irdma_destroy_ceq(struct irdma_pci_f *rf, struct irdma_ceq *iwceq)  in irdma_destroy_ceq()  argument
673 	status = irdma_sc_ceq_destroy(&iwceq->sc_ceq, 0, 1);  in irdma_destroy_ceq()
679 	status = irdma_sc_cceq_destroy_done(&iwceq->sc_ceq);  in irdma_destroy_ceq()
684 	dma_free_coherent(dev->hw->device, iwceq->mem.size, iwceq->mem.va,  in irdma_destroy_ceq()
685 			  iwceq->mem.pa);  in irdma_destroy_ceq()
686 	iwceq->mem.va = NULL;  in irdma_destroy_ceq()
697 	struct irdma_ceq *iwceq = rf->ceqlist;  in irdma_del_ceq_0()  local
708 		irdma_destroy_irq(rf, msix_vec, iwceq);  in irdma_del_ceq_0()
711 	irdma_destroy_ceq(rf, iwceq);  in irdma_del_ceq_0()
725 	struct irdma_ceq *iwceq = &rf->ceqlist[1];  in irdma_del_ceqs()  local
734 	for (i = 1; i < rf->ceqs_count; i++, msix_vec++, iwceq++) {  in irdma_del_ceqs()
737 		irdma_destroy_irq(rf, msix_vec, iwceq);  in irdma_del_ceqs()
738 		irdma_cqp_ceq_cmd(&rf->sc_dev, &iwceq->sc_ceq,  in irdma_del_ceqs()
740 		dma_free_coherent(rf->sc_dev.hw->device, iwceq->mem.size,  in irdma_del_ceqs()
741 				  iwceq->mem.va, iwceq->mem.pa);  in irdma_del_ceqs()
742 		iwceq->mem.va = NULL;  in irdma_del_ceqs()
1116 static int irdma_cfg_ceq_vector(struct irdma_pci_f *rf, struct irdma_ceq *iwceq,  in irdma_cfg_ceq_vector()  argument
1131 		tasklet_setup(&iwceq->dpc_tasklet, irdma_ceq_dpc);  in irdma_cfg_ceq_vector()
1134 				     msix_vec->name, iwceq);  in irdma_cfg_ceq_vector()
1189 static int irdma_create_ceq(struct irdma_pci_f *rf, struct irdma_ceq *iwceq,  in irdma_create_ceq()  argument
1198 	iwceq->rf = rf;  in irdma_create_ceq()
1201 	iwceq->mem.size = ALIGN(sizeof(struct irdma_ceqe) * ceq_size,  in irdma_create_ceq()
1203 	iwceq->mem.va = dma_alloc_coherent(dev->hw->device, iwceq->mem.size,  in irdma_create_ceq()
1204 					   &iwceq->mem.pa, GFP_KERNEL);  in irdma_create_ceq()
1205 	if (!iwceq->mem.va)  in irdma_create_ceq()
1209 	info.ceqe_base = iwceq->mem.va;  in irdma_create_ceq()
1210 	info.ceqe_pa = iwceq->mem.pa;  in irdma_create_ceq()
1212 	iwceq->sc_ceq.ceq_id = ceq_id;  in irdma_create_ceq()
1215 	status = irdma_sc_ceq_init(&iwceq->sc_ceq, &info);  in irdma_create_ceq()
1218 			status = irdma_cqp_ceq_cmd(&rf->sc_dev, &iwceq->sc_ceq,  in irdma_create_ceq()
1221 			status = irdma_sc_cceq_create(&iwceq->sc_ceq, 0);  in irdma_create_ceq()
1225 		dma_free_coherent(dev->hw->device, iwceq->mem.size,  in irdma_create_ceq()
1226 				  iwceq->mem.va, iwceq->mem.pa);  in irdma_create_ceq()
1227 		iwceq->mem.va = NULL;  in irdma_create_ceq()
1243 	struct irdma_ceq *iwceq;  in irdma_setup_ceq_0()  local
1256 	iwceq = &rf->ceqlist[0];  in irdma_setup_ceq_0()
1257 	status = irdma_create_ceq(rf, iwceq, 0, &rf->default_vsi);  in irdma_setup_ceq_0()
1264 	spin_lock_init(&iwceq->ce_lock);  in irdma_setup_ceq_0()
1267 	iwceq->irq = msix_vec->irq;  in irdma_setup_ceq_0()
1268 	iwceq->msix_idx = msix_vec->idx;  in irdma_setup_ceq_0()
1269 	status = irdma_cfg_ceq_vector(rf, iwceq, 0, msix_vec);  in irdma_setup_ceq_0()
1271 		irdma_destroy_ceq(rf, iwceq);  in irdma_setup_ceq_0()
1302 	struct irdma_ceq *iwceq;  in irdma_setup_ceqs()  local
1310 		iwceq = &rf->ceqlist[ceq_id];  in irdma_setup_ceqs()
1311 		status = irdma_create_ceq(rf, iwceq, ceq_id, vsi);  in irdma_setup_ceqs()
1317 		spin_lock_init(&iwceq->ce_lock);  in irdma_setup_ceqs()
1319 		iwceq->irq = msix_vec->irq;  in irdma_setup_ceqs()
1320 		iwceq->msix_idx = msix_vec->idx;  in irdma_setup_ceqs()
1321 		status = irdma_cfg_ceq_vector(rf, iwceq, ceq_id, msix_vec);  in irdma_setup_ceqs()
1323 			irdma_destroy_ceq(rf, iwceq);  in irdma_setup_ceqs()