226 static int qcom_pcie_ep_core_reset(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_core_reset()  argument
228 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_core_reset()
232 	ret = reset_control_assert(pcie_ep->core_reset);  in qcom_pcie_ep_core_reset()
240 	ret = reset_control_deassert(pcie_ep->core_reset);  in qcom_pcie_ep_core_reset()
256 static void qcom_pcie_ep_configure_tcsr(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_configure_tcsr()  argument
258 	if (pcie_ep->perst_map) {  in qcom_pcie_ep_configure_tcsr()
259 		regmap_write(pcie_ep->perst_map, pcie_ep->perst_en, 0);  in qcom_pcie_ep_configure_tcsr()
260 		regmap_write(pcie_ep->perst_map, pcie_ep->perst_sep_en, 0);  in qcom_pcie_ep_configure_tcsr()
266 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_dw_link_up()  local
269 	reg = readl_relaxed(pcie_ep->elbi + ELBI_SYS_STTS);  in qcom_pcie_dw_link_up()
276 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_dw_start_link()  local
278 	enable_irq(pcie_ep->perst_irq);  in qcom_pcie_dw_start_link()
285 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_dw_stop_link()  local
287 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_dw_stop_link()
293 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_dw_write_dbi2()  local
296 	writel(1, pcie_ep->elbi + ELBI_CS2_ENABLE);  in qcom_pcie_dw_write_dbi2()
302 	writel(0, pcie_ep->elbi + ELBI_CS2_ENABLE);  in qcom_pcie_dw_write_dbi2()
305 static void qcom_pcie_ep_icc_update(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_icc_update()  argument
307 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_icc_update()
312 	if (!pcie_ep->icc_mem)  in qcom_pcie_ep_icc_update()
321 	ret = icc_set_bw(pcie_ep->icc_mem, 0, width * QCOM_PCIE_LINK_SPEED_TO_BW(speed));  in qcom_pcie_ep_icc_update()
327 static int qcom_pcie_enable_resources(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_enable_resources()  argument
329 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_enable_resources()
332 	ret = clk_bulk_prepare_enable(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_enable_resources()
336 	ret = qcom_pcie_ep_core_reset(pcie_ep);  in qcom_pcie_enable_resources()
340 	ret = phy_init(pcie_ep->phy);  in qcom_pcie_enable_resources()
344 	ret = phy_set_mode_ext(pcie_ep->phy, PHY_MODE_PCIE, PHY_MODE_PCIE_EP);  in qcom_pcie_enable_resources()
348 	ret = phy_power_on(pcie_ep->phy);  in qcom_pcie_enable_resources()
359 	ret = icc_set_bw(pcie_ep->icc_mem, 0, QCOM_PCIE_LINK_SPEED_TO_BW(1));  in qcom_pcie_enable_resources()
369 	phy_power_off(pcie_ep->phy);  in qcom_pcie_enable_resources()
371 	phy_exit(pcie_ep->phy);  in qcom_pcie_enable_resources()
373 	clk_bulk_disable_unprepare(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_enable_resources()
378 static void qcom_pcie_disable_resources(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_disable_resources()  argument
380 	icc_set_bw(pcie_ep->icc_mem, 0, 0);  in qcom_pcie_disable_resources()
381 	phy_power_off(pcie_ep->phy);  in qcom_pcie_disable_resources()
382 	phy_exit(pcie_ep->phy);  in qcom_pcie_disable_resources()
383 	clk_bulk_disable_unprepare(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_disable_resources()
388 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_perst_deassert()  local
393 	ret = qcom_pcie_enable_resources(pcie_ep);  in qcom_pcie_perst_deassert()
400 	gpiod_set_value_cansleep(pcie_ep->wake, 1);  in qcom_pcie_perst_deassert()
402 	gpiod_set_value_cansleep(pcie_ep->wake, 0);  in qcom_pcie_perst_deassert()
404 	qcom_pcie_ep_configure_tcsr(pcie_ep);  in qcom_pcie_perst_deassert()
407 	val = readl_relaxed(pcie_ep->parf + PARF_BDF_TO_SID_CFG);  in qcom_pcie_perst_deassert()
409 	writel_relaxed(val, pcie_ep->parf + PARF_BDF_TO_SID_CFG);  in qcom_pcie_perst_deassert()
412 	val = readl_relaxed(pcie_ep->parf + PARF_DEBUG_INT_EN);  in qcom_pcie_perst_deassert()
416 	writel_relaxed(val, pcie_ep->parf + PARF_DEBUG_INT_EN);  in qcom_pcie_perst_deassert()
419 	writel_relaxed(PARF_DEVICE_TYPE_EP, pcie_ep->parf + PARF_DEVICE_TYPE);  in qcom_pcie_perst_deassert()
422 	val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_perst_deassert()
424 	writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_perst_deassert()
427 	val = readl_relaxed(pcie_ep->parf + PARF_AXI_MSTR_RD_HALT_NO_WRITES);  in qcom_pcie_perst_deassert()
429 	writel_relaxed(val, pcie_ep->parf + PARF_AXI_MSTR_RD_HALT_NO_WRITES);  in qcom_pcie_perst_deassert()
432 	val = readl_relaxed(pcie_ep->parf + PARF_AXI_MSTR_WR_ADDR_HALT);  in qcom_pcie_perst_deassert()
434 	writel_relaxed(val, pcie_ep->parf + PARF_AXI_MSTR_WR_ADDR_HALT);  in qcom_pcie_perst_deassert()
437 	val = readl_relaxed(pcie_ep->parf + PARF_Q2A_FLUSH);  in qcom_pcie_perst_deassert()
439 	writel_relaxed(val, pcie_ep->parf + PARF_Q2A_FLUSH);  in qcom_pcie_perst_deassert()
447 	val = readl_relaxed(pcie_ep->parf + PARF_SYS_CTRL);  in qcom_pcie_perst_deassert()
452 	writel_relaxed(val, pcie_ep->parf + PARF_SYS_CTRL);  in qcom_pcie_perst_deassert()
455 	val = readl_relaxed(pcie_ep->parf + PARF_DB_CTRL);  in qcom_pcie_perst_deassert()
459 	writel_relaxed(val, pcie_ep->parf + PARF_DB_CTRL);  in qcom_pcie_perst_deassert()
462 	val = readl_relaxed(pcie_ep->parf + PARF_CFG_BITS);  in qcom_pcie_perst_deassert()
464 	writel_relaxed(val, pcie_ep->parf + PARF_CFG_BITS);  in qcom_pcie_perst_deassert()
484 	writel_relaxed(0, pcie_ep->parf + PARF_INT_ALL_MASK);  in qcom_pcie_perst_deassert()
488 	writel_relaxed(val, pcie_ep->parf + PARF_INT_ALL_MASK);  in qcom_pcie_perst_deassert()
490 	if (pcie_ep->cfg && pcie_ep->cfg->disable_mhi_ram_parity_check) {  in qcom_pcie_perst_deassert()
491 		val = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_5_MASK);  in qcom_pcie_perst_deassert()
493 		writel_relaxed(val, pcie_ep->parf + PARF_INT_ALL_5_MASK);  in qcom_pcie_perst_deassert()
496 	ret = dw_pcie_ep_init_registers(&pcie_ep->pci.ep);  in qcom_pcie_perst_deassert()
511 	writel_relaxed(pcie_ep->mmio_res->start,  in qcom_pcie_perst_deassert()
512 		       pcie_ep->parf + PARF_MHI_BASE_ADDR_LOWER);  in qcom_pcie_perst_deassert()
513 	writel_relaxed(0, pcie_ep->parf + PARF_MHI_BASE_ADDR_UPPER);  in qcom_pcie_perst_deassert()
516 	val = readl_relaxed(pcie_ep->parf + PARF_MHI_CLOCK_RESET_CTRL);  in qcom_pcie_perst_deassert()
518 	writel_relaxed(val, pcie_ep->parf + PARF_MHI_CLOCK_RESET_CTRL);  in qcom_pcie_perst_deassert()
520 	pci_epc_init_notify(pcie_ep->pci.ep.epc);  in qcom_pcie_perst_deassert()
523 	val = readl_relaxed(pcie_ep->parf + PARF_LTSSM);  in qcom_pcie_perst_deassert()
525 	writel_relaxed(val, pcie_ep->parf + PARF_LTSSM);  in qcom_pcie_perst_deassert()
527 	if (pcie_ep->cfg && pcie_ep->cfg->override_no_snoop)  in qcom_pcie_perst_deassert()
529 				pcie_ep->parf + PARF_NO_SNOOP_OVERIDE);  in qcom_pcie_perst_deassert()
534 	qcom_pcie_disable_resources(pcie_ep);  in qcom_pcie_perst_deassert()
541 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_perst_assert()  local
545 	qcom_pcie_disable_resources(pcie_ep);  in qcom_pcie_perst_assert()
546 	pcie_ep->link_status = QCOM_PCIE_EP_LINK_DISABLED;  in qcom_pcie_perst_assert()
558 					 struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_get_io_resources()  argument
561 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_get_io_resources()
566 	pcie_ep->parf = devm_platform_ioremap_resource_byname(pdev, "parf");  in qcom_pcie_ep_get_io_resources()
567 	if (IS_ERR(pcie_ep->parf))  in qcom_pcie_ep_get_io_resources()
568 		return PTR_ERR(pcie_ep->parf);  in qcom_pcie_ep_get_io_resources()
577 	pcie_ep->elbi = devm_pci_remap_cfg_resource(dev, res);  in qcom_pcie_ep_get_io_resources()
578 	if (IS_ERR(pcie_ep->elbi))  in qcom_pcie_ep_get_io_resources()
579 		return PTR_ERR(pcie_ep->elbi);  in qcom_pcie_ep_get_io_resources()
581 	pcie_ep->mmio_res = platform_get_resource_byname(pdev, IORESOURCE_MEM,  in qcom_pcie_ep_get_io_resources()
583 	if (!pcie_ep->mmio_res) {  in qcom_pcie_ep_get_io_resources()
588 	pcie_ep->mmio = devm_pci_remap_cfg_resource(dev, pcie_ep->mmio_res);  in qcom_pcie_ep_get_io_resources()
589 	if (IS_ERR(pcie_ep->mmio))  in qcom_pcie_ep_get_io_resources()
590 		return PTR_ERR(pcie_ep->mmio);  in qcom_pcie_ep_get_io_resources()
598 	pcie_ep->perst_map = syscon_node_to_regmap(syscon);  in qcom_pcie_ep_get_io_resources()
600 	if (IS_ERR(pcie_ep->perst_map))  in qcom_pcie_ep_get_io_resources()
601 		return PTR_ERR(pcie_ep->perst_map);  in qcom_pcie_ep_get_io_resources()
604 					 1, &pcie_ep->perst_en);  in qcom_pcie_ep_get_io_resources()
611 					 2, &pcie_ep->perst_sep_en);  in qcom_pcie_ep_get_io_resources()
621 				      struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_get_resources()  argument
626 	ret = qcom_pcie_ep_get_io_resources(pdev, pcie_ep);  in qcom_pcie_ep_get_resources()
632 	pcie_ep->num_clks = devm_clk_bulk_get_all(dev, &pcie_ep->clks);  in qcom_pcie_ep_get_resources()
633 	if (pcie_ep->num_clks < 0) {  in qcom_pcie_ep_get_resources()
635 		return pcie_ep->num_clks;  in qcom_pcie_ep_get_resources()
638 	pcie_ep->core_reset = devm_reset_control_get_exclusive(dev, "core");  in qcom_pcie_ep_get_resources()
639 	if (IS_ERR(pcie_ep->core_reset))  in qcom_pcie_ep_get_resources()
640 		return PTR_ERR(pcie_ep->core_reset);  in qcom_pcie_ep_get_resources()
642 	pcie_ep->reset = devm_gpiod_get(dev, "reset", GPIOD_IN);  in qcom_pcie_ep_get_resources()
643 	if (IS_ERR(pcie_ep->reset))  in qcom_pcie_ep_get_resources()
644 		return PTR_ERR(pcie_ep->reset);  in qcom_pcie_ep_get_resources()
646 	pcie_ep->wake = devm_gpiod_get_optional(dev, "wake", GPIOD_OUT_LOW);  in qcom_pcie_ep_get_resources()
647 	if (IS_ERR(pcie_ep->wake))  in qcom_pcie_ep_get_resources()
648 		return PTR_ERR(pcie_ep->wake);  in qcom_pcie_ep_get_resources()
650 	pcie_ep->phy = devm_phy_optional_get(dev, "pciephy");  in qcom_pcie_ep_get_resources()
651 	if (IS_ERR(pcie_ep->phy))  in qcom_pcie_ep_get_resources()
652 		ret = PTR_ERR(pcie_ep->phy);  in qcom_pcie_ep_get_resources()
654 	pcie_ep->icc_mem = devm_of_icc_get(dev, "pcie-mem");  in qcom_pcie_ep_get_resources()
655 	if (IS_ERR(pcie_ep->icc_mem))  in qcom_pcie_ep_get_resources()
656 		ret = PTR_ERR(pcie_ep->icc_mem);  in qcom_pcie_ep_get_resources()
664 	struct qcom_pcie_ep *pcie_ep = data;  in qcom_pcie_ep_global_irq_thread()  local
665 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_global_irq_thread()
667 	u32 status = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_STATUS);  in qcom_pcie_ep_global_irq_thread()
670 	writel_relaxed(status, pcie_ep->parf + PARF_INT_ALL_CLEAR);  in qcom_pcie_ep_global_irq_thread()
674 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_DOWN;  in qcom_pcie_ep_global_irq_thread()
678 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_ENABLED;  in qcom_pcie_ep_global_irq_thread()
679 		qcom_pcie_ep_icc_update(pcie_ep);  in qcom_pcie_ep_global_irq_thread()
683 		val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
685 		writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
691 			val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
693 			writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
698 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_UP;  in qcom_pcie_ep_global_irq_thread()
709 	struct qcom_pcie_ep *pcie_ep = data;  in qcom_pcie_ep_perst_irq_thread()  local
710 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_perst_irq_thread()
714 	perst = gpiod_get_value(pcie_ep->reset);  in qcom_pcie_ep_perst_irq_thread()
723 	irq_set_irq_type(gpiod_to_irq(pcie_ep->reset),  in qcom_pcie_ep_perst_irq_thread()
730 					     struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_enable_irq_resources()  argument
732 	struct device *dev = pcie_ep->pci.dev;  in qcom_pcie_ep_enable_irq_resources()
737 			      pcie_ep->pci.ep.epc->domain_nr);  in qcom_pcie_ep_enable_irq_resources()
741 	pcie_ep->global_irq = platform_get_irq_byname(pdev, "global");  in qcom_pcie_ep_enable_irq_resources()
742 	if (pcie_ep->global_irq < 0)  in qcom_pcie_ep_enable_irq_resources()
743 		return pcie_ep->global_irq;  in qcom_pcie_ep_enable_irq_resources()
745 	ret = devm_request_threaded_irq(&pdev->dev, pcie_ep->global_irq, NULL,  in qcom_pcie_ep_enable_irq_resources()
748 					name, pcie_ep);  in qcom_pcie_ep_enable_irq_resources()
755 			      pcie_ep->pci.ep.epc->domain_nr);  in qcom_pcie_ep_enable_irq_resources()
759 	pcie_ep->perst_irq = gpiod_to_irq(pcie_ep->reset);  in qcom_pcie_ep_enable_irq_resources()
760 	irq_set_status_flags(pcie_ep->perst_irq, IRQ_NOAUTOEN);  in qcom_pcie_ep_enable_irq_resources()
761 	ret = devm_request_threaded_irq(&pdev->dev, pcie_ep->perst_irq, NULL,  in qcom_pcie_ep_enable_irq_resources()
764 					name, pcie_ep);  in qcom_pcie_ep_enable_irq_resources()
767 		disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_enable_irq_resources()
792 	struct qcom_pcie_ep *pcie_ep = (struct qcom_pcie_ep *)  in qcom_pcie_ep_link_transition_count()  local
796 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L0S));  in qcom_pcie_ep_link_transition_count()
799 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L1));  in qcom_pcie_ep_link_transition_count()
802 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_AUX_CLK_IN_L1SUB_L1));  in qcom_pcie_ep_link_transition_count()
805 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_AUX_CLK_IN_L1SUB_L2));  in qcom_pcie_ep_link_transition_count()
808 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L2));  in qcom_pcie_ep_link_transition_count()
813 static void qcom_pcie_ep_init_debugfs(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_init_debugfs()  argument
815 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_init_debugfs()
817 	debugfs_create_devm_seqfile(pci->dev, "link_transition_count", pcie_ep->debugfs,  in qcom_pcie_ep_init_debugfs()
852 	struct qcom_pcie_ep *pcie_ep;  in qcom_pcie_ep_probe()  local
856 	pcie_ep = devm_kzalloc(dev, sizeof(*pcie_ep), GFP_KERNEL);  in qcom_pcie_ep_probe()
857 	if (!pcie_ep)  in qcom_pcie_ep_probe()
860 	pcie_ep->pci.dev = dev;  in qcom_pcie_ep_probe()
861 	pcie_ep->pci.ops = &pci_ops;  in qcom_pcie_ep_probe()
862 	pcie_ep->pci.ep.ops = &pci_ep_ops;  in qcom_pcie_ep_probe()
863 	pcie_ep->pci.edma.nr_irqs = 1;  in qcom_pcie_ep_probe()
865 	pcie_ep->cfg = of_device_get_match_data(dev);  in qcom_pcie_ep_probe()
866 	if (pcie_ep->cfg && pcie_ep->cfg->hdma_support) {  in qcom_pcie_ep_probe()
867 		pcie_ep->pci.edma.ll_wr_cnt = 8;  in qcom_pcie_ep_probe()
868 		pcie_ep->pci.edma.ll_rd_cnt = 8;  in qcom_pcie_ep_probe()
869 		pcie_ep->pci.edma.mf = EDMA_MF_HDMA_NATIVE;  in qcom_pcie_ep_probe()
872 	platform_set_drvdata(pdev, pcie_ep);  in qcom_pcie_ep_probe()
874 	ret = qcom_pcie_ep_get_resources(pdev, pcie_ep);  in qcom_pcie_ep_probe()
878 	ret = dw_pcie_ep_init(&pcie_ep->pci.ep);  in qcom_pcie_ep_probe()
884 	ret = qcom_pcie_ep_enable_irq_resources(pdev, pcie_ep);  in qcom_pcie_ep_probe()
894 	pcie_ep->debugfs = debugfs_create_dir(name, NULL);  in qcom_pcie_ep_probe()
895 	qcom_pcie_ep_init_debugfs(pcie_ep);  in qcom_pcie_ep_probe()
900 	disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_probe()
901 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_ep_probe()
904 	dw_pcie_ep_deinit(&pcie_ep->pci.ep);  in qcom_pcie_ep_probe()
911 	struct qcom_pcie_ep *pcie_ep = platform_get_drvdata(pdev);  in qcom_pcie_ep_remove()  local
913 	disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_remove()
914 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_ep_remove()
916 	debugfs_remove_recursive(pcie_ep->debugfs);  in qcom_pcie_ep_remove()
918 	if (pcie_ep->link_status == QCOM_PCIE_EP_LINK_DISABLED)  in qcom_pcie_ep_remove()
921 	qcom_pcie_disable_resources(pcie_ep);  in qcom_pcie_ep_remove()