1583年9月10日，利玛窦与罗明坚进入中国，求得知府王泮的允许，在崇禧塔旁修建了一座带有教堂的小房子，在肇庆建立了第一个传教驻地，利玛窦出版了第一份中文世界地图，并用中文和罗明坚起草了第一部《祖传天主十诫》。经过了几次尝试，利玛窦和罗明坚没能建立起新的驻地，罗明坚被教皇召回罗马安排教皇使节去见中国皇帝，而利玛窦和麦安东神父继续留在肇庆。
1584年利玛窦获准与罗明坚神父入居广东肇庆。他们对中国官员自称来自“天竺”，致使中国人以为他们是佛教徒。利玛窦解释来中国的原因：“我们是从遥远的西方而来的教士，因为仰慕中国，希望可以留下，至死在这里侍奉天主。”他不敢直接回答传教的目的，否则他可能会被驱逐。为了传教，他们从西方带来了许多用品，比如圣母像、地图、星盘和三棱镜等。其中还有欧几里德《几何原本》。利玛窦带来的各种西方的新事物，吸引了众多好奇的中国人。特别是他带来的地图，令中国人眼界大开。
进入了中国的利玛窦对中国文明非常称赞：除了还没有沐浴“我们神圣的天主教信仰”之外，“中国的伟大乃是举世无双的”“中国不仅是一个王国，中国其实就是一个世界。”他感叹“柏拉图在《共和国》中作为理论叙述的理想，在中国已被付诸实践。”而且他还发现中国人非常博学，“医学、自然科学、数学、天文学都十分精通。”但是他也发现“在中国人之间科学不大成为研究对象。”
1584年8月，利玛窦在肇庆建立了“仙花寺”，开始传教工作。起初传教十分低调。神父们行事小心谨慎，主要精力都在学习汉语和中国的礼节习俗，以博得中国人尤其是官员们的信任。他们身穿佛教僧侣的服饰，认为这样能够博得人们的好感，而且他们也觉得这与天主教神父的装束相差不大。这也使中国人更加相信他们是远道而来的僧人。他们在这里挂上了圣母玛利亚的画像，许多士人官吏，甚至僧人都来跪拜，他们感到非常兴奋。但是从中国人的角度来讲这更多是出于礼节性的，而没有宗教意义。也有记述说，他们担心中国人看到玛利亚的画像会误认为他们的神是女性的，而改挂了基督像。
1584年利玛窦制作并印行《山海舆地全图》，这是中国人首次接触到了近代地理学知识。利玛窦利用解释各种西方事物的机会，同时介绍了他们的天主教信仰。他们翻译了《十诫》、《主的祈祷》、《圣母赞歌》和《教理问答书》。并派发罗明坚撰写的《天主实录》，以中文解释天主教的教义。利玛窦在肇庆居住六年，除带来了欧洲文艺复兴的成果外，系统地学习了中国传统文化，期间传入的现代数学、几何、世界地图、西洋乐等西方文明。
1589年夏天，即万历十七年，广东新任总督把传教士驱逐出肇庆。1590年，利玛窦奉范礼安之命起草一封以教宗名义致大明皇帝的信札，其中亦称教宗西师都五世(1585-1590)乃居住在“天竺国”的“都僧皇”，因期盼能传“天主正教”，“推广慈悲，普济世人”，特遣“博雅儒僧”四出扬教，并派“德行颇优，儒文宏博”的“上僧”等四人入华，希望明帝能对此四僧“给有札牒，沿途迎送，以华其行”。经过多方努力，利玛窦得以被派往韶州，在那儿他建立了第二个传教驻地。在韶州的时候，利玛窦遇到了一次意外。他们遇上了强盗打劫，虽然利玛窦受了一点伤，但是幸好他们吓退了强盗，而且很快这些强盗就被逮捕归案。在韶州期间，另外一个不幸是利玛窦的两名部下相继逝世。
1591年麦安东神父逝世。1592年初春，利玛窦前往南雄拜访瞿汝夔（瞿太素），瞿氏即力劝利氏蓄须留发，且脱去僧服改穿儒服，他更透过其人脉网络，努力将利玛窦引介入士大夫的交游圈中。
1593年石方西神父也辞世了。而另外一名罗明坚神父则早已返回了欧洲，只剩下利玛窦一人从事在中国的传教事业。感到欣慰的是，他在肇庆结识的士人瞿太素成为了他的好友和弟子，还帮助利玛窦翻译了欧几里得《几何原本》的第一卷。藉着瞿太素的宣传，以及赠送高官们利玛窦自己制作的天体仪、地球仪和计时用的日晷等西洋物品，利玛窦的名声逐渐在当地的达官贵人中传开。
在韶州他攻读《四书》，并首次将之译为拉丁文。而通过与瞿太素和其他许多中国上流社会人士的接触，利玛窦发现自己先前的佛教僧侣装扮在当时的中国社会并不受到尊重，社会地位也比较低下。为了更方便与中国的官员交往，在征得范礼安的同意后，从1594年起，利玛窦开始蓄发留须，并穿起了当时儒士的服装。
1594年，利玛窦和中国的一名被派遣到朝鲜边境的将军一起，初步尝试进入北京。但到达南京，又不得不返回驻地。1595年（万历二十三年）利玛窦借口为一位北上任职官员之子治病，而获得了去南京的机会。但是到了南京以后，利玛窦陪同的官员对他逐渐失去了兴趣，利玛窦只好自己设法留在南京。
然而这一次失败了。他只好折返南昌，并获得批准在此居住并建立了第三个传教驻地。明朝王室成员、各级官员都对地球仪、玻璃器皿、西式装订的书籍等礼物极感兴趣，利玛窦便在自己的住宅再一次举行“科普”展览，表演先进的记忆方法，出版《交友论》，并开始撰写《天主实义》，选择适合中国人伦理观的西方伟人语录加以刊行。他放弃建造教堂，公开传教的方法，进一步用中国自古就有的“上帝”偷换“天主”概念。
利玛窦在南昌传教的三年，也是他的传教策略在探索和实践中逐步形成的过程。他与江西的官绅阶层进行了密切交往和友好的对话，并在这个过程中形成了一套成功的传教策略——“南昌传教模式”。
他在写给耶稣会的报告中解释了在南昌传教成功的原因：一是因为当地从没有见过外国人；二是利玛窦的记忆力非常好，以至于许多中国人都想学习，他也因此用汉语写了一本《西国记法》的书来介绍他的记忆方法；三是它能够运用四书五经来宣讲基督教的教义；四是他的自然科学知识；五是传说他会炼金术；六是有人向他求教基督教。
1596年利玛窦被范礼安任命为耶稣会中国教区的负责人，由利玛窦全权负责在中国的传教活动。并且指示利玛窦想办法到北京去觐见中国的皇帝，以达到在中国传教的有力保障。而且还从澳门送去了许多准备送给中国皇帝的礼物。在南昌，利玛窦知遇了江西巡抚陆万垓，向他展示三棱镜、西国记数法和钟，并讲解西方书籍的内容，他还向当地学人讲解数学问题与日晷记时问题。
1596年9月22日利玛窦在这里成功的预测了一次日食，使他很快成为了一个有名的人物。期间结交了许多儒士权贵，受当时名士章潢之邀在着名的白鹿洞书院讲学交流，与分封在南昌的皇族后裔建安王和乐安王建立了友好的关系等等。1597年，利玛窦被任命为中国传教的主管。