君士坦丁大帝于324年重新将自己立为整个帝国的唯一皇帝。君士坦丁决定建立一个新的首都，他选择了拜占庭（今伊斯坦布尔）。330年这个首都建成了，君士坦丁称之为新罗马。但一般人称之为君士坦丁堡（意为君士坦丁之城）。这个新的首都成为他的管理机构的中心。君士坦丁也是第一位信仰基督教的皇帝。虽然在君士坦丁的统治时期这个帝国还不是拜占庭帝国，但基督教是拜占庭帝国的一个特性，是它与相信多神教的罗马帝国的分界线。

另一个分界线是378年的哈德良堡战役（又译阿德里安堡战役）。这场败仗，以及皇帝瓦伦斯之死可以被看成是古代帝国和中世纪帝国分家的时间。瓦伦斯的继承人狄奥多西乌斯一世将整个帝国再次分开。395年他将这两部分分别交给他的两个儿子阿尔卡狄乌斯和霍诺里乌斯。阿尔卡狄乌斯成为东部的统治者，霍诺里乌斯成为西部的统治者，他的首都是米兰。从这个时候开始东部的这个帝国一般被称为东罗马帝国，或拜占庭帝国。

东罗马帝国的主宰文化是希腊文化。希腊语不但是日常用语，而且是教会、文学和商业的共同语言。对于当时的罗马人来说，今天对“西部的拉丁帝国”和“东部的希腊帝国”的区分，以及今天所强调的东部的帝国并不是“真正”的罗马帝国，并不重要。罗马帝国是一个多语言的帝国，东罗马并不例外。但希腊文化从帝国的都市如君士坦丁堡、安条克、以弗所、塞萨洛尼基和亚历山大传向全国。虽然当时还不很明显，但东罗马帝国在其学者如约翰•桂索斯通的影响下发展了他们自己风格的基督教。

东罗马帝国基本上避免了西罗马帝国3世纪和4世纪所遭遇的困难。这里有许多原因。首先这里的城市文化已经相当成熟了，其次民族大迁徙时的入侵主要吸引是罗马的财富。5世纪中西罗马帝国多次被征服，东罗马帝国顶多交纳贡献就可以免除遭难了。狄奥多西斯二世加强了君士坦丁堡的城墙，使得这座城市成为被“野蛮人”攻不破的城市。

476年当西罗马帝国灭亡时东罗马帝国的利奥一世与哥特人谈判，他结束了哥特人对东部帝国的威胁，但他也不再打算重新征服西罗马帝国疆土了。

6世纪时东罗马的主要敌人是它的传统的老敌人：波斯人、斯拉夫人和保加尔人。神学的争论，比如对基督一性说的争论也是帝国的重要话题。但东部帝国并没有忘记它在西部的根。在查士丁尼一世和他的杰出的将军贝利萨留的领导下东帝国甚至夺回了它在西部丧失的部分省份：意大利的大部地区、北非和西班牙。查士丁尼重编了古罗马的法规，制定了《民法大全》。值得注意的是这部法典是用拉丁语写的，而当时拉丁语已被认为是一种古老的语言了，甚至许多编写者都不太会说这种语言。

532年，圣索非亚大教堂（其原名是神圣的真理的意思）开始动工。这座教堂将成为拜占庭宗教生活和东正教的中心。

查士丁尼一世给他的继承人留下了一个空空的国库，而他的继承人也无法对付在所有的边境上突然出现的新敌人：伦巴底人占领了意大利北部，斯拉夫人占领了巴尔干半岛的大部分地区，波斯人入侵和占领了东部的省份。赫拉克留（即希拉克里乌斯）夺回了这些东部省份，但当时刚刚在伊教下统一起来的阿拉伯人的突然出现是赫拉克留无法意料到的。阿拉伯人占领了几乎所有的南部省份。7世纪中叙利亚、埃及彻底沦为阿拉伯帝国的一部分。