而早在关羽遇害之前，虞翻就已经站占卜了一卦，说关羽两天之内必死，结果印证了他的说法，孙权十分诧异，将虞翻比喻为东方朔在世。但是虞翻这个人性格刚直，以至于屡次触怒孙权，孙权一怒之下将他流放到了泾县。怎么刚直呢，于禁不是被关羽抓了吗，然后关羽战败，于禁就到了孙权手里，孙权仰慕于禁，于是和于禁相处甚欢，有一天于禁和孙权一同骑马游行，虞翻看到了，大声斥责于禁：你是个俘虏，怎么配和我们主公一同骑马还拿起了鞭子要打于禁。后来孙权在楼船宴会群臣，于禁看着歌舞不忍想起了家乡，于是痛哭流涕，虞翻又呵斥道：你以为你这样就可以求得宽恕吗孙权虽然看在眼里，但是心里却感到深深的不满。

虞翻喜欢教训人，对谁都一样，孙权和张昭在聊天，他们谈兴正浓，尤其是讲到神仙，孙权更是眉飞色舞，哪知虞翻从这儿过了一趟，冷眼看了他们一下，白了一句：什么神仙，都是死掉的人，世界上哪里有神仙孙权和张昭面面相觑，心里想着家伙真损，闹了半天，我们都是小孩科，就你学问大。

后来孙权做了吴王，起身给众臣劝酒，没想到虞翻却趴在地上装醉，孙权扶起他他却又倒了下去，孙权大怒，拔出剑就要杀了他，还好众臣劝告，虞翻才免于一死。虞翻后来多次言语冒失，触怒了孙权，终于被流放到了交州。到了交州，虞翻专注教学育人，又继续为各种古籍作注，当他听说公孙渊要与孙权交好，想要阻止但又不敢，于是让吕岱带传个话，但是吕岱也不肯，后来虞翻更被人中伤，被流放到了苍梧郡。知道公孙渊反叛，孙权才想起了虞翻，派人去寻找虞翻，说如果他没死就把他带来到建业，如果死了，就送到会稽，可惜的是，虞翻最终没能熬到孙权的使者到来，死在了家中，享年七十。

虞翻学问很大，就是在交州也在那里讲学，学生时常也有数百人，并且为《老子》《论语》和《国语》等书做注，他的易学造诣深厚，孙权曾称赞他“不及伏羲，可与东方朔为比矣。”，可惜因为口无遮拦，才使得他在朝廷上备受非议，甚至差一点身首异处。