日南郡的原住民并非越族，而是占族，因而他们一直被中原王朝的官吏视为非常不开化的野人。
由于日南郡位于热带，出奇珍异宝，又处于贸易要冲地带，因此历任日南太守“多贪利侵侮，十折二三”。
日南郡的土著居民曾多次反叛，攻击焚烧官寺，伤害汉人官民。
东汉末年，占族人区连叛汉，率数千人起兵作乱，杀害汉朝的象林县令，推翻汉朝在象林县的统治，建立林邑国。
日南郡还是汉代流放罪犯的地方，最著名的是“党锢之祸”中的窦武。
他谋诛宦官，后来计划泄露，窦武自杀并被枭首，家属被流放到日南郡之比景县。
此地也是当时海上丝绸之路的交通要冲，元鼎中，遣伏波将军路博德开百越，置日南郡，其徼外诸国自武帝以来皆献见。后汉桓帝时，大秦、天竺皆由此道遣使贡献。
最著名的是汉桓帝延熹九年，大秦遣使来华，就是在日南郡登陆前往洛阳的。此举开创了中欧官方往来之先河。
在赵云的计划中，番禺、朱崖和日南，是南征中最重要的三个地方，其中，日南是重中之重，毕竟从这里就可以延伸到印度洋，然后经波斯湾到阿拉伯半岛至欧洲。