周馥在受命和德国人交涉时，写有一诗：

过胶州湾感怀

朔风雨雪海天寒，眼底沧桑不忍看。

诸国共称周版籍，斯民犹是汉衣冠。

谁人持算盘盘错，当局拈棋着着难。

挽日回天宁有日，可怜筋骨已衰残。

这首诗，后来由日本公使高平君译成英文，函达美总统罗斯福。罗斯福极为欣赏，通过中国派驻意大利大使黄遵宪，请周馥亲手书写，装裱成诗轴收藏。现诗轴藏于美国白宫。

就这首诗，赵元礼（近代诗人，天津“近代诗坛三杰”、“四大书法家”之一）在《藏斋诗话》里评价是：“ 有幽燕老将气韵沉雄之概”。