黄遵宪与张荫桓订交似在光绪二年（1876年），其时张为署登莱青道，受丁宝桢委派在烟台参与筹划海防事宜，黄氏则侍父客居烟台。由于中英马嘉理案的谈判在烟台结束不久，世论于外交时局颇为关注。黄遵宪即在此时“识闽县龚霭人易图、南海张樵野荫桓两观察，与樵野抵掌论当世之务”。[3]《人境庐诗草》收有数首当时黄与龚、张的唱和之作，颇见他们立志经世的理念。数月后黄参加顺天府乡试中式，不久随何如璋出使日本，从而开始了他的外交生涯。光绪八年（1882年）春，黄以驻日本参赞调任驻旧金山总领事。张荫桓则于光绪七年由山东调安徽徽宁池太广道，后署理安徽按察使，因李鸿章、阎敬铭等人举荐，光绪十年（1884年）夏入京预备召见。不久，被赏以三品京堂在总理衙门大臣上学习行走。光绪十三年（1887年）张荫桓赴美，临行前专门派人“檄召”刚从美国卸任归国的黄遵宪至广州，邀他继续担任驻旧金山总领事。黄以“限禁华工之例祸端未已，虑不胜任，力辞”。[4]三年后张氏自海外归，再次入值总理衙门，此时，黄遵宪却又随薛福成出使英伦。次年（1891年），清廷在新加坡（当时称新嘉坡）设总领事，总署选调黄氏充任。纵观张、黄订交十多年，晤面机会并不多，彼此却钦服甚深。黄氏在新加坡所作《岁暮怀人诗》中有一首怀念张氏的诗云：“释之廷尉由参乘，博望封侯自使槎。官职诗名看双好，纷纷冠盖逊清华。”[5]诗中对出身寒微却才华横溢、位列廷臣的张荫桓极表赞誉。光绪二十年甲午（1894年）战争爆发，是年底清廷派张荫桓、邵友濂以全权大臣赴日谈判，抵达上海后，张氏特召刚从新加坡解任回国、深悉日本国情的黄遵宪咨询对策。对此，黄氏后来有诗云：“公复探虎穴，经驱车前驺。丝辔黯无华，云旌惨垂旒。谓我识途马，召我来咨诹。檄我千里船，揖我百尺楼。”[6]当时情景可见一斑。其后张氏在广岛被日方蛮横拒绝，清廷复命大学士李鸿章使日议和。李临行前托滞留沪上的张荫桓荐举“熟悉公法条约而有智略文笔者”，张氏复力举黄遵宪。[7]后虽未成行，却见张氏对黄之推崇与器重。