1960年4月，我陪毛澤東外出巡視，直到6月下旬，上海會(huì)議(就是毛澤東作《十年總結(jié)》講話的那次會(huì)議)結(jié)束后才回到北京。在這次外出期間，毛澤東多次接見(jiàn)外賓，被接見(jiàn)的客人分別來(lái)自亞、非、拉美、東歐、西歐遍及全球；客人的身份從民間團(tuán)體、社會(huì)知名人士到政府首腦和共產(chǎn)黨的領(lǐng)袖；接見(jiàn)的地點(diǎn)有時(shí)安排在毛澤東臨時(shí)下榻的地方，有時(shí)安排在他乘坐的專列上。這幾次談話都錄了音，當(dāng)然是經(jīng)毛澤東事先同意的。

　　1961年4月，我正在河北省徐水宣講《人民公社六十條》，突接龔子榮電話，說(shuō)毛澤東追查錄音問(wèn)題，要我立即回京。我回到北京以后，才知道毛澤東在長(zhǎng)沙準(zhǔn)備接見(jiàn)外賓時(shí)發(fā)現(xiàn)要錄音，生了氣。我在向小平、彭真同志說(shuō)明情況的同時(shí)，一方面向毛澤東作書(shū)面檢討，承擔(dān)責(zé)任，說(shuō)在錄音問(wèn)題上疏于檢查，請(qǐng)求處分；另一方面責(zé)成機(jī)要室的同志抓緊組織力量，選擇最重要的錄音盡快轉(zhuǎn)化為文字記錄，然后把所有的錄音帶清點(diǎn)登記銷毀。

　　中央書(shū)記處在小平同志的主持下召開(kāi)會(huì)議，專門(mén)討論了錄音問(wèn)題，通過(guò)了《關(guān)于錄音、記錄問(wèn)題的決定》。《決定》提出：中央重要的正式會(huì)議，經(jīng)書(shū)記處批準(zhǔn)，可以進(jìn)行記錄。此外，黨代表大會(huì)，中央全會(huì)，中央工作會(huì)議，中央政治局、書(shū)記處會(huì)議等中央會(huì)議；中央領(lǐng)導(dǎo)同志和黨內(nèi)同志的談話；中央領(lǐng)導(dǎo)同志接見(jiàn)外賓的談話一律不準(zhǔn)錄音。并要求中央一級(jí)政府、軍隊(duì)、人民團(tuán)體、各部門(mén)和各地方各級(jí)黨、政、軍、群組織，均仿照這一規(guī)定辦理。為了嚴(yán)格執(zhí)行這一決定，又不能重復(fù)《論十大關(guān)系》無(wú)記錄的錯(cuò)誤，就決定選調(diào)一批青年，培養(yǎng)成速記員，恢復(fù)會(huì)場(chǎng)速記的辦法。徐瑞新、田鶴年、師金城他們幾個(gè)青年人就是這個(gè)時(shí)候調(diào)來(lái)學(xué)速記的。直到1965年冬，我被免去中央辦公廳主任職務(wù)前，大型會(huì)議的記錄都是用速記的辦法完成的。

　　“文化大革命”開(kāi)始后，“秘密錄音”就成了我的一大罪狀，說(shuō)我搞“竊聽(tīng)”，是“大特務(wù)”。你整我一個(gè)人倒也罷了，可是因?yàn)槭恰案`聽(tīng)”，就把徐子榮、王芳等一大批人都牽連進(jìn)去了，把毛澤東外出巡視時(shí)所有到過(guò)的省、市公安廳、局長(zhǎng)都牽連進(jìn)去了。這是林彪、江青一伙，為了整人不擇手段就是了。當(dāng)然，首先是毛澤東不喜歡錄音。

　　我堅(jiān)持認(rèn)為，錄音不但不是我的罪過(guò)，相反是一大功勞。錄音，就是為了保存黨的歷史文獻(xiàn)嘛！遺憾的是，1961年銷毀了大批錄音帶，由于時(shí)間緊迫，搶救下來(lái)的東西太少了，不知有多少珍貴史料化為灰燼。