1960年4月，我陪毛澤東外出巡視，直到6月下旬，上海會議(就是毛澤東作《十年總結(jié)》講話的那次會議)結(jié)束后才回到北京。在這次外出期間，毛澤東多次接見外賓，被接見的客人分別來自亞、非、拉美、東歐、西歐遍及全球；客人的身份從民間團體、社會知名人士到政府首腦和共產(chǎn)黨的領(lǐng)袖；接見的地點有時安排在毛澤東臨時下榻的地方，有時安排在他乘坐的專列上。這幾次談話都錄了音，當(dāng)然是經(jīng)毛澤東事先同意的。

　　1961年4月，我正在河北省徐水宣講《人民公社六十條》，突接龔子榮電話，說毛澤東追查錄音問題，要我立即回京。我回到北京以后，才知道毛澤東在長沙準(zhǔn)備接見外賓時發(fā)現(xiàn)要錄音，生了氣。我在向小平、彭真同志說明情況的同時，一方面向毛澤東作書面檢討，承擔(dān)責(zé)任，說在錄音問題上疏于檢查，請求處分；另一方面責(zé)成機要室的同志抓緊組織力量，選擇最重要的錄音盡快轉(zhuǎn)化為文字記錄，然后把所有的錄音帶清點登記銷毀。

　　中央書記處在小平同志的主持下召開會議，專門討論了錄音問題，通過了《關(guān)于錄音、記錄問題的決定》。《決定》提出：中央重要的正式會議，經(jīng)書記處批準(zhǔn)，可以進行記錄。此外，黨代表大會，中央全會，中央工作會議，中央政治局、書記處會議等中央會議；中央領(lǐng)導(dǎo)同志和黨內(nèi)同志的談話；中央領(lǐng)導(dǎo)同志接見外賓的談話一律不準(zhǔn)錄音。并要求中央一級政府、軍隊、人民團體、各部門和各地方各級黨、政、軍、群組織，均仿照這一規(guī)定辦理。為了嚴(yán)格執(zhí)行這一決定，又不能重復(fù)《論十大關(guān)系》無記錄的錯誤，就決定選調(diào)一批青年，培養(yǎng)成速記員，恢復(fù)會場速記的辦法。徐瑞新、田鶴年、師金城他們幾個青年人就是這個時候調(diào)來學(xué)速記的。直到1965年冬，我被免去中央辦公廳主任職務(wù)前，大型會議的記錄都是用速記的辦法完成的。

　　“文化大革命”開始后，“秘密錄音”就成了我的一大罪狀，說我搞“竊聽”，是“大特務(wù)”。你整我一個人倒也罷了，可是因為是“竊聽”，就把徐子榮、王芳等一大批人都牽連進去了，把毛澤東外出巡視時所有到過的省、市公安廳、局長都牽連進去了。這是林彪、江青一伙，為了整人不擇手段就是了。當(dāng)然，首先是毛澤東不喜歡錄音。

　　我堅持認(rèn)為，錄音不但不是我的罪過，相反是一大功勞。錄音，就是為了保存黨的歷史文獻嘛！遺憾的是，1961年銷毀了大批錄音帶，由于時間緊迫，搶救下來的東西太少了，不知有多少珍貴史料化為灰燼。