Goldberg était membre avec sa compagne Hanka du groupe anarchiste juif de Paris qui, dans les années 1950, publiait la Revue anarchiste yiddish Der Freie Gedank animée notamment par David Stettner.